在公元1863年的会试中，张之洞考中探花，他时年27岁。进入翰林院后，张之洞很快得到了“清流首领”李鸿藻的垂青。李鸿藻是直隶高阳人，当时既是帝师，又是大学士兼军机大臣，很得慈禧太后的信任，他对张之洞尽力栽培。
当时的一些北方籍言官台谏如张佩纶、陈宝琛、黄体芳、宝廷、王懿荣等人聚集于李鸿藻的门下，彼此意气相投，相互引为同调，而刚入朝的张之洞乃书生，遇事敢言，很快成为圈中的中坚人物。
李鸿藻以“耿”、“孝”闻名，当时京师士人“呼李鸿藻为青牛（清流之谐音）头，张佩纶、张之洞为青牛角，用以触人；陈宝琛为青牛尾，宝廷为青牛鞭，王懿荣为青牛肚，其余牛皮、牛毛甚多”，这些人“连同一气，封事交上，奏弹国家大政，立国本末”，其言说不但左右了朝中舆论，而且还引领了士林之时尚，如张佩纶“喜着竹布衫，士大夫争效之。” 
张之洞在京为官期间，先后做过翰林院侍读、侍讲学士、左春坊左庶子等职，一度与张佩纶、黄体芳、宝廷并称“翰林四谏”（加上刘恩溥、陈宝琛，又称“清流六君子”）。言官虽无实权，但其责任在于勇于进言，匡扶正义，在这个问题上，张之洞恪尽职守，口碑甚佳。
光绪六年（1880 年）的中秋前夕，慈禧太后令太监李三顺给胞妹醇王福晋（即光绪生母）送宫廷特制的中秋礼盒。按规矩，宫中敬事房如未通知门禁的话，太监不许随便走出皇宫，因而李三顺等人达到午门之时，守门的护军照律不许他们通行。
李三顺一向骄纵成性，口称有“老佛爷懿旨”，非要强行通过，结果双方发生肢体冲突。李三顺负气之下，回报慈禧太后，说午门护军无理取闹，不但不让他们出宫，还故意打翻了送往醇王府的礼盒，连自己也捱了打，一点都不把太后放在眼里。
慈禧此时正在病中，心情烦躁，听说后当场打翻了正待吃的药碗，并下令总管内务府大臣会同刑部严行审讯，要将护军玉林等三人斩首。这就是当时著名的午门案。
午门案发时，张之洞、陈宝琛分任翰林院左春坊左、右庶子，陈宝琛呈上一折，指出护军是奉职行令，如此处罚将造成护军不敢严守禁门，以后太监只要说声“奉有中旨”，护军便不敢阻拦放行，势必会危及皇宫安全。
张之洞也上了一道很长的折子，折中第一句便是：“伏维阉臣恣横，为祸最烈，我朝列圣驭之者亦最严”；接着，张之洞又从防范太监的角度入手，警告慈禧要以历史教训为鉴，防止宦官专权。为增加说服力，他还特意举出嘉庆年间有太监做内应的“林清之变”及当时发生的“天棚火药案”、“刘振生擅入宫禁”案，以说服慈禧太后按大清律法办事。恭亲王在反复阅读张之洞的奏折后，拍案赞叹：“这才是真奏疏！”
慈禧太后在反复考量后，最终下懿旨，改判护军杖流之刑而将太监李三顺等交慎刑司责打三十大板。张之洞等人冒颜上陈，秉公直谏，被时人誉为“诤言回天”，一时间权臣侧目，士林激赞。