光绪十一年（1885年），一个偶然的机会，辜鸿铭由两广总督张之洞的幕僚赵凤昌（或谓杨汝澍）推荐，受聘为总督衙门的德文译员。他从此追随张之洞，由广州而武昌，由武昌而京城（中间在南京短暂任职），总计长达二十二年之久。刚入张之洞幕府时，辜鸿铭的洋文虽然出众，国学却尚未入门，一代鸿儒沈增植颇为轻视这位假洋鬼子，对他说：你说的话我都懂，你要懂我的话，还须读二十年中国书。辜鸿铭受此刺激，从此钻研中国古代典籍，寝馈于斯，十余年后他毅然然践履前约，扔出白手套，向沈增植发起挑战，沈增植见势不妙，高挂免战牌。
在《张文襄幕府纪闻》一书中，辜鸿铭曾写到张文襄（之洞）对他“虽未敢云以国士相待，然始终礼遇不稍衰”，“余随张文襄幕府最久，每与论事辄不能听”，“张文襄尝对客论余，曰某（辜）知经不知权”，瞧这几句话连皮带馅，实际上是三分感激夹带七分牢骚。张之洞少年得志，掇巍科（一甲第三名，俗称“探花”），点翰林，放学政，其后久任封疆大吏，办洋务，倡新学，标榜“中学为体，西学为用”，这八个字一度风靡国中。但张之洞的骨子里渗透了旧文官习气，用人首重门第，次重科甲，三重名士，至于喝过洋墨水的人才，仅仅充为译员，很难得到他的举荐。辜鸿铭通晓欧洲多国语文，在外交场合为张之洞挣足了面子，却仍然只是处于养而备用的境地。张之洞是大傲哥，辜鸿铭也是大傲哥，一个是上司，一个是下级，难免会有冲突，会有顶撞，两人居然能长期做到彼此谅解，相互包涵，已属难能可贵。辜鸿铭拥有足够的闲暇，不见得就是坏事，他沉潜于六经子史之中，欣然感叹：“道固在是，无待旁求。”一旦对儒家经典心领神会，他就放开手脚，在英文刊物上发表介绍和评述中国文化精华的文章，欧洲学者正是从他豁开的这扇敞亮的窗口看到中国哲学和文化的精深邃密之处，因而感到惊奇和兴奋。俄国文豪列夫·托尔斯泰与辜鸿铭用书信探讨过中国文化对现实世界所起的作用，丹麦文学与社会评论家勃兰兑斯也在长篇评论中对辜鸿铭批判欧洲文化的观点表示激赏。辜鸿铭还做了一桩拓荒性质的工作，他用典雅的英文翻译《四书》中的《论语》和《中庸》，把文化输出这一项目做得风生水起。辜鸿铭歪打正着，因此在欧洲知识界挣得持久不坠的声誉，也可算是失之东隅，收之桑榆。
辜鸿铭静待时来运转，一等就是十七年。张之洞突然想起这位模范幕僚虽然孤傲，倒也精明，却迟迟未获提升，自己做老板的实在有些过意不去。他对辜鸿铭说：“十七年来，我对你有所疏忽，可是你为什么不提出要求呢？我很忙，把你的晋升给忘记了。”张之洞这回动了真格的，向光绪皇帝举荐辜鸿铭，御旨任命辜鸿铭为上海黄浦浚治局督办，月薪高达800两银子，确实是个肥差。辜氏对物质生活没有奢求，做官做得相当清廉，独善其身也就罢了，他在财务上盯得比老鹰还紧，居然揭发并控告洋人的贪赃舞弊行为，妨碍他们的财路，这就等于搬起石头砸烂自己的金饭碗。
1907年夏，张之洞奉旨进京出任体仁阁大学士兼军机大臣，他在幕僚中精心挑选了两名“洋学生”——梁敦彦和辜鸿铭随同北上。到了北京，梁、辜二人同入外务部，辜鸿铭任员外郎，旋升郎中，做了司长，总算混到出人头地了。
1910年1月17日，辜鸿铭获得清廷赏赐的一项荣誉：即以其“游学专门列入一等”，赏给文科进士。在同榜中，严复居首，辜鸿铭居次，伍光建列第三。辜鸿铭对自己屈居第二，深感气闷，一直耿耿于怀，闷闷不乐。如果说严复、伍光建将西洋名著输入到国内，使国人眼界大开，算是了不起的本事，他辜鸿铭将中国儒家文化输出到国外，去感化那些野性难驯的洋鬼子，就更是了不起的本事。但严、伍的功绩国人有目共睹，辜的功绩则是在西洋知识界有口皆碑，他显然要吃亏一些，能点个榜眼，不说心满意足，他也该心平气和了。