1884年，清政府屈辱地接受了法国与中国谈判的条件，宣布免掉曾纪泽出使法国大臣职务。这对于一心为国的曾纪泽犹如当头一棒，他感到愤怒和徬徨，“数年的豪气，一朝丧尽”，为维护祖国的利益、民族的尊严倾注了满腔热血的爱国志士，不仅要遭受外人的凌辱，还成了清政府妥协政策的绊脚石，一心赶走他，再与法国缔约言和，曾纪泽感到从未有过的寒心和受辱，他陷入深深的痛苦之中。
尽管如此，曾纪泽仍以兢兢业业、一丝不苟的工作作风继续执行驻英、俄公使的职责。两个月后，在左宗棠的极力推荐下，“曾纪泽交军机处存记”。1885年6月清政府决定改派刘瑞芬出任英、俄公使，要曾纪泽“回京供职”，这样，到1886年8月曾纪泽离开英国，他的8年半外交生涯就此结束了。
1886年底曾纪泽从欧洲回到北京。此时曾纪泽虽然只有47岁，但是离国赴欧8年，他日夜焦心长虑，为国操劳，不仅两鬓过早染上白发，且疾病缠身。尽管如此，他回国后深恐所受皇恩深重，无以报答，每天勤奋不倦地工作。清朝廷先任命他为“海军衙门帮办大臣”，协助处理有关海军事务，后又任命为“总理各国事务大臣”，“户部右侍郎兼管钱堂事务”及“户部三库大臣”等要职，后来又兼“刑部侍郎”，管理同文馆。
曾纪泽在从欧洲返回中国前，为了详细了解欧洲强国的军事装备、武器制造情况，特意要求参观了英国、德国的造船厂，海军武器装备制造局，仔细考察两国造船规模、工艺，所到之处，必携带有关的技术资料，回国后，他又不辞劳苦地将他们翻译出来，以备政府所用。当时海军衙门大臣们对于海防机要、近代海军知识与技术的基本原理缺乏了解，曾纪泽虽为帮办大臣，实际上海军衙门的各项计划多出自于曾纪泽的策划。他对于海军统一建制、海军机构的设置、海军的训练、战舰的制造、武器的装备，都提出了诸多建设性建议和意见，他满怀壮志，筹议颇多，但是处于清朝腐败昏庸的政治环境及保守势力占上风的氛围下，曾纪泽的建议多不被采纳，而且他的意见，经常受到同类的疑忌和掣肘，他们阻挠或抑制他的计划的实现。西太后将创办中国近代北洋水师的款项挪用修建颐和园后，他关于建立近代中国海军的计划落空了。尽管对朝廷的这种做法很不赞成，但他所处的地位是无法改变现实的。在任其它要职时，他恪尽职守，勤于朝政，不敢有丝毫松懈。但他的许多主张同样难以实现，他的聪明才智得不到应有的发挥，因此，他经常郁郁寡欢，闷闷不乐。因他兼职多，工作繁重，心理承受压力很大，最后竟因感冒身患伤寒，一病不起，于1890年4月12日去世，实际年龄不足51岁。
曾纪泽不愧是中国清朝最卓越的外交家之一，他没经过正规的外交知识学习和系统的外交实务训练，但已触及到近代外交政策的核心问题，已具备了一位外交家应具备的基本素质：了解国情、知晓世界形势、忠诚谨慎、有谋有略、机智灵活、能言善辩。他认识到近代中国对外关系根本问题，并不在于交涉的本身，而在于国家是否自强，“中国如能自强，则可以似汉唐之匈奴、西域、吐蕃，尚未能自强，则直如春秋战国之晋楚齐秦。”中国要自强，就要学习西方的科技文化，用西方的科学技术武装自己，创立近代政治经济体制和近代工业企业，创办近代海军，抵御外来侵略。在对外关系上，面对列强窥伺中国的局面，他力主捍卫国家主权和领土完整，加强中国与各藩属关系，通过加强对藩属的控制，改变中国与藩属的松散关系。他极力主张收回关税自主权，取消不平等条约，并废除最惠国待遇，还中国一个完整的主权国家面目。这些思想如实反映了中国近代外交史上中国挨打受辱的事实和一位杰出外交家所欲追求的目标。
曾纪泽在同时期中国遣外使节中称得上是佼佼者。在他经手的三件主要外交事件中，尤以与俄国改订条约谈判表现得最为出色。在这场绝无仅有的“虎口夺食”的较量中，曾纪泽方针正确，思路敏捷，能言善辩，既坚持原则，又机智灵活，利用中国对条约内次要商务条款的让步，换取俄国对边界商务等重要条款的让步。他还非常善于利用英、法与俄国的矛盾对俄施加影响，同时利用武力与外交紧密配合，实现他所提出的解决争端的方案。这些成就在中国近代外交史上是不多见的。在中法越南交涉期间，他先主张加强中越传统的宗属关系，谋以中国的军事力量控制越南，从正面抵制法国，并利用干预越南的活动，向东西各国表明中国维护整个藩属体系的决心。如果清政府早下决心，借保护越南来保护整个藩属国家，曾纪泽的主张或许能够实现。曾纪泽在鸦片税厘交涉上的成功，结束了1876年中英烟台以来纠缠多年的一大悬案，禁绝鸦片的目的虽未达到，但英国至少在该协议中，答应将这项肮脏生意“限制约束”，为此后进一步禁烟奠定了条约基础。他在近代外交战线上取得的成就是显而易见且带来积极影响的，正如美国史学家马士赞扬他“为中国不流血的外交胜利，开创先例”，这确是公正的评价。
曾纪泽是奋斗在外交战线上的一位爱国志士。在国势衰落、妥协分子掌握外交大权的清王朝，曾纪泽为挽回国家的损失和民族利益已尽最大努力。他在侵略者面前，表现了不屈不挠的斗争精神。他学习西方文化知识，但并不崇洋媚外；他成为大家子弟学习外语的第一人，是为了更好地为朝廷服务，为国家尽忠。他主张吸收西方的科技文化成果，目的是致力于中国的强大；在谈判桌上，他不屈不挠，据理力争，既不向列强的武力威胁低头，也不向流言蜚语屈服。他所奉行的外交政策，与崇厚的昏庸卖国、李鸿章的妥协退让形成鲜明的对比。尽管受历史条件的限制，曾纪泽外交主张没能完全实现，但他为维护中国权益所进行的积极斗争，永远不会被忘记。