1883至1884年法国侵略越南引起的中法越南问题交涉，是曾纪泽外交生涯中面临的第二次考验。如果说中俄伊犁谈判给他带来了较高的声誉，中法交涉却由于清政府的妥协退让给他带了屈辱和失败。
越南与中国唇齿相依，两国的关系源远流长。早在两千多年前的秦汉时期，越南曾是中国的郡县之一。在几千年的历史演变过程中，越南时而是我国版图下的郡县，时而是定期向朝廷纳贡的藩邦。清朝乾隆以来，越南定期向清廷纳贡，4年一次。随着清朝的没落，西方列强把瓜分矛头对准中国，法国首先把触角伸向中国的藩邦越南。
19世纪最后30年，随着法国经济的快速发展，法国统治者开始向外推行殖民政策。两次组阁的右翼共和党头子茹费理曾露骨地叫嚷，要在亚洲建立“法兰西东方帝国”，因此“必须征服那个巨大的中华帝国”，为此“我们就必须站在那个富庶区域的通路上”。这个富庶地区的通路，就是与中国山水相连的越南。
1862年6月，法国占领了越南南圻（南部），并强迫越南签订了《西贡条约》，接着开始觊觎北部。法国侵略者毫不掩饰地称：“必须占领北圻，因为它是一个理想的军事基地。由于有了这个军事基地，一旦欧洲各强国企图瓜分中国时，我们将是一些最先到达中国腹地的人。”由此看出，越南不过是法国的跳板，其真正的侵略目标是中国。
面对法国的严重侵略威胁，越南国王请求当时驻扎在中越边境保胜地方的太平天国余部刘永福的黑旗军进驻河内，协助越南抵抗法军。由于越南国王的软弱，1874年在法军的逼迫下，法、越签订了《顺化条约》，即《法越和平同盟条约》，宣布越南独立，法国成为越南的保护国，对越南同其它国家缔约的权利进行了限制。
为了肃清中国在越南的影响，确立法国的保护国地位，法国驻华公使罗淑亚在法国政府的授意下，要求中国撤退入越剿匪的桂滇军队，并要求在红河的上游、中国云南境内，开放内河口岸一处，以备法人通商。
清政府虽然拒绝了法国通商越南、撤退在越军队的无理要求，但对于《法越和平同盟条约》及法越之间的条约关系，并未直接了当地予以否认，而仅以委婉驳斥的立场，声明越南系中国的属国，这一点为法国占领越南、否认中国对越国的主权制造了一点借口。随着法国经济的迅速发展，法国在越南的活动日益猖獗。
曾纪泽虽然远在英法，但对法国图谋越南的企图早有耳闻。 1880年 1月 25日，曾纪泽面见法国外长佛来西尼，申明越南系中国属邦的事实，但佛来西尼否认法国对越怀有任何领土企图。 1880年 6月，曾纪泽致函总理衙门，要他们采取措施，防止突发事件，要防患于未然。不久，曾纪泽奉命赴俄，而此时法国对越政策，由于对外扩张分子菇费理（1832—1893年）继任总理，更趋强硬。当时曾纪泽尚在俄京彼得堡忙于伊犁问题的交涉，但他对法国的动态仍极为关注。1880年11月10日照会法国外长桑迪里质问法将派兵赴越消息是否确实？并严正声明：“倘该国有紧急紧要事件，中国岂能置若罔闻。”
法国对曾纪泽的抗议，明确表示不同意，否认中国在越南的宗主权，他们公然叫嚷：法国在越南所为，是按着法越间条约行事，越南受法国保护与北圻问题与中国无关。曾纪泽在中俄紧张激烈谈判间隙，带病前往法国驻俄使馆，再次重申：法越条约宣布越南独立与中国有关，早在300年前越南隶属中国版图，稍后被中国封为属国，自理朝政。法国虽与越南订约，但中国的宗主权利尚在。与此同时，他建议总理衙门，应向法国声明中越宗属关系，以阻止法国在越南的进一步行动。若果真发生争执，即可以此为据，与之说理。
中俄伊犁改约签订后，中国在国际间的声望大大提高。1881年曾纪泽回到巴黎，想乘机就越南问题与法国作认真谈判，主张改以强硬立场。曾纪泽会晤法国外长，法国仍坚持法越订约的原来立场。他深知：“法国图谋越南，蓄谋已久，断非口舌所能挽救。”因此曾纪泽再度致电总理衙门，提出了挽救越南局面的七项建议：（一）中国对越南施加压力，越南除定期派遣进贡使臣外，要派一明白事体的大臣长住京师，听候吩咐。（二）越南系中国属国，按规定不得擅自派遣使臣驻扎他邦。（三）告知越南，切不可与法国轻立新约。（四）遵守执行中国命令而非依据法越条约行事，在红河开埠通商，允许西洋各国来此通商贸易。（五）越南清除红河盗匪，力不从心，可求助于中国，勿求助于法国，给法国造成可乘之机。（六）法越条约，西洋各国并未承认，实为废约。（七）越南应对臣民严加管教，防止给法国造成挑衅借口。
曾纪泽的目的，是想通过对越南的控制，加强中越的宗属关系，排挤法国势力，阻止法国侵略计划的实现。凭着曾纪泽多年的外交经验和对国际形势的了解，他的建议是符合实际的。李鸿章为首的妥协派对曾纪泽的七项建议都不赞同，他认为越南政权“弱不能扶”，而法国也并不急于吞并越南，法国不过是虚张声势罢了，因此，他坚决反对采取积极主动的防范措施，而主张采取审慎观望的态度，静观事态的变化。
1882年春，形势急转直下，法国借口越南应依法越条约开放红江通商，一面要求越南驱除刘永福的黑旗军，一面派海军上校李威利率援军700人，进驻河内，并于4月8日攻占河内。
曾纪泽在巴黎报纸上看到了法军攻占河内消息的当天，即提出口头抗议，声称法国如果侵占越南的土地，中国必定干预。4月15日，曾纪泽三度会见佛来西尼，要求法国在越南的行动应与中国商议。佛亚西尼不但拒绝，而且狂妄地宣称：法国在越南所为，是根据法越之间条约所为，中国无权干涉，法国也没有义务报告中国或与中国商议。曾纪泽听后，非常愤怒，他要煞一下法国佬的狂妄气焰，于是在4月29日，曾纪泽向法国提出一件措施非常锋利而语言极为直率的照会，列举中国有权干预越事，及中国对越事不能不加过问的理由，驳斥佛亚西尼的答复为“无凭之说”。他指出：所谓越事不关中国一词，可谓毫无根据。作为主权国家，中国历史悠久，与越南紧密相连，连绵数千里，在越南土地上居住的华侨，为数众多，两国间的贸易比越南与任何国家的贸易往来都广泛，中国所有西南地区的物产，都由越南水路行销，中国和越南如此关系，您认为中国没有法越事件关注的权利，请问阁下，贵国更有此资格和权利吗？
法国借口曾纪泽发来照会措辞傲慢，而且有轻视侮辱法国的语句，搁置不复；曾纪泽再度致函，但也仍无下文。法国驻华公使宝海威胁总理衙门大臣说：如果曾纪泽对于法国不改变其傲慢的口气，法国外交部对此类照会，将拒绝不收。
法国的抗议，引起了国内清廷主和大臣的恐慌，他们一味指责曾纪泽办砸了事，有失国家体面，导致中法关系不睦。曾纪泽毫不退缩仍坚持强硬的对法立场。但他对法国不复中国的照会非常愤慨，态度更强硬。在同继任法国外长杜克莱的一次会谈中，请法国外交部设法预防法国某些驻越边将，不顾法越相距甚远，在越生事，同时又说明，中国不但有权关心越南边界的地方，而且对越南内地，也很关切。在另致总理衙门的信中，指责法国对他敷衍塞责的用心和伎俩进行了抨击和嘲讽，称之为儿戏，幼稚可笑。
由于曾纪泽强硬的对法态度，使法国人既恼怒又害怕，深知从曾纪泽身上法国是占不到任何便宜的，因此不予理睬曾纪泽，而把中法交涉的重心转移到北京，由法国驻华公使宝海与直隶总督李鸿章交涉。
李鸿章对越南的政策，自始就与曾纪泽有重大分歧。他对法国的侵略，“始终主和”，“坚持和议”。其理由是：（一）如果中国与法国开仗，就是与法国“失和”，而中国一向“兵单饷匮”，决不可与欧洲强国轻言战事；（二）中国若与法国开仗，即使“一时战胜未必历久不败，一处战胜未必各口皆守”，即使偶尔打了胜仗，也只会引起法国的更大报复；（三）即使法国吞并了越南也不过是“伏边患于将来，”假若因援越而得罪了法国，就要立即“兵连祸结”，动摇全局。这是地道的失败主义与民族投降主义。正是在这种思想指导下，李鸿章在中法越南交涉之初，就主张牺牲越南，对法妥协，反对与法国兵戎相见。虽然后来由于法国的一再挑衅，中国政府增兵入越，派广东兵船在越南洋面游弋示威，李鸿章不过是想藉此威胁法国，并不想进一步交战，故而谆谆告诫入越将领”相机因应，不可轻率从事，衅自我开”。即使在中法交战甚为激烈时刻，李鸿章也无时不在寻找与法国和解谈判的机会。