加入李鸿章幕府的头几年，伍廷芳只是“办交涉，译法律”，但1886年秋发生的长崎兵捕互斗事件给他提供了第一个展示处理外交事务能力的重要舞台。
长崎兵捕互斗事件肇因于洋务运动中海军建设的一个失误：清政府光考虑购买船只，却没有修造船坞，结果导致中国海军有舰队却无法自我修理的恶果，遭到列强的耻笑和蔑视。觊觎中国已久的日本自然对此是大加利用——允许中国军舰到日本进行维修。在船坞修成之前，中国海军军舰不得不到日本进行维修。这次事件的直接诱因是，当中国到日本长崎维修舰船的水兵上街购物时，遭到日本巡捕的挑衅，发生了所谓的兵捕互斗事件。由于日本巡捕人多势众，持刀围砍，互斗的结果是中国士兵死亡8人，伤22人，而日本人死2人，伤27人。本属肆意寻衅的日本人不仅不反省自己，其政府更是火上浇油——日本外相井上竟倒打一耙，恫吓清政府驻日公使，威胁说如果处理不好，将可能导致“两国失和”。腐败软弱的清政府正因连年的战争而内外交困，十分担心日本借机生事，于是力主就事论事，大事化小，小事化了。议和事务由李鸿章主持，由清政府雇用的西洋律师赴日交涉。西洋律师了解案情之后认为日方理亏，这显然不是日本愿意接受的结果，于是，日本借口要中方添加新的证据，意在无限期拖延案件的审结，为日本制造侵华事端保留口实。李鸿章熟悉此种伎俩，急于结案，于是伍廷芳成为他倚重的参谋。
临危受命的伍廷芳对此局面拟出了颇具层次性的四项方略：一是要求案件由两国派员会审；二是建议由两国外交使节或是政府来审理；三是招请友邦谙悉多国刑事法律的大员调停；四是如果上述方法均遭日本阻挠而告失败，则与日本断交。
公平地说，伍廷芳的办案方针相当高明，他知道日本人不会接受中方聘请的西洋律师得出的结论，于是刻意引入西方列强参与调解。伍廷芳清楚地知道日本人明白曲在日方，但在当时的情势下，一方面中国虽然在国际政治中处于弱势，可日本也尚未有足够的信心立刻与清政府对抗；另一方面，如果有西方列强的卷入，那么日本凶暴野蛮的行径一旦暴露于西方列强面前，日本将在干涉中国事务方面失去和西方列强较量的筹码。伍廷芳的方案合乎国际法律惯例，层次分明，而且能确保清政府在政治上进退有据。因此，该方案得到了李鸿章和清政府主要大员的支持。果然两个月以后，日本政府感到此案久拖不决，会对日本的国际形象造成损害，于是主动邀请德国驻日公使出面调停。
1887年1月28日，该案件审结，具体的处理方式是：不公开谴责日本的暴行，也不作国际交往原则中应做的道歉行为，仅仅在抚恤金上多出3万元钱。这种不公正的处理结果，显然为日本未来肆意侵凌中国壮了胆；但对懦弱昧暗的清政府来说，他们认为这已经顾全了自己的脸面。除开这一后果，单看伍廷芳在此案中的表现，可称顾全大局，处理有理有节、张弛有度，初步显示了作为弱国外交官的独特风采。
1894年，中日甲午战争爆发，在战争实力和准备时间均高于日本的情况下，清政府遭到了耻辱的失败。伍廷芳在战争中参与铁路管理，协调军需物资和兵员的运输事务；但战争结束之后，他又不得不站在了耻辱议和的第一线——李鸿章奉旨派张荫桓、邵友濂带国书赴日求和，伍廷芳以候补道派充头等参赞。
1895年1月29日，中方代表团抵达长崎，日内阁大臣伊藤博文、外相陆奥宗光接洽，但日方以张、邵不是全权代表为由，拒绝谈判。不仅如此，日方还蛮横地拒绝中方代表团用密码发电与国内联系，中国代表团陷入困境。这一期间，伍廷芳得到了两次和伊藤博文私下面谈的机会，终于探听到了日本的真实意图和议和目标——伊藤博文几乎明确地给出了日本索要的价码：他们要求李鸿章作为双方谈判的中方全权代表，并要求割地赔款。伍廷芳终于弄清了日本羞辱中方代表团的主要原因，并把他探听到的情报如实上报给了清政府。最终，清政府特派李鸿章为拥有割地、赔款权力的全权代表，赴日谈判。
虽然对中国人来说，《马关条约》实在是丧权辱国，但在当时的条件下，清政府缺少和日本帝国主义讨价还价的基本条件，签署这一条约几乎不可避免。然而，伍廷芳在李鸿章谈判完成之后，还得痛苦而难堪地以二品顶戴候选道头衔充当换约大臣。在换约结束后，由于日本割占辽东半岛侵害了俄国的利益，引发了三国干预，日本被迫归还中国辽东半岛，但要以多赔3000万两白银作为补偿。
在这次补偿谈判中，日本人又耍了一个阴谋，要求攫取更多的权益和降低日货的关税，意图违反已经议成的《马关条约》。在当时，盛宣怀曾有一个设想，准备中外统一税率，而对华商减税二成。伍廷芳机警地看到了其中的危险，因为西方列强已经在中国取得了领事裁判权和片面最惠国待遇，如果盛宣怀的意见付诸实施，则必然给西方列强以共享的借口。伍廷芳于是提议盛宣怀建议的后一部分以政府补贴的方式实行，尽可能地维护了中国的权益。
晚清政府对日外交过程几乎无称道之处，但伍廷芳作为其中的参与者，平心而论，他的个人表现应该是可圈可点的。尽管他不可能扭转清政府屈辱的外交颓势，但他个人在其职责范围内尽可能地维护了中方的权益。虽然后世学者在对日本开放的秘密档案进行研究后表示，伍廷芳后来为了帮助他的恩主李鸿章进行国内政治斗争，一度试图借助日本势力——这种行为严重有违国格、有失体统，有人认为他的政治大局观大可质疑——但这无损于他作为法学专门人才在外交实务中的敏锐和爱国情操。而这也正是他后来被清政府委派负责处理对美外交事务的主要原因。