1916年12月2日，袁世凯帝制复辟结束后，伍廷芳应黎元洪大总统邀请，在上海发布通告，宣誓就任中华民国外交总长，后来一度代理国务总理。而正是在此期间，发生了臭名昭著的“张勋复辟”闹剧。1917年6月6日，“辫帅”张勋借调解大总统黎元洪与国务总理段祺瑞的矛盾之机，率领“辫子军”从徐州乘车北上。8日，抵达天津，向黎元洪发出最后通牒，限令他3天之内解散国会、修改约法。黎元洪只得从命，拟好了解散国会的总统令。但在副署问题上，代理国务总理伍廷芳拒不应诺。
伍廷芳的不合作气得张勋在天津高声骂娘，急得黎元洪在北京团团乱转。11日，黎元洪取出印玺派人送到伍府，请其副署，但伍廷芳仍然拒绝。为求得副署，黎元洪提拔伍朝枢（伍廷芳之子，时任外交参事）为外交次长，交换条件就是伍廷芳要在解散国会令上副署。伍廷芳认为这是对其人格的莫大侮辱，拒不接受。
伍廷芳的抗命，气恼了决意复辟的张勋。他派人前去恐吓，声称伍廷芳如果再敢抗拒，将以激烈手段对付。10日夜，伍廷芳对前来劝驾的步兵统领江朝宗说：“张勋在津不来，此事我伍廷芳万做不到。即使他来京质问我，姓伍的自有对待方法。别人畏怕兵力，独我75岁之老头子不怕恫吓。头可断，此令不可署，法亦不可违。”江朝宗见说不动他，急得跪下向他磕头苦苦哀求。伍廷芳干脆闭上眼睛不再说话。
12日，黎元洪万般无奈，只好任命江朝宗为代理国务总理，负责副署解散国会。但伍廷芳拒不交出总理印信。江朝宗率领士兵包围伍府，点起火堆，通宵达旦，高声索要。后来被吵得实在烦心，难以入睡，一气之下，伍廷芳便从楼上扔下总理印信。此时虽已是13日黎明，但填有12日的命令就这样发出了。
当天，伍廷芳上书黎元洪，提出辞职。晚8时，不待黎元洪回信，伍廷芳乘车出京，前往山海关，伍朝枢随父同行。14日上午8时，火车抵达山海关，伍廷芳一行下榻在山海关铁路饭店第六号房间。此时，张勋正率领其“辫子军”浩浩荡荡开进北京城。7月1日，张勋复辟的消息传到山海关，伍廷芳起初还不相信，说道：“宣统复辟？肯定是电文译错了。可能是宣统死了吧！”先期回京的伍朝枢的来电证实了消息不虚。
为从外交上孤立复辟政权，确保共和政体不被颠覆，伍廷芳决计携外交总长印信出走。7月2日下午，伍廷芳由山海关赶至天津，与家人会合，当晚乘船前往上海。7日，伍廷芳抵达上海，受到社会各界的热烈欢迎。在码头，伍廷芳向中外记者发表了离京南下的声明，公开了携外交总长印信南下的事实真相。当天，伍廷芳分别致电中国驻英、法、德、俄、美、日等国公使，请其向所在国政府转达：“北京现被军阀盘踞，中华民国外交总长已携印信在沪办公，所有交涉请与本总长直接办理。”
7月12日，张勋复辟失败，伍廷芳遂于当天将外交总长印信交江苏交涉署转送天津。沸沸扬扬的“伍廷芳携外交总长印信离京出走公案”至此画上了句号。
在此后的岁月里，伍廷芳怀着对民主共和的虔诚之心，响应孙中山的护法号召，南下广东，参加了反对南北军阀的斗争，并长期担任护法军政府外交部长、财政部长（兼）、广东省长（兼）。1922年3月，孙中山出兵北伐时，伍廷芳留守广州代行大总统职务，全权负责广州军政府的内政外交事务。6月16日，陈炯明炮轰总统府，公开背叛了孙中山。伍廷芳因受惊吓而染病，23日病逝于广州市郊新公医院，享年80岁。
1922年12月17日，伍廷芳追悼大会在上海九亩地新舞台举行，参加追悼大会的有八千多人。孙中山手书“人亡国瘁”四个大字。1924年12月10日，广东革命政府决定重新安葬伍廷芳的灵柩，墓地选在广州市东郊的望冈。