1911年10月10日，武昌起义一声枪响，各地闻风而起，纷纷宣布“光复”，腐朽的清王朝土崩瓦解。
1911年11月3日，上海革命党人以伍廷芳“伟才硕望，中外咸钦”，故托人劝他出任沪军都督府外交总长。伍一开始以年老体弱相辞，后来勉强接受。到11月4日上海光复，6日都督府宣告成立，伍廷芳就走马上任了。前后相差，不过几日而已。以他的能力与声望，能在这么短的时间里，投身到一个充满艰辛与风险的全新事业——肇建民国当中去，其决心和影响可想而知。
时局的波谲云诡，总是出人意表。虽然武昌起义之后，各省纷纷宣布独立，清廷分崩离析之势不可阻挡；但另一方面，清廷毕竟是百足之虫，死而不僵，尤其是随着袁世凯复出，他挟北洋六镇之势力，耀武扬威，一时倒也令革命党人无可奈何。此时，南北双方谁要吞掉谁，都有千难万难；而军事上占据优势的袁世凯，又在背后大玩养敌自重的伎俩，所以，最终双方有意无意地维持住了一种均势。此时，独立的各省固然愿意早日和谈，以定大局；袁为着政治野心，想早点坐上袁氏江山的宝座，也唱起议和高调，他还抢先南方一步，选派唐绍仪为北方议和总代表，南下湖北，争得谈判主动权。
唐绍仪，字少川，广东香山唐家湾（今属珠海）人，早年留学美国，后任职朝鲜16年。回国后，他仍然长期且专门从事维护中国主权、增进中国利益的外交活动。其中，尤以赴印与英国谈判，解决西藏问题，及在收回利权运动中处理煤矿与铁路事务的政绩，使他享有盛名，号称为“清廷显官，政学前辈”。由他出任北方总代表，一方面固然是袁世凯的主意，另一方面却也是众望所归。反过来看南方，在能力、资历和声望上能与唐绍仪并肩抗衡的，除伍廷芳等寥寥几人外，找不出更多。
出任南方议和总代表，伍廷芳当然是最佳人选。所以，尽管上海的陈其美与湖北的黎元洪为争夺革命领导权斗得不亦乐乎，但前者一提议伍廷芳，后者则除了把工夫放在争得谈判地点设在武汉外，对于人选问题只得同意。12月5日，代理中央政务的黎元洪正式任命伍廷芳为民军总代表，代表南方主持和谈，以“不辜负十一省推举之望”。
伍廷芳却并不想买陈其美的账。对于出任总代表一职，他先是表现冷淡，继之以推却。陈其美急于求伍廷芳出马，以盖过黎元洪，据说竟至于在伍面前长跪不起，苦求不已。他的诚心总算是把伍廷芳感动了。但北方的唐代表还未到，南方又为议和地点争得不可开交起来。黎元洪力主在汉口谈判，伍廷芳则以事务繁多、各国公意等理由主张将议和地点定在上海。双方电报来来去去，等到唐绍仪已经到了武昌，还没争出个定论。后来南京光复，清廷又夺去汉口，武昌处于大军压境之下，才不得已定为上海。
12月18日下午，海内外万众瞩目的“南北和谈”拉开序幕。伍廷芳、唐绍仪各率领其参赞（南方有汪精卫、王宠惠、王正廷等，北方有杨士琦、章宗祥、严复等），在上海公共租界市政厅展开争论。双方唇枪舌剑，一直谈判到31日，留下会议记录5次，才达成了不少共识。
伍廷芳的卓越才识，在这次和谈中得到了最充分的展现和挥洒。他认为当务之急在于南北停战，“须实行停战，方可议和”，因此，每次会议开始，第一个议题就是落实此事。他提议搁置谁先开战的争论，即行罢战，并归还各自在停战期间违约进占的土地。对这个紧急问题，他的对策始终是避免无谓纠纷，灵活而求实效，予以彻底解决。这与他在商量根本问题——今后政体到底应是共和还是君主立宪时的坚持原则、寸土不让，恰成鲜明对照。他力陈今日中国皇帝已经不能再要，君主立宪是行不通的，只能实行共和立宪。他不但坚持这个原则，甚至还想方设法，动之以情，晓之以理，对对手大搞策反。
同为“海归派”的唐绍仪，对这番道理当然是衷心赞同的。况且，他自认为他来南方的主要使命，并非是为了拯救已经半死不活的清朝，而是运用妥协的手段，务使南方确认袁世凯的地位。所以，皇帝要也罢，不要也罢。他告诉伍廷芳：“共和立宪，我等由北京来者无反对之意”，“且我共和思想尚早于君，我在美国留学，素受共和思想故也”。他还表态说今天所议，并非为反对共和宗旨，“但求和平达到之办法而已”。伍廷芳答：“承认共和，则一切办法皆可商量”，今日“我等最注意者，宜使中国完全无缺，不为外人瓜分”，至于其他的如皇室待遇、旗人的安置、五族问题，都“自有善法”。唐答应电告袁世凯，“欲和平解决，非共和政体不可”。
这时要袁世凯答应赞同共和，当然还为时过早。表面上支持君主立宪的袁世凯，在内心中却认为君主立宪也好、共和也好，都是表面文章，真正的问题，在于谁的手里握有大权，名至实归。所以他对唐绍仪的回复中，既不说要这个，也不说要那个，而是推说得召集国民会议，再行决定君主或民主问题。
于是南北双方又围绕召开国民会议的开会办法、代表组成，尤其是地点问题，进行了激烈的争论。同时商讨的，还包括日后政治转型之后的各种善后问题，如优待皇室及五族共和、停战期间借洋款及其分成等等。双方虽时有较大的分歧，但对于和谈来说，并不形成关键的障碍，所以也就常常易于达成共识了。即使其中偶有风波，也并不算大。伍廷芳的谈判风格，又回到了在不丧失原则的前提下，以灵活务实和可操作性为准。
1912年1月1日是一个转折点。这一天，南京临时政府成立，孙中山出任临时大总统，中华民族掀开了历史新纪元。这个消息对于觊觎元首之位已久的袁世凯来说，不啻一记耳光。这时，清廷也在不断对他施加压力。名义上还是清朝臣子，而且不得不倚重这一身份的袁世凯，当然不便于完全不顾朝廷的面子。所以，正当上海滩的伍、唐两人达成诸多共识，并留下一系列白纸黑字的文件时，1月2日，恼羞成怒的袁世凯以这些约定未与他商明为由，全部判为违规。唐的议和代表职务亦同时被他免去。接下来的谈判，袁要求转为由他和伍廷芳两人“直接往返电商”。
消息传来，伍廷芳不禁为袁世凯的背信弃义感到愤怒。次日，他在复袁世凯电中一开头就说自己对此“深为诧异”。接下来，他在多封电报中强调，唐绍仪既然携有全权代表文凭，“本代表即认唐使有全权会议”，在其辞职之前，所订之约，一经签字，即有效力，应当遵守，“若以签字定议之条约可任便作为无效，将视同儿戏，代表全权之信用扫地，何以与列国友邦并立于世界？”至于袁要和他电报谈判，伍则始则以兹事体大、电谈不便推脱，继则以既然是袁中间生事，则袁应亲临南方谈判要挟。电报中犀利而又句句在理的文辞，把袁世凯说得哑口无言。针对袁世凯“何以未开国民会议决定政体，南方先组临时政府，又选举孙中山为临时大总统？”的责问，伍廷芳回电说：“民军已光复十余省，不能无统一之机关，且于国民会议未议决前成立临时政府，并选举临时大总统，只是民国内部事务，这也是政治通例。”他反诘道：“请还问清政府，国民会议未议决以前，何以不即行消灭，何以尚派委大小官员。”而对袁世凯大玩软硬兼施的两面把戏，一边谈判一边纵容部下南犯，伍廷芳则一面在电文中以事实加以斥责；一面又致电各国领事，以求国际舆论支持。他还致电提醒孙中山，让他对此要严阵以待。伍廷芳甚至还利用北洋军阀的内部矛盾，力图从中分化……
逞一时口舌之快可不是伍廷芳的作风，讥刺袁世凯，是为了在道义上抢得上风。一旦到双方商及实务，伍廷芳的作风就很务实了。他在与袁世凯过招时，总要占据有理、有节的气势，以做到对共和事业和国家前途最为有利。这一轮的谈判一直持续到1912年2月12日，双方达成了如下协议：清帝逊位，而孙中山将大总统一职让与袁世凯。协议既成，2月16日，伍廷芳以“全国统一，和谈告竣”，提出辞呈。17日，孙中山即复电同意。南北和谈和它前后所有的文戏、武戏，也就由此缓缓闭幕了。
尽管总的形势最后不可避免地倒向了袁世凯，但伍廷芳代表南方谈判所取得的成就仍然不可磨灭。孙中山在17日电文中对他带领的和谈团体给予了极高评价：“公等为民国议和事，鞠躬尽瘁，不避嫌怨，卒能于樽俎之间，使清帝退位，南北统一，不流血而贯彻共和之目的，厥功甚懋！”