蒋介石下野之后，宁粤合流，表面上出现各方合作，蒋汪胡携手的形象，但事实上，胡汉民留居香港，拒绝入京。他对蒋之复出以及蒋汪合作，不仅厌恶，而且决心倒之。当时刚辞去行政院长的孙科，对于蒋汪的向日退缩政策甚表忧虑，曾于密电中告诉胡汉民，蒋曾责令十九路军将领，不得“擅起战端”，后来军民奋战，“乃表示抵抗，然仍令十九路军将领只准抵抗，不必扩大”，认为“日方计划摧毁长江一带军事势力，结果南京中央必然崩溃”，所以建议在粤中另立政府。（电文全文可见于杨天石《寻求历史的谜底》，第568页）胡汉民虽然没有另立政府，但继续积极活动倒蒋。他想统一西南各地实力派的力量，以与蒋汪南京政府抗衡，以抗日为号召，并借此攻击蒋汪的不抵抗政策。他还与华北的冯玉祥取得联系。冯主抗日甚力，对蒋之向日本委曲求全，甚表悲愤，也想联络西南倒蒋。（见张允荣1932年8月18日《致展党先生函》）此时冯已自徐州移居泰山，名为养病读书，实与在山东的韩复榘有所密谋，与胡自亦一拍即合。胡于1932年5月5日复函冯玉祥，有谓“过去四五年，只见有个人，而不见有党”，“凡所措施，无不出于个人私意”，此个人即蒋介石也，暗示如果倒蒋，“必竭诚襄助”。（胡函原件藏哈佛大学东亚图书馆）胡与北方的张学良、韩复榘、阎锡山、孙殿英、石友三之间，也互通音问，设计如何抵御气焰方张的日寇，如何去除劫国的“独裁之魁”蒋介石。（参阅杨天石《寻求历史的谜底》，第570页）他还取得国民党海外支部的支持，同情他抗日反蒋的立场。可见他发展“反蒋”关系，十分广泛。事实上，他已着手组织新国民党，强调纪律、团结与反蒋，活动范围扩及江苏、浙江、安徽、江西、湖南、湖北、四川七省。
南京政府的蒋汪合作，蒋主军、汪主政，也不如表面上看来那样和谐地分工合作。如周德伟所指出的，蒋仍遥控政治，“不脱军阀素习”，“军费占岁入百分之八十以上，各省封疆大吏，则一仍其旧，汪氏无置喙余地”。蒋“又推荐孔祥熙为中央银行总裁，兼中国银行董事长”，后“又推荐陈果夫为江苏省政府主席，张静江早已任浙江省主席”，“中央之党务则有叶楚伧、陈果夫操纵，陈立夫尤横，一意为蒋氏鹰犬，与汪立异”。（周德伟《余之一生与国民党点滴》手写稿本第十六章）然则蒋汪合作其名，蒋氏一人独裁其实，无论政、军、党、特都在他的手里。
1933年年初，日军突袭山海关，榆林失守，张学良决心抵抗，与胡汉民关系趋密。张曾告诉胡“不抵抗”的原委，故胡于回函中说：
兄前以不抵抗而丧失东北，兹又以不抵抗而丧失榆关。长此以往，国将不国。虽示负最终之责任者当别有人在，顾兄身当其任，究何以自解于国人纵不为个人计，将不为数百万人民之身家性命计耶（原函藏哈佛大学东亚图书馆）
胡虽希望张学良结合华北将领，抗击日帝，但是“别在”之人乃全国最高统帅蒋介石，仍一心想“剿灭”共产党，全无意绪抗日。日军遂于3月4日侵占承德，无可奈何的张学良唯有引咎辞职，黯然出洋。胡汉民针对此一局势的对策是积极组织西南抗日联军，联络北方抗日将领，以便北上救援热河；不过，其意不仅在抗日，而且还要倒蒋，可见之于另一封密函如下：
西南抗日军队出发，以贤初为总师之任，渠以抗日为倒蒋，如能师出武汉，北局有变，一切正可相机而动。（胡汉民致护黄、颂云，原件藏哈佛燕京图书馆）
函中的贤初，乃十九路军将领蔡廷锴之字，淞沪停战后被调往福建“剿共”，然仍不忘抗日，与胡汉民等结合，于1933年4月2日出任“西南抗日军总指挥”。而此时全国各地抗日救国运动风起云涌，冯玉祥于5月26日在张家口宣布成立察哈尔民众抗日同盟军，但这个时候蒋介石仍然在江西“剿共”，并于5月31日授命何应钦签订丧权辱国的《塘沽协定》，实际上承认日军侵占长城以及山海关以北地区的合法化，并同意长城以南的察北与察东地区不予设防，直令华北门户洞开。胡汉民闻之甚怒，即电冯玉祥曰：“请公立振义师，先就北平擒拿经手订立妥协之何（应钦）、黄（膺白），即行讨蒋以抗日。”（胡汉民致焕公电，原件藏哈佛燕京图书馆）然而无论西南或华北，抗日讨蒋的情绪虽高，但实力（军力与财力）不够。胡汉民的“北出长江、推倒国贼”的计划固然夭折，冯玉祥的抗日同盟军在蒋介石的压迫与分化下宣布解散，方振武、吉鸿昌的抗日讨贼（蒋）军也因孤立无援而失败。但是胡汉民仍不肯放弃，至10月间仍在积极规划如何“声讨独夫，从事抗日”（语见胡汉民致何子佩函，1933年10月19日，原件藏哈佛燕京图书馆）。
讨蒋抗日虽是胡汉民梦寐以求的目标，但是主张讨蒋抗日甚烈的中共，仍然是他想要消灭的敌人，敌人的敌人仍然不能成为朋友，反而与敌人蒋介石在反共上有共识。所以当闽变于1933年11月发生时，由于更改国号、换旗、联共，虽然目标就是讨蒋抗日，胡汉民不能苟同合作，坚持讨蒋与“剿共”双管齐下，声称“独裁卖国之南京军权统治，叛党联共之福建统治，必同时清除之”（见胡汉民对时局宣言，1933年12月15日，载《胡汉民先生政论选编》），勇气虽然可嘉，但几乎是不可能达成的任务。而此时蒋介石正分江西“剿共”之师，大举入闽“讨逆”，动用海陆空三军，并亲至建瓯指挥镇压，十九路军孤立无援，于1934年2月初宣告失败，被蒋改编，部分残军则由陈济棠改编为粤军独立第三旅。
胡汉民在1934年，仍然继续联络各地将领，进行抗日反蒋活动，在军事上虽然相继失败、乏善可陈，然而在政治和党务上，实已将西南独立于南京政府之外，颇有效地抵制了蒋介石，如蒋于1932年3月在洛阳召开国民党四届二中全会，胡断然拒绝参加。一年之后，蒋提出召开临时全国代表大会，也遭胡等通电反对而被迫取消。原定于1933年11月召开的国民党第五次全国代表大会，亦被迫延期至翌年11月12日举行。胡汉民仍发表有电，与蒋汪所定议题，针锋相对，唱对台戏，并谴责南京政府“党同伐异，自为派系，钳制同志，变本加厉”（语见有电，载《三民主义月刊》第四卷第四期），更扬言那只是军权统治的五全大会，不是中国国民党的五全大会（参阅胡汉民《为五全大会告同志书》，载《三民主义月刊》第四卷第四期），甚至不惜另开代表大会，宣布蒋介石、汪精卫等“叛党、卖国罪状，开除其党籍”。（参阅胡汉民1934年9月25日致南洋英属总支部整理委员会函以及1934年9月30日致邹鲁等函）胡汉民如此强硬，倚老卖老，自令汪蒋十分头痛，不得不加以“招安”，由王宠惠亲自携孔祥熙函南下，呼吁谅解，动之以情，并邀胡“早日命驾来京，主持一切”，却被胡刮了一顿胡子，说是不应求“私人间之谅解”，以延误“国家之危机”，更进而把矛头指向蒋介石：“南京政府之上，尚有一南昌之太上政府，彼以一军事领袖，在行政上可以擅自发号施令，并擅自召集各级文官训话，又可以组织蓝衣党，企图以法西斯主义代替三民主义。”（《胡先生为宁粤合作对法报记者之谈话》，载《三民主义月刊》第四卷第五期）这种指责不可谓不重，而又难以辩驳，所谓以三民主义相标榜，而行专制独裁之实，尤其击中蒋之要害。由于胡汉民的杯葛与谴责，五全大会就没有开成，另于12月10日召开四届五中全会。
胡针对蒋之集权，极力提倡均权共治，并得到西南实力派的支持。蒋介石为了争取胡之谅解，于1934年2月3日与汪精卫拟订了一项中央与地方如何均权的方案，且派王宠惠、孙科赴港协商。但是胡汉民知蒋并无诚意，托孙科带回一函，言辞虽然客气，仍拒蒋于千里之外，雅不欲入京合作：
自民二十年后，久阙音问。亮畴、哲生两兄来，藉获手书，甚感关注。弟三年养疴海隅，而时受风寒侵袭，血压久治未低。闻尊体近日亦不能无小病，较以前精力稍逊，诚为兄系念不已。国家大计，弟以为总理已垂示甚周，故数年来仍悉心体会而莫敢外。此次与亮、哲两兄所谈，亦唯此旨，即托其一一面达，其间亦非片褚所能尽也。（转引杨天石《寻求历史的谜底》，第594页）
民国二十年（1931）2月，胡遭蒋拘留，以致“久阙音问”，不忘提醒蒋其所作所为。函中未及国事，只说“国家大计”“总理已垂示甚周”。观其写此函一周后，在其主持的《三民主义月刊》上为文，指蒋“剽窃总理之均权主张，希望在军权统治之下实行其均权制度”（见该刊第四卷第六期《军权与均权》一文），则“总理垂示甚周”云云，其责备之意，尽在不言之中。然而蒋于1935年3月11日驰函胡汉民，仍以“谋团结”“挽危局”为说。此后日本图华愈急，日方派孙中山老友萱野长知往说胡汉民，鼓励“西南独立”，并请胡“进就总统之职”，以与“华北自治”相配合。胡汉民当然不能为了反蒋而去做汉奸，故当土肥原于1935年3月2日亲赴香港晤胡，企图挑动两广出兵倒蒋，被胡拒绝。（参阅胡汉民《论所谓中日提携》，载《三民主义月刊》第五卷第三期）
一时之间，胡汉民成为日方与蒋方两面拉拢的人物，但他坚持抗日反蒋的立场。因为抗日救国，他不可能联日反蒋；也因为抗日救国，他不可能与不肯抗战的蒋介石合作。不过胡氏心目中的蒋介石问题，不仅是对日政策，而且是军事独裁。所以他虽于6月间到欧洲去疗养，仍然反对蒋汪合作的南京政府，不愿与他们团结，也拒绝参加1935年11月1日在南京召开的国民党四届六中全会。开会的第一天，抗日爱国的孙凤鸣，曾任十九路军排长，以晨光通讯社外勤记者身份混入，原想刺杀不抗日的蒋介石，蒋未出来照相，只好退而求其次，向汪精卫开了三枪。汪不仅代蒋挨枪，而且因伤让位，使握有军权的蒋介石又完全控制党政大权。为了争取胡汉民与其他粤方中委的团结，参加五全大会，蒋介石尽量在口头上满足胡等要求。当五届一中全会于1935年12月7日在南京召开时，胡虽然身在欧洲，仍被选为国民党中央常务委员会主席，显然是蒋介石的意旨，表示愿胡负责党务。胡于1936年初返国时，蒋又命魏道明先至新加坡迎接，并附函“务请即日莅临京中，共济时艰”，不过胡对蒋之疑虑犹存，抵广州后继续批评南京国府，只是在言论上似乎已从打倒蒋介石的政府，转变为促其觉悟与反省，以团结全国抗战的力量。胡汉民于同年5月12日因脑出血逝世于广州，终未入京与蒋介石再度合作。蒋关了他七个多月，他讨蒋五十多个月，口诛笔伐，没完没了，岂蒋始料所及哉
蒋介石的补救办法是尽量在胡汉民身上下工夫，如果胡能入京，重新合作，以胡在西南物望之隆、国民党内地位之重，至少可以结束两广半独立状态，奈胡衔恨甚深，迟迟其行，以至于突然病故。然而蒋要解决西南，并不就此罢手，遂导致1936年6月1日的所谓“两广异动”事件。
当胡汉民积极从事讨蒋抗日活动时，广东的“南天王”陈济棠颇感犹豫踌躇，不愿出兵。以其治理粤省之勤，休养生息，固不欲做孤注一掷；然据《李宗仁回忆录》所说，南天王不愿意为胡汉民抬轿子，令胡独霸西南，似亦言之成理。然而说胡死之后，陈便有野心，未免言过其实。陈知蒋必不容西南在其掌握之外，故于胡死后即派乃兄维周面蒋察言观色，并刺探情报，及知蒋有离间粤桂，各个击破之意，顿生“唇亡齿寒”之惧，以至于产生“坐而待亡，孰与伐之”的想法，遂有南天王与广西李、白联手异动之举。
此一异动，有其技巧，只称抗日，不提讨蒋，北上的部队称为“抗日救国军”。纯为抗战，蒋介石自不便公然征伐抗日军，阻挡抗战；但虽缓不“攻城”，却以攻心为上，一展其分化离间、金钱收买的故伎。7月之初，粤方飞机投蒋，陈济棠手下大将余汉谋通电拥蒋。类此陈前起义，岂是偶然余汉谋之拆陈济棠的台，就像当年陈济棠拆李济深的台，都是蒋介石的地下作业，戴笠那一帮军统人马不是白吃饭的。至于粤机北飞，岂是弃暗投明飞向黄金也。
陈济棠毕竟因而狼狈奔港，广西李、白虽尚能保住广西一隅实力，但势孤力单，也只好于8月间拥戴蒋之中央。胡汉民死后不到三个月，不血刃而西南反蒋势力瓦解，蒋介石又赢得一回合的国民党内斗，得以拖延抗日，更加集中精力去“剿共”。