4月23日，就在何应钦的座机飞离南京八小时以后，人民解放军的军旗插上了国民党总统府的门楼。蒋介石在炮火逼近的上海，把何应钦、顾祝同、汤恩伯、周至柔、桂永清、陈大庆等召到一起，研究如何保卫上海。到了后来，蒋介石天天在吴淞口外的兵舰上督师，眼看着一次次惨败，时时发脾气骂人。到了5月23日，汤恩伯以五个团的兵力，在金家桥一带与解放军殊死争夺，结果惨败。看看战局实在无望，蒋只好下令总撤退。
已经入主台湾的陈诚摆出东道主的架势，带领绅士富商，到码头进行慰问欢迎。张灯结彩、敲锣打鼓的热闹场面，与丢盔弃甲、七零八落的残兵败将，形成了鲜明对比。顾祝同则带上整编方案，到台北先和陈诚磋商，再转马公岛向蒋介石请示决定。
退至华南的何应钦用电话调宋希濂部南下，宋希濂回话说：“我撤到恩施是老总的命令！”老总自然还是蒋介石。
何应钦说：“恩施一带并无敌人，你到那里去实无必要！常德一带异常空虚，你如不来，湖南战事就不可收拾，你到恩施也是绝路。”
“我管不了许多，老总要我怎么办，就怎么办！”
“我是行政院院长兼国防部部长，负责指挥全国部队，你必须服从我的命令！”
宋也火了：“我就不知道什么行政院院长、国防部部长！”说完就把电话挂了。
何应钦气得面孔发紫，立即赶来向李宗仁报告：“这成什么体统！这成什么体统！我有生以来也没受过这种侮辱！”宋是黄埔一期，是何应钦的学生。连黄埔学生都这样不听命令，战局还怎么收拾？何应钦向李宗仁提出辞职。李极力挽留，立、监委亦群起吁请何打消辞意。何应钦沮丧地说：“德公，如要我继续干下去，我只有两条路可走：一就是逃亡，二就是自杀。”
李宗仁一听如此坚决，不再勉强，于5月下旬准其辞职。
5月30日，何应钦内阁总辞职。
何应钦要去台湾了。临行前，他和夫人王文湘来到内兄王文华的坟前拜别。王文湘的大哥王伯群是统一党的党魁，二哥王文华是黔军将领。最初的何应钦靠着这层关系，从无名小卒一跃而为黔军中握有实权的“新派”中坚。1920年11月，何应钦在王文华的指使下，发动了“民九事变”，一举逼走贵州督军刘显世，取得了“新派”战胜元老派的关键性胜利。接着，省议会发表了迎接故意避走上海的王文华回省主政的电文。不料，就在好事即将铸成的当儿，久萌反志的黔军总司令部总参议袁祖铭，在元老派的支持下，收买凶手，于上海一品香旅馆门前将王文华暗杀。
何应钦挽着夫人，站在墓前默哀。王文湘不住地用手绢拭着涌出的泪水。这两年王文湘的身体一下子垮了，经常卧病不起，医生怀疑她染上绝症。站了好一会儿，何应钦把夫人搀走，快上车时，两人又望着内兄的墓，发了一阵呆。
清明节后，江南整日雨水涟涟。准备去台的蒋氏父子在家乡慈庵小住，每天清晨都要去蒋母墓道附近来回散步。近处的青松翠柏，远处的烟霭晨雾，更勾起他们无限的哀思……蒋经国把妻儿送去台湾，回到丰镐房中，更觉冷落异常，触景伤怀。
“经国，明天我们要离开了，不知何时再能回来，去和你的祖母辞别吧。”蒋介石穿戴好，把蒋经国叫上。回来后，蒋经国在日记中记录了当时的心情：
上午，随父亲辞别先祖母墓，再走上飞凤山顶，极目四望，溪山无语，虽未流泪，但悲痛之情，难以言宣。本想再到丰镐房探视一次，而心又有所不忍；又想向乡间父老辞行，心更有所不忍，盖看了他们，又无法携其同走，徒增依依之恋耳。终于不告而别。天气阴沉，益增伤痛。大好河山，几至无立锥之地！且溪口为祖宗卢墓所在，今一旦抛别，其沉痛之心情，更非笔墨所能形容于万一，谁为为之，孰令致之？一息尚存，誓必重回故土！
但不管怎么说，就像墓地所给人昭示的，蒋氏在大陆所有的一切，都已成为过去。一个蒋介石统治的时代，被埋葬了。其间，蒋介石多次声言，他要自杀以求得解脱，都被顾祝同和重新回到蒋身边、准备一同去台湾的钱大钧和蒋鼎文劝住。空军总司令周至柔和海军总司令桂永清都表示，誓与总统同在，拼死也要用船或飞机把他运出去。蒋介石这才没有再寻死寻活。
6月21日下午3时半，蒋介石乘“美龄号”飞机离福州去台湾，钱大钧侍其左右。汤恩伯叫站于机场的将校军官一律抬头“目送”蒋介石升空。当“美龄号”消失在东南海空相连处时，目送蒋介石的众将校，心中都在默念着同一个词：“永别了！”