林亨元向欧阳晋转达了中共中央的指示，为了赢得军事和政治的双重胜利，需等到谈判结束，要求他们掌握好部队，耐心地等待。1949年4月20日，国民党拒绝在《国内和平协定（最后修正案）》上签字。21日，毛泽东主席、朱德总司令即发布了《向全国进军的命令》。林遵和第二舰队所有准备参加起义的官兵们翘首以待时机，为起义进行着最后的准备。
就在此时，情况发生了变化。林遵突然接到国民党海军总司令桂永清从南京发出的急电，要自己速去海军司令部报到。因担心桂永清已经开始怀疑自己，临行前，林遵嘱托起义骨干人员：万一我回不来，就由戴参谋长代我指挥，起义的计划绝不可更改。23日凌晨，当林遵赶到南京挹江门国民党海军总司令部时，只见桂永清身着海军军服，背着手在办公室里烦躁不安地来回踱步。林遵报到后，桂永清拉住林遵的手迫不及待地说：“国民政府已迁往广州，总司令部今天也要南迁。蒋总裁要我马上飞往上海，部署和共军决战的计划。现在我已经把南京的所有舰艇集中了起来，全部都交与你指挥。你们务必在今天傍晚出发，全部驶往上海。路遥知马力，国难见忠臣，这是党国和蒋总裁对你的信任和重视，望你精诚为党国效忠！”
听了桂永清的话，林遵提着的心终于落下了，这样一来，不仅自己不会被扣，而且能够全权指挥南京江面的所有舰艇，这对起义将更加有利。但是，机警的林遵很快意识到这很可能是桂永清对他的试探，为了给起义争取更多的主动权，他故作慎重地考虑了一下说：“目前在南京的各种舰艇如此庞杂，情况各有不同，性能也不一样，司令要我把全部编队带往上海，恐非我能力之所能及，请总座亲临舰队坐镇指挥，我当尽全力协助司令。”
然而，当此局势危急之际，桂永清又怎肯让自己轻履险地，他马上以“总裁有令，要我今天必须赶往奉化，共商国事”为借口来掩盖他的急于脱身。过了一会，桂永清又拍了拍林遵的肩膀表示：“你年轻有为，指挥若定，只要你能把舰队带到上海，即使最后只剩下一艘军舰，我也要为你请功，呈请任命你为海军副总司令，并颁授青天白日勋章。”见此情景，林遵欣然领命。过了一会儿，桂永清就乘车逃走了。
桂永清逃走后，林遵立即转身向码头方向走去，他想抓紧时间同各位舰长商量下一步的对策。就在他刚刚回到指挥位置——永嘉号旗舰上，还没来得及召集部署时，就接到了桂永清派人送来的亲笔信：“着你率队于23日傍晚驶离南京。江阴炮台已于21日易手，已命空军轰炸，并派空军掩护你们下驶。你们务必于23日夜间离开此地，以免空军发生误会。”
林遵自然明白那所谓“发生误会”是什么意思，他马上下达命令，“永嘉号”在南京笆斗山抛锚，并通知各舰艇速到笆斗山一带江面集中待命，随后各舰舰长和炮艇队队长马上到旗舰召开紧急会议。会上，林遵开门见山地说：“桂总司令坐飞机跑了，命令我们在今天傍晚出发驶往上海，并授我指挥在南京所有军舰的大权。”“目前的形势是，江北仪征、三江营一带狭窄的江道上有共军强大的炮兵阵地，江阴要塞炮台也已易手，‘营口’舰失踪，估计已经投奔共军，我们要下驶上海，上述三关是很难过的。”林遵环视了一下各位舰长，又接着说，“桂总司令说，只要我能把大家带到上海，哪怕只剩一条船，也向总裁保荐，提升我为中将副司令，并授予青天白日勋章。可是，我是第二舰队的司令，会对全体官兵负责到底的，绝不会丢下大家自己逃命，也绝不会将大家带向死路。现在就剩下诸位了，我们应该怎么办？”
会议室内顿时热闹了起来，各舰艇长官纷纷发表意见，讨论如何过三关前往上海的问题。有人建议，把航速太慢的楚日和永绩两艘老式军舰毁沉，使整个舰队轻捷前进；有的主张，各舰尽可能并靠航行，以提高航速并缩短舰队序列长度；也有人说：“南岸江阴炮台的设计，当年是为了预防敌舰从长江口逆流而上来设计的，炮口全是对着下游的方向，我们快速顺流而下，威胁不大；至于北岸的仪征、三江营的共军炮兵，我们可用优势的炮火压住他们，拼着几艘舰艇受伤，不见得就冲不过去。”总之，经过一段时间的激烈争论，大家依然是众说纷纭，莫衷一是，说起义，有人赞成；说反对，也有人附和。后来，参谋长戴熙愉建议来一个民意检测，即用无记名投票的方式来检测一下每个人的意愿，以决定大家的去留。林遵表示将尊重大多数人的意愿。在大家没有异议的前提下，戴熙愉把票发给大家。参加投票的有16位军舰舰长和2位炮艇队队长。投票的结果是：10票赞成起义，2票反对起义，6票弃权。
于是，林遵当即宣布：“第二舰队决定全体起义！”
（3）起义成功
决定起义以后，林遵集中大家的意见作了以下部署：（1）由吴建安和张家宝写信主动与在浦口的解放军联络，并由吴与戴参谋长商定如何送信；（2）各舰的电台暂不中断和海军总司令部的联络，但要严格保密起义之事；（3）各舰艇锚泊太密集，需立即调整疏散，以利防空；（4）舰队司令部将根据各舰的库存情况，予以必要的物资补充，并着财务处立即补发所有的欠饷，以稳定军心。
送走了各位舰艇长和炮艇队长，林遵开始思索今后的生活将如何开始。突然间，参谋长戴熙愉过来对他说：“永嘉旗舰是桂永清从美国接回的新舰，舰上的军官多是桂永清的亲信，他们一时迫于形势不得不听从起义的决定，但不一定靠得住，请司令多加小心。”林遵觉得有理，悄悄从“太原”舰调来一艘炮艇，以巡视为名回到了原来的旗舰“惠安”舰。然而，林遵这时却犯了一个错误，正是这个错误导致后来的起义出现了一些挫折。
因为一夜没睡，又连续紧张地开会，此刻的林遵已是十分的疲倦了，他就想抽空打个盹，休息一下。可突然间听到江面上响起了一阵汽笛声，值日军官匆匆跑来报告：“永嘉舰发出‘紧急起锚，准备起航’的信号，并且把炮口对准了‘惠安’舰。”林遵猛然醒悟，原来他离开永嘉旗舰时，没有降下司令官旗，到了惠安舰以后，也没有及时升起司令官旗，以致永嘉舰可以盗用旗舰的名义。事情的发展正如戴参谋长所预料，永嘉舰是靠不住的。转眼间，已有几艘军舰冒出了浓浓的黑烟，准备起航了，还有几艘则正在升火起锚。只见“永嘉”舰在前，以极快的速度向下游方向驶去，“永定”、“永修”舰紧随随后，“美亨”、“武宁”、“永绥”、“美盛”等舰也随之而去。
在这形势危急的时刻，为了避免流血，实现在南京江面的所有舰艇安全起义，林遵迅速抓起报话机向已经起航的各舰喊话：“我是林遵，我是林遵，我现在在惠安舰上，你们不要跟着永嘉舰走，去上海是一条死路，你们赶快回来，你们赶快回来！”听到林遵的喊话声，尚未走远的几艘军舰的舰长发现自己上当受骗了，纷纷调转航向又驶了回来。但是，到底还是被永嘉舰拉走了几艘，其中2舰逃至镇江附近江面，被解放军沿岸炮兵拦击截获，当了俘虏。
这边的危机算是解除了，可是最令林遵头痛的是先前派出去和解放军联络的人，却一直没有消息，而刚刚逃走的永嘉舰舰长，肯定会向桂永清报告第二舰队起义的事情，很可能轰炸机马上就会飞来了。经过大家紧急商议，林遵写了一封信，派戴熙愉当晚出发去浦口与解放军联络，找到了三野第三十五军的联络部长张普生。张普生高兴地握着戴参谋长的手说：“我们知道你们起义，但是，我们派出了几个同志，都没能和你们联络上。现在你们来了，我代表中国共产党和第三野战军首长欢迎你们，并祝贺你们起义成功！”
就这样，1949年4月23日，在渡江战役的关键时刻，林遵率国民党海军第二舰队9艘军舰和第一、第二两个机动炮队各种舰艇25艘，官兵1271人，于南京笆斗山江面起义，参加了解放军。第二舰队的起义，是解放战争中国民党海军的最大规模的一次起义，加速了渡江战役的胜利，为南京、镇江的解放作出了重大贡献。[12]
（二）长驱直入浙赣线
1949年4月24日至5月11日，是渡江战役的第二阶段，在这个阶段的作战中，我人民解放军合围歼灭了南京、镇江、芜湖的逃敌，并发起了攻占杭州的战役，占领了浙赣铁路。
1．直插浙赣线
根据当年参加指挥渡江作战的陈锡联将军回忆，当时的情景大概是这样的：当人民解放军各路大军全线突破长江防线之后，未被歼灭的国民党军残部就往南京方向撤退。人民解放军乘势前进，在两天的时间里就迅速解放了国民党反动统治的政治文化中心——南京。解放军还趁势占领了沿江30公里纵深内的大小城镇。此时，南京至湖口一线的国民党军也纷纷向南溃逃。人民解放军对面的国民党军第五十五军向徽州、第九十六军向祁门、第六十八军向浮梁撤退，他们妄图在皖浙山区组织顽抗，迟滞解放军前进，以掩护其主力在浙赣线上构成第二道防线。担任安庆守备的国民党军也于22日晚弃城渡江南逃，人民解放军第二野战军第三兵团第十军一部随即占领了安庆。第二野战军刘、邓首长鉴于国民党军在我军渡江后已全线崩溃，南京、芜湖已为三野部队所解放，为了不给敌人喘息的机会，早日截断浙赣线，封锁敌军退路，密切协同三野部队作战，经渡江战役总前委批准，第二野战军所属的4个兵团不再东进，以三、四、五兵团并肩直出浙赣线和徽杭公路，切断汤恩伯、白崇禧两集团之间的联系，并乘势直出闽赣，扩大预定的京沪杭战役的范围。“同时，确定第十军主力在军长杜义德、政委王维纲的率领下，参加安庆、芜湖市的接管工作和担任维护后方交通安全的任务。刘、邓首长根据敌人逃窜的方向，确定第三兵团向浙赣线义乌至龙游段进击，追歼溃逃之敌，并开展地方工作，建立人民政权。至此，战役发展到了追歼逃敌阶段。”
遵照野战军总前委的指示，第二野战军第三兵团决心以第十一军及二十九师首先全力围歼从安庆南逃的敌军，而后迅速经过大洪岭、祁门进至休宁、屯溪一带；第十二军先于贵池集结，而后迅速沿安屯公路攻击前进，直出徽州、绩溪，并截断徽杭公路。敌一七四师逃出安庆后，畏缩于吴田铺、牌楼街地区，妄图向西南方向逃窜。24日清晨，还未来得及逃走的敌军被人民解放军由赵蓝田师长、周维政委率领的三十一师和何正文师长、卢南樵政委率领的三十二师所包围，敌军为了逃命，疯狂向外围突击，双方发生了激烈的战斗；正在此时，由周发田师长、于笑虹政委率领的二十九师及时赶到投入战斗，人民解放军顿时勇气倍增，结果除敌一七四师师直和七○七团少数逃跑外，余敌全部被歼，俘获副师长以下官兵5200余人。与此同时，第十一军三十三师在师长童国贵、政委高志国率领下，经殷家汇、大洪岭向祁门挺进，尾追撤退之敌九十六军二一二师。22日晚，在高坦歼灭敌军后卫营300余人。25日，三十三师进抵雷湖地区与皖南人民游击队黄（山）西支队胜利会师，部队受到了该支队和当地人民群众的热烈欢迎。26日下午，三十三师进至祁门与敌二一二师主力狭路相逢，因对溃逃之敌估计不足，没有及时将敌军分割包围并断其退路，结果仅歼其一部，俘敌300余人，黄西支队当即进占祁门。第十二军经过4天的追击作战，解放了青阳、太平，于4月28日进抵徽州，徽州守敌一○六军弃城南逃，在呈村降西北歼其二八二师，俘敌3000余人，并迫使繁昌、旌德两县保安团1000余人缴械投降。与此同时，第十一军主力也于5月2日进抵休宁、屯溪一带。战斗至此，人民解放军完全控制了徽（州）杭（州）、淳（安）屯（溪）两条公路的连接点——北岸镇，顺利地完成了预先的作战计划。
特别值得一提的是，人民解放军各兵团部队在追歼敌军途中，“得到以胡明同志为首的皖南人民游击队的积极配合和大力支援。皖南人民游击队发动群众筹集军鞋、粮草支援部队，仅陆阳一个区即集中粮食4000余担，鞋子2000余双”。他们英勇顽强，不怕牺牲，频繁出击，搞得国民党军胆战心惊，不敢轻易上山。皖南游击队积极地打击消灭敌人，在解放军未到之前，就将临溪守敌包围起来，待解放军到达后予以歼灭；“在青阳、石村战斗中，游击队以一个排英勇阻击南逃之敌五十五军一部，击毁汽车多辆；他们相继解放了屯溪、休宁、泾县等县城和渔亭、上溪口、龙湾等重镇”；争取伪保五旅全部1700余人起义，并将全部人员移交给野战军改编；还配合第二野战军第3兵团解放了旌德和太平县。