筹措战争物资，动员人民支前，提高后勤保障能力百万大军较长时间集结长江北岸准备渡江和渡江作战过程中，需要有数量很大的物资供应作保障，渡江作战中估计将有大量的伤员需要治疗。为此，淮海战役结束后，第二、第三野战军前委和华东军区、中原军区相继发出了关于渡江战役后勤工作的指示。要求各级后勤部门要认真做好部队集结期间和渡江作战的各项后勤准备工作：调整和健全各级后勤工作机构；完成物资补给及粮食筹集供应的准备；做好武器装备的调整配备和弹药的补充、储备；加强运输机构和运输部队的建设，充实运输工具，提高运输能力；调整充实各级医疗卫生机构，保证战时能及时收治伤病员；协助地方支前机构动员人民群众积极支前；有计划地建立和经营军队前进的补给基地。中原局和华东局也相继向地方各级党政系统和支前机构下发了有关指示，对地方支前工作作了具体部署。
根据总前委和野战军的统一部署，参加渡江作战的各部队及时召开了后勤工作会议，统一全体后勤人员的思想，研究和部署各项后勤工作；建立和健全了各级后勤组织机构；组建和充实了辎重部队、担架队、医院。淮海战役结束后，华东军区后勤部由新安镇移驻徐州，并以徐州为中心建立运输线，设置后勤仓库，建立了军区的后方基地，负责对第二、第三野战军的物资供应。第二野战军以舒城为中心地区建立了后方基地，并在合肥、舒城、桐城、太湖地区设置弹药仓库，在安庆以北地区设立给养仓库。同时，在蚌埠至舒城沿线开设了5个中站、11个分站，负责组织铁路、公路的运输。开设了移动的军需物资供应站，保证军需物资随领随发。第三野战军后勤部负责全军后勤系统的组织指挥，并在安徽合肥和江苏泰州建立了2个后勤基地，分别负责中集团和东集团的后勤保障。同时，组成了中线和东线2个后勤前进指挥所，中线指挥所在合肥、庐江、巢县地区建立了后方基地，负责对中集团的物资补给和伤员救治。东线指挥所在泰州、扬州、高邮地区建立了后方基地，负责对东集团的物资补给与伤员救治。为保证作战物资的顺利前运，2个后勤前进指挥所还分别建立了由合肥、滁县经蚌埠、固镇至徐州及由高邮经淮安、淮阴、新安镇至临沂的2条运输干线。
为了保证战役的顺利实施，华东军区、第二、第三野战军后勤部补充和储备了大量的物资。为每个指战员配发了1套夏装、2双鞋，补发配齐了米袋、子弹袋、被子、饭碗、炊具、蚊帐、雨衣、雨布等各种装具。储备了每人1套夏装。伤员所需用品，按伤员预计数的50％下发部队医院，其余作为储备，随时下发。武器弹药，第二野战军对各部队补足轻重武器弹药各4个基数；第三野战军规定各级携带的弹药基数为：军轻重武器各2个基数，兵团轻武器0．25个、重武器2个基数，野战军后勤部轻重武器各2个基数。另外，第三野战军后勤部在仙女庙、滁县、合肥等仓库储存5～6个基数，华东军区后勤部储存重武器6个、轻武器2个基数，随时准备供应部队。
华东支前司令部及苏北、江淮和皖西地区的政府筹措了能满足全军（包括民工）近5个月生活需要的粮食2．22亿公斤，并在上述地区建立了52个粮站，5条运粮干线，保证粮食等物资随时供应部队；同时，还储备了大量的油、盐、肉等副食品，仅在徐州、蚌埠两地即储存食油75万公斤，食盐285万公斤。部队自身也筹措了一定数量的副食品，如第10兵团携带猪肉5万余公斤，第23军携带食油1．25万公斤，食盐155万公斤，猪肉125万公斤。
为了及时将各种物资运往前线，动用于各种运输工具。仅华东军区和第三野战军后勤运输部、后勤司令部直属第1、第2中站即动用了火车车厢8．15万余节，汽车5074台，马车4949辆，船2371只，手推车2051辆，全战役共运送物资7.6万余吨。
为了使伤员能及时得到治疗，华东军区、第二、第三野战军召开了卫生工作会议，调整了医院的设置。第二野战军卫生部按照预计收治1．2万名伤员的计划，将原来的1个总医院和7个分医院编为10个分医院。其中第3、第4、第5兵团各配给2个分院，归兵团后勤部指挥，负责收治本兵团的轻伤员；野战军后勤部直接掌握4个分院，负责收治各兵团分院转来的重伤员。华东军区和第三野战军后勤部按照预计收治10万名伤员的计划，设立了12个野战医院，其中野战军后勤部所属的8个野战医院负责收治东集团的伤员；华东军区后勤部所属的4个医院负责收治中集团的伤员。
在总前委、中原局、华东局的统一部署下，在地方各级党政部门和支前机构的领导下，中原、华东解放区的广大人民群众，开展了规模巨大的支前工作。各地政府除动员了大批船只外，还集中了大量的粮食、柴草和各种副食品；编组了大量的车船运输队和随军担架队、挑运队；参加修复铁路、公路、桥梁等工程，并在军队的统一部署下，协助军队进行大规模的疏河、开坝等工程保障工作。据第三野战军不完全统计，全战役共动员民工2238万人，有山东、苏北的21个民工团随军服务，随军担架3万余副，随军手推车212万余辆，随军挑子395万余副，民船25万余只。山东妇女赶做的布鞋达200万双。完全实现了“要人有人，要船给船，要粮给粮”，“部队进到哪里，人民支援到哪里”的口号。
充足的物资储备和强大的运输力，不仅满足了百万大军渡江作战的需要，而且也为渡江后接管南京、上海等大城市作好了物质准备。
扫除江北国民党军据点，开辟渡江前进基地国民党军在组织长江防线时，以正规军约7个师和部分保安团队，分别据守安庆、枞阳、裕溪口、浦镇、浦口、仪征、三江营、口岸等江北沿岸30处要点，组成江北岸防御警戒阵地，企图控制江北内河出口，阻止人民解放军船只入江，破坏解放军渡江准备，并保障其海军巡弋长江的安全，为进一步巩固江南防御阵地争取时间。人民解放军为配合和平谈判，并控制渡口，开展渡江准备工作；封锁江面，限制国民党海军活动，开辟渡江攻击道路，保证部队顺利渡江，决定先以一部兵力拔除国民党军江北据点。
3月14日，第三野战军发出关于肃清江北国民党军桥头堡作战的指示，决定：第7兵团攻歼枞阳至刘家渡的守军；第9兵团攻歼刘家渡至裕溪口段守军；第8兵团攻歼浦口地区守军；第10兵团并指挥苏北军区部队攻歼八圩港、龙稍港、口岸、三江营地段守军。指示要求各兵团在进行上述作战时，一般应使用渡江作战的第二梯队，以保持第一梯队在渡江作战时的突击力。对各据点守军应根据不同情况区别对待，对位于解放军主渡地点的国民党军，应采取断其退路，速战速决的手段，坚决将其全歼；对兵力较大，又非解放军主渡地点，对渡江准备工作妨碍不大的据点，则可采取分割围困逐次各个歼灭的方法歼灭之，如不好打，则可改为以小部兵力监视、围困，待主力渡江时再加以歼灭。
遵照野战军的指示，各兵团从3月下旬开始，发起肃清江北国民党军桥头堡的作战。29日，第7兵团第22军首先以5个营的兵力向枞阳镇守军发起攻击，当日下午肃清外围据点，接着攻击守军核心阵地，激战至30日黄昏，全歼守军第55军第29师5个连，计毙伤130余人，俘虏759人，并迫使桐城保安第2团7个连投诚。第24军奉命攻歼安徽无为县土桥镇、刘家渡守军，该地位于第24军渡江地段的两翼，均紧靠长江，有内河出口，并建有小型码头，是解放军的重要起渡场所。土桥镇驻有国民党军第55军第74师1个半营约700人，刘家渡驻有第88军第149师1个加强连。3月31日，第24军第72师第215、第216团各一部采取迂回包围，首先断其退路，尔后实施全面攻击的战术，向土桥镇发起攻击。守军在海军“安东”、“英豪”舰炮火的支援下，拼死抵抗。攻击部队经激烈战斗，至4月2日黄昏，攻占土桥镇，全歼守军，并击伤其海军“英豪”舰。与此同时，第71师一部于4月1日攻克刘家渡，歼守军1个连。至此，第7兵团渡江地段内北岸已无国民党军。4月12日，第24军又趁守军换防之际，以奇袭手段攻占太阳洲，歼守军第88军第149师2个营大部。
第9兵团第25军第75师一部于4月8日晚向无为县雍家镇地区发起攻击，守军第20军第134师1个营于9日拂晓逃跑，攻击部队发起追击，俘其120余人，占领雍家镇、中路码头等地。接着，又于10日攻克二坝、杨家坝据点，歼守军1个连。4月8日晚，第27军以2个营的兵力向无为县马头口发起攻击，经1小时战斗，全歼守军第88军第149师1个连。与此同时，第30军第90、第89师各2个团，于7日和8日分别向位于裕溪口、西梁山的守军第20军第134师2个团发起攻击。经4昼夜战斗，攻占上述两地外围阵地。随后，为迷惑国民党军，使其无法判明解放军的主渡点，第30军奉令于11日停止攻击。
第8兵团第26军第78师一部在苏北军区警备第7旅的配合下，于4月7日晚向仪征守军发起攻击，经8小时激战，攻占该城，歼守军第4军第59师一部。8日夜，第20军第60师1个团，在6倍于守军炮兵火力支援下，向京杭大运河入江口要地三江营发起进攻，于9日晨攻占该地，歼守军第51军第41师1个营，并击沉炮艇1艘、击伤2艘。与此同时，第20军侦察营、警卫营、第60师1个团攻取了扬中县西部的新老洲，歼守军江苏保安第4团1个营。由于新老洲位于长江之中，对掩护江面航道和南岸阵地均有重要作用。因此，国民党军于13日趁解放军第20军与第26军交接防务之际，以第54军第198师在3艘军舰、4架飞机的支援配合下，向新老洲反扑。由于解放军对这一情况估计不足，准备不周，加之交接部署尚未完成，在匆促应战后撤出新老洲。16日，第26军以1个团的兵力，再次向新老洲发起攻击，经2个多小时的战斗，攻克新老洲，歼守军1个保安团。4月17日中午，第20军2个团在警备第6旅的配合下，向永安洲发起攻击，战至18日拂晓，攻占该洲，歼守军第51军第41师1个团，俘900余人。
至此，国民党军在长江以北的主要据点已大部被肃清，尚存的安庆、裕溪口、浦口、浦镇等据点，对人民解放军渡江已构不成大的威胁，经中央军委批准，决定不再攻占上述各据点。
人民解放军经过2个多月的艰苦努力，至4月中旬，渡江作战的各项准备工作已全部就绪，只待中央军委一声令下，即可渡江南进。
1949年4月20日，国民党政府最后拒绝在国共双方和谈代表团拟就的《国内和平协定（最后修正案）》上签字。人民解放军第二、第三野战军和第四野战军一部，以及华东、中原军区部队，在总前委的统一指挥下，发起渡江战役。渡江战役，依据总前委的预定部署及战役实施过程，大体分为三个阶段：第一阶段，突破国民党军的江防，占领南京；第二阶段，在安徽郎溪、广德地区合围歼灭南逃的国民党军，占领杭州及浙赣铁路；第三阶段，攻占上海，解放南昌、武汉等地。