1949年4月，人民解放军以雷霆万钧之势，突破长江天险。4月23日，南京宣告解放，结束了蒋家王朝的反动统治，中国历史翻开了崭新的一页。早在大军渡江之前，陈毅就根据毛泽东的指示，参照接管济南、徐州等城市的经验，着手准备南京、上海等城市的接管准备工作。
接管上海的准备工作是遵照党中央和毛泽东的指示，在陈毅和华东局的领导下进行的。渡江战役之前，陈毅就派出一批干部前往沿江一带，开展敌占城市情报搜集工作，重点搜集敌人防御设施、兵力部署等军事情报，还把审讯战俘缴获的档案资料，以及上海工商业和金融情况、党政机构设置、物资储存以及文物古迹等材料，分别整理汇编成册，要求接管干部详细掌握。
4月30日，邓小平、陈毅以总前委名义致电中央军委：“我党军队未作适当准备草率进入大城市必然陷于非常被动的地位，我们考虑以尽可能推迟半月到一月入上海为好。”中央军委复电同意，并为接管上海确定了“慎重、缓进”的方针。陈毅把接管上海的几千名干部召致丹阳集训，大家情绪高昂，干劲十足，夜以继日地学习文件，研究情况，作好充分准备。集训期间，陈毅亲自给接管干部讲课，对涉及政策的各种问题进行部署，指定专人制定具体措施。比如，如何保护宋庆龄的人身安全、人民政府挂什么牌子、如何颁布政府法令，就连进城后怎样使用抽水马桶、开关电灯、乘坐电梯等，都派专人上课，作出细致安排。
几千名接管干部，几十万大军，经过20多天的集训和准备，一切就绪。陈毅说：“今天世界上没有任何力量可以阻止我们接管上海了！”
5月26日晚，陈毅率大批接管干部离开丹阳向上海开进，顺利进入上海市区。27日，上海市军事管制委员会宣告成立，陈毅任军管会主任，粟裕为副主任。此后，在陈毅的统一指挥下，军管会开始接管原国民党上海市政府机关、学校及大中型企业，着手筹建新政权。
按照陈毅的统一部署，首先对上海的报纸、刊物和通讯社进行接管，以牢牢掌握舆论阵地。对原国民党政府、军队及党部管理的报刊、电台，全部实行军管；对私人名义经营而有反动政治背景的报刊一律没收，政治背景一时无法弄清者，经过调查慎重处理；对进步的和中间性的民营报刊依法登记，在人民政府指导下允许继续经营。
与此同时，开始对国民党军事系统进行接管。人民解放军进驻上海后，迅速接管了国民党军队的军事设施，共接收原国民党军队3万多人，以及大量营房、仓库、军事学校、航空单位等，相关武器装备和军事设施也一并接收。同时，上海警备部队在短时间内收容散兵游勇近2万人，排除地雷2.4万个，拆除碉堡1.8万座。
对国民党警察及特务系统的接收要复杂得多。国民党在上海市的旧政权及警察机构，是维护四大家族反动统治、镇压人民的罪恶工具。机构庞大，人员众多，全市各区设有31个警察分局，两个警察总队和骑警大队、飞行堡垒大队，共有官员、警员、职工、技术人员两万多人，警察的武器装备除长短枪、迫击炮外，还有装甲车、小型坦克。国民党“中统”、“军统”等特务组织，遍及上海市各个角落，无时不在制造恐怖气氛。警察局长毛森，是一个双手沾满革命人民鲜血的刽子手，上海解放前夕，他于5月24日仓皇潜逃，临跑前他对少数亲信作了“应变部署”，以维持残局。
5月27日，接管干部进入位于福州路的国民党上海警察局，立即召见代理局长陆大公，向他宣布接管命令，随后分别进入警察局所属各单位和各个分局，有条不紊地展开接管工作。
根据陈毅的命令，公安系统的接管要“接而不乱”，边接管，边工作，不能停顿。对国民党、三青团、青年党、民社党及特务机关等反动组织，立即宣布解散，没收所有公产和档案，严禁其继续进行任何活动。对原警察机构工作人员，除首要战犯及罪大恶极的反革命分子必须逮捕法办外，一律听候处理和甄别录用。为了打击散兵游勇、地痞流氓的捣乱破坏，坚决及时地打击了一大批反革命分子和刑事犯罪分子。