正当上海人民沉浸在庆祝工人阶级武装起义胜利的喜悦之中，北伐军总司令蒋介石却与上海的帝国主义列强勾结在一起，向欢迎他进入上海的工人阶级举起了屠刀，制造了骇人听闻的四一二反革命政变，使整个上海顿时笼罩在白色恐怖之中。
（一）危机四伏
伺机发动反革命政变，是蒋介石一贯的立场。早在1926年3月，蒋介石就一手制造了中山舰事件，暴露了他的反共反人民的真面目。当时因为他感到力量不够，不得不伪装革命，留在革命阵营中继续培植自己的势力，等待时机。北伐战争开始后，蒋介石骗取了广大民众的信任，包揽了党、政、军大权，踏上了通往军事集权的独裁之路。
随着北伐战争的顺利进展，蒋介石的势力与野心也在不断地膨胀，甚至出现了“蒋所在地，就是国民党中央所在地的现象”。北伐军打下武汉后，广州国民政府决定迁都武昌，蒋介石为了控制国民政府千方百计进行阻挠，坚决要求国民政府迁到他所控制的南昌。当国民政府否决了他的要求，并迁都武昌后，蒋介石竟于1927年1月初截留了经南昌到武汉去的一部分国民党中央委员和国民政府委员，非法召开了南昌政治会议。在中国共产党和苏联顾问的据理力争之下，国民党中央和国民政府理所当然地否决了他提出的在南昌召开国民党二届三中全会的要求。3月，国民党二届三中全会在武汉召开，国民政府也在武汉开始正式办公，蒋介石迁都南昌控制国民政府的企图宣告失败。对于这一失败，蒋介石恨得咬牙切齿。他意识到共产党和广大工农群众是他窃取全国最高权力的主要障碍。
于是，3月6日，蒋介石首先在江西赣州动手，授意他的部下杀害了赣州总工会委员长、共产党员陈赞贤，强行解散了赣州总工会。3月20日，与国民政府离心离德的蒋介石乘军舰顺长江而下，抵达安徽当时的省会安庆。23日，就在上海工人与军阀浴血奋战时，按照蒋介石的旨意，蒋的亲信、北伐军总司令部特务处处长杨虎招募100余名流氓组成敢死队，捣毁了国民党安徽省临时省党部和省总工会，篡夺了安徽省的权力。就这样，蒋介石在东进途中，走一路，杀一路，公开打出了反共反人民的旗帜。3月26日，蒋介石乘军舰到达上海，便积极布置发动反对武汉国民政府的政变，准备卖身投靠帝国主义，建立反共反人民的地主买办资产阶级的政权，最终实现他那个人专制独裁的野心。
对于蒋介石的反动本质，中国共产党是早有警觉的。但是，随着上海第三次武装起义的胜利和上海临时市政府的成立，中共中央和中共上海区委对形势的判断过于乐观。认为只要工人阶级取得市民代表席位的多数，并由市民代表会议选举产生市民政府，就可以影响甚至领导小资产阶级、民族资产阶级，中国共产党通过代表会议的党团组织，就能成为这个政权的组织者和领导者。这样，蒋介石到上海之后，即使反对市民政府，而面对既成事实，他也无可奈何。显然，当时中共中央和中共上海区委都过高地估计了上海工人阶级的力量和成熟程度，过低地估计了国民党右派的力量，看不到掌握一支庞大军队的蒋介石决不会屈从于人民的意志和愿望。以蒋介石为代表的右派势力是决不允许出现一个人民的政权，更不允许工人阶级掌握武装。因此，他们从一开始就处心积虑地要解除工人武装，镇压上海人民的革命力量。上海工人武装起义胜利后，蒋介石派陈群来到上海。陈群与青红帮来往比较密切，他来上海后，立即找杜月笙、黄金荣等密谋策划，重新拉起一支以青红帮流氓为主的武装。这支流氓武装与钮永健在第一次工人起义时组织流氓武装的目的已完全不同，其任务是专门对付工人纠察队，夺取胜利果实。
与此同时，上海临时市政府成立后，蒋介石授意钮永健以国民党特派员的身份任命邹竞为上海市警察厅厅长。邹竞早年参加国民党，是国民党中的右派，国共合作之后，对“联俄、联共、扶助农工”的政策不满，当上海工人第三次武装起义开始时，他写信给钮永健，诬蔑工人纠察队是“不法工人”，要钮永健予以取缔。很清楚，蒋介石任命他为警察厅长，是想撇开临时市政府，直接控制上海的局面。面对这一情形，党的特别委员会专门开会研究讨论对策，提出不接受这项任命，并准备“提出抗议”，揭露邹竞反对上海工人武装起义的右派活动，以此来反对邹竞出任警察厅厅长。可是，临时市政府执行委员会一部分成员或慑于蒋介石的威势，或出于对蒋介石的面目认识不清，仍然同意了对邹竞的任命，并决定凡上海特别市范围内，国民政府总司令、总指挥、上海政治分会委任局机关官吏，应与临时政府发生关系。这实际上授予了蒋介石等人任命临时市政府官吏的权力。蒋介石为了进一步控制上海，除任命邹竞为警察厅厅长外，又任命了兵工厂厂长、吴淞要塞司令、淞沪水上警察厅厅长等要害部门的长官。
3月26日下午，蒋介石到达上海刚登上码头，即由海军司令杨树庄陪同去龙华白崇禧司令部，帝国主义列强和大资产阶级代表闻讯后立即驱车前往龙华拜会蒋介石。接着，蒋介石乘车去法租界，下榻于淞沪交涉公署，并设立司令部。
蒋介石到达上海后，帝国主义便把维持上海“秩序”的希望寄托在蒋介石身上。他们称赞蒋介石是“唯一有武力进攻激烈分子，维持上海局面的人物”。3月28日，列强殖民者们更是露骨地说：蒋介石、何应钦、白崇禧是唯一可以使长江以南的区域免于沦入共产党之手的保护力量。如果蒋介石愿意拯救中国人民出于共产党之手，那么他必须迅速而决断地行动起来。当然，蒋介石也很清楚，离开了帝国主义的支持和援助，他要全面实行反革命政变的阴谋是不可能的。因而，到达上海后蒋介石就明确表示：“本人对上海租界绝无用武力收回之意，所有上海地方秩序与中外人民财产、自由，鄙人完全负责。”蒋介石的表白，暴露出他反对革命，不愿人民当家做主的本质，也给帝国主义者及江浙大资产阶级吃了一颗定心丸。
得到帝国主义列强及大资产阶级的支持后，蒋介石便加紧了对上海新生政权的破坏。3月29日，上海召开市民代表大会，政府委员进行宣誓就职。蒋介石派人送来一封信，信中表示：“在此军事期内，一切行政处理与军事政治系统攸关，若不审慎于先，难免纠纷于后。中正为完成政治系统及确定市政制度计，已另电中央熟商办法，务望暂缓办公，以待最后之决定。”在市民代表的一致要求下，蒋介石要求市政府“暂缓”成立的阴谋未能得逞，市民政府委员照常进行宣誓就职。蒋介石不甘心失败，又勾结流氓发出恐吓信：“限24小时解散市政府，否则要以最后手段对付。”以此迫使市民政府委员辞职。
蒋介石极尽无赖之能事，破坏建立上海市民政权，上海的政治气氛骤然紧张起来。大资产阶级在革命中的两面性再次暴露无遗。一方面，由于他们受到帝国主义和封建军阀的歧视、剥削和压榨，在革命形势高涨时，表现出反帝反封建的革命性；另一方面，由于其自身的局限性，在形势出现波折时，又表现出妥协性。在蒋介石为代表的国民党右派的压力下，大资本家虞洽卿以“体力衰弱，精神不济”为由，要求辞去临时政府委员之职；杨杏佛则借口“家母病复垂危，不得不归侍汤药”，而向市民政府提出辞职。到3月底，有6名市政府委员先后声明辞职。
不仅如此，夺取工人纠察队手中的武装，组织流氓工会，是蒋介石反动反革命政变一个重要步骤。蒋介石早就想置上海总工会与工人纠察队于死地，但慑于工人手中的武装，于是在表面上不动声色。3月28日，上海总工会代表去交涉总署，蒋介石亲自接见，并赞扬上海工人响应北伐军举行的总同盟罢工，他说：“纠察队本应武装，断无缴械之理，如有人意欲缴械，余可担保不缴一枪一械。”4月5日，蒋介石又利用汪精卫与陈独秀发表的“联合宣言”来麻痹上海工人的思想。4月6日，蒋介石又给工人纠察队亲送“共同奋斗”锦旗一面，表示对上海工人阶级之“敬意”。当时，在斗争中还缺乏经验的上海工人阶级，轻信了蒋介石的甜言蜜语，对隐藏在革命阵营内的国民党新右派放松了警惕。
大资产阶级的妥协退让，使蒋介石更加有恃无恐，更加紧了反共反人民的步伐。4月2日下午，蒋介石召集手下干将，在江南兵工厂内的东路军前敌总指挥部召开秘密会议，决定早日“清党反共”。5日上午，蒋介石又召集秘密谈话会，决定以国民党中央监察委员会名义，咨请有关当局，对共产党人作非常紧急处置。同一天，蒋介石下令将刚从孙传芳方面投降过来的国民革命军第二十六军周凤歧调至上海，充当镇压工人运动的刽子手。至4月上旬，上海的空气已十分紧张，蒋介石策划的反革命阴谋正在加紧进行，中国共产党特别委员会与中共上海区委虽然多次开会研究应付时局变化的办法，但终因种种主、客观条件的限制，始终未能制定出有效的对策和措施。因此，上海工人起义胜利后，上海虽然处处充满着胜利的欢乐气氛，但稍过几天，人们就感到寒风袭来，危机日渐迫近，中国共产党与上海工人阶级又须面临一场更为严峻的考验。面对着形势的变化，中共中央执行委员会在《告中国工人阶级书》中指出：“上海工人现在虽然驱逐了直鲁军阀，虽然一部分武装起来，虽然联合各被压迫阶级建立了革命民主的上海市政府之基础，然而这些革命的胜利品时时刻刻都在危险状态，时时刻刻都有被内部妥协分子葬送即被敌人夺回之可能。”顿时，上海周围已是一片“黑云压城城欲摧”的肃杀景象。
（二）针锋相对
大资产阶级动摇退出革命，并没有使中国共产党软弱和退让。在这风雨如磐的日子里，中国共产党人坚持严正立场，与以蒋介石为代表的国民党新右派进行严酷斗争，无情地揭露蒋介石的反动面目。
随着“反共清党”大计的制定，蒋介石发动政变已箭在弦上。在此关键时刻，中共上海区委召开了党的活动分子会议，罗亦农代表区委作了《目前形势与我们的策略》的报告，报告分析了起义胜利后的上海局势，阐明了中国共产党采取的方针和政策，尤其对蒋介石的右派本质作了全面的剖析，把反蒋的动员推向上海全党。他一开始就指出，当前上海的局势成了中国革命运动成败的关键，上海两派的斗争已成为不可避免，斗争一方是蒋介石等国民党右派，另一方就是共产党领导的上海工人阶级。罗亦农再次提醒全党，和蒋介石斗争的中心问题，就是解除上海工人纠察队武装问题。蒋介石要取消上海工人在政治上的地位，这是国民党与共产党最后的决斗。当时正在上海领导第三次工人武装起义的周恩来也曾一针见血地指出：上海工人赤手空拳，敢于同反动军阀英勇斗争。他们有勇气，有觉悟。大资产阶级大造反革命舆论，说什么“工人手里有枪，闻者寒心，必须收回枪械”。还说什么“工人不把枪交出来，自己会内讧”。这都是无稽之谈，对此要有充分的认识。
在揭露蒋介石反动本质的同时，中国共产党极力加强工人纠察队武装力量，防止蒋介石“解除工人武装”的阴谋。蒋介石到达上海后，白崇禧准备动手“解除工人武装”。中共上海区委对此作出决策：如果右派军队要来缴械，我们绝对武装抵抗不消退让。要随时随地准备武装与右派军队发生总的决斗。4月7日，上海总工会召开全体工会代表大会，在通过的《纠察队问题决议案》中说：本会武装纠察队之目的，在于拥护革命政府，拥护革命军，保护工会，保障工人群众之利益，倘有破坏工人纠察队或有不利于本会纠察队武装之行动，代表大会特别议决，全上海工人当起而一致拥护，以群众的行动制止之。由此可见，当蒋介石准备进攻总工会，解除工人纠察队武装的时候，中国共产党人并没有完全丧失警惕，妥协退让，而是下了坚决抵抗的决心，并进行了必要的准备。