蒋介石等国民党反动头子的倒行逆施，也引起了国民党军队部分人士的不满。蒋介石虽然将倾向革命、支持工人运动的军队调离上海，利用周凤歧这支未经过改造的旧军阀部队，充当屠杀工人的刽子手，但仍然遭到一些有正义感的官兵的抵制。国民党二十六军党代表兼政治部主任赵舒就是其中的一个。赵舒执行孙中山的三大政策，与共产党有较好的合作关系，他对二十六军的所作所为感到十分愤慨，并宣布辞职。4月14日，赵舒在离开上海之前，写信给周凤歧和斯烈，希望他们在可能方面要帮助工人。赵舒还劝告斯烈，要他释放被捕工人。4月15日，赵舒带着悲愤心情离开上海，投奔武汉政府。4月25日，斯烈又秘密通知周恩来，请他不要在华界活动，敌人已特别注意广东街，悬赏2.5万元缉拿他。
国民党新右派的血腥大屠杀也震惊了上海广大知名人士和知识分子。4月12日当天，郑振铎、冯次行、章锡琛、胡愈之、周予同、吴觉农、李石岑等人，正在宝山路临街一幢房间里，亲眼目睹了残杀工人的场面，实在忍无可忍，便以闸北居民的名义联名向国民党监察委员蔡元培、李石曾、吴稚晖等发出抗议书，表达对蒋介石国民党新右派的极大愤恨，对上海工人阶级的极大同情。
工人阶级的反抗和斗争，得到上海各阶层人民的极大的支持和同情。但是，此时的革命形势与上海三次武装起义时已大不相同，工人阶级已处于十分被动和不利的地位。此时的北伐军，已完全转变为反革命军队，与北洋军阀在上海的反动统治相比，无论在政治上、军事上都强大得多。因而，已经被缴了械的上海工人阶级要战胜这支强大的军事力量是不可能的。“四·一二”反革命政变后，以上海工人阶级为主体的革命统一战线已经破裂，工人阶级已经处于孤立的地位。反革命政变前夕，国民革命军中同情上海工人的军队都被蒋介石调离上海。在危急关头，上海大资产阶级纷纷倒向蒋介石，支持镇压工人运动；大批的民族资产阶级，因害怕无限期的政治动荡，也站到了蒋介石的一边。
在这种形势下，国民党反动派联合一切反革命势力，查封—切工会组织，疯狂镇压工人罢工运动，逮捕屠杀工人领袖。4月14日，上海警察厅发布命令：上海总工会举动不轨，曾奉令缴械，一面查办本案；兹恐境内仍有假工会名义，集众开会等情，特令侦缉长周瑞传集各侦探面谕，分头调查有无工人集会不轨举动，着即查禁。此时，蒋介石御用的上海工会组织统一委员会也发出紧急启事，威吓工人说：如再有敌人间谍、流氓、匪类或违反三民主义破坏国民党之分子，愚弄工友，妨害国民党之国民运动，及扰乱地方治安各情，即以反革命论罪，决不宽待。随后，反动军警和上海工会组织统一委员会的流氓打手，开始对上海工人实行联合镇压。于是各工会组织被查抄封闭，工人集会与罢工均以“反革命”论处，大批共产党与工人领袖被逮捕杀害。南市区，警察厅侦探带领二十六军士兵到各工厂、各商店工会进行搜查封闭。甚至连茶馆工会也不放过。闸北区，从14日下午1时起宣布戒严，由反动军队与流氓到各厂各店进行搜查，行人一律不准通过，稍有反抗，即被枪杀。浦东区，数百名流氓在反动军警保护之下，到各工厂捣毁工会，殴打工会职员，逮捕工人领袖，反动军队则借口“工人滋事”，开枪镇压。沪东、沪西等地区的工会也都被查封，各工厂的罢工工人被强令复工，稍有反抗，或被逮捕，或被枪杀。
面对敌人的血腥镇压，在工人阶级孤立无援的情形下，为了减少无谓的牺牲，中共上海区委于4月14日下午召集会议，决定结束罢工，宣布4月15日正午12时全市工人一律复工，党组织和工会组织转入地下，进行秘密斗争。4月15日，上海总工会又发出致武汉国民党执行委员会及国民政府呈文，揭露蒋介石反动派发动反革命政变、屠杀革命工人、解散革命机关与团体的十大罪状：（1）勾结帝国主义压迫罢工，出卖上海工人阶级。（2）勾结帝国主义雇佣流氓、骗缴工人纠察队武装，惨杀响应革命军有功的工人。（3）屠杀徒手请愿的群众数百人。（4）暗杀上海总工会委员长汪寿华。（5）收买流氓捣毁各工会并占据上海总工会。（6）封锁舆论邮电，禁止民意表现。（7）军事机关擅自封闭孙中山先生所号召国民政府所批准之上海市民政府。（8）军事机关擅自改组上海特别市党部。（9）尽量容纳一切反革命分子，如屠杀上海工人的李宝彦，武汉被驱逐的反动派、孙传芳过去所用的走狗、侦探等，予以重任。（10）勾结帝国主义利用流氓四处搜捕一切革命分子。
4月14日后，中国共产党、国民党上海特别市党部、上海总工会等一切革命机关都陆续转入地下，秘密开展活动。4月15日，中共上海区委给各部委、各党团发出关于市政府、市党部被封后之工作问题的指示信，指出在市政府和市党部被封之后，各部委和各党团，应把上海人民的斗争发展“成为全上海人民反蒋的斗争”。次日，在上海区委的主席团会议上，周恩来就蒋介石集团叛变之后的军事问题作了全面的分析，指出蒋介石叛变之后，在南京、上海等地的统治并不稳固，能受蒋介石指挥，死心塌地为他打仗的仅3万人，其他部队如薛岳的第一师，严重的二十一师都不愿跟蒋介石反人民。如果武汉抓住这一时机，发5万精兵，估计一个月时间即可削平蒋介石。
但是，国民党中央和国民政府都主张对蒋缓和，汪精卫、孙科、宋庆龄三人联合发电蒋介石，要他服从中央，共同北伐，停止反革命活动。
当时中共领导人陈独秀也不主张讨伐蒋介石。同时，还担心与蒋介石作战，会使奉系军阀乘虚而入。出于这样种种考虑，武汉国民党最终放弃对蒋介石的征讨，从而错失了最佳战机。
4月上旬，在武汉的中国共产党中央局派李立三、陈延年偕同维经斯基到上海。4月16日召开特委会议，李立三传达了党中央对上海问题的决定，重新组织了党的特别委员会，有李立三、陈延年、周恩来、罗亦农、赵世炎参加，维经斯基与苏联东方局驻上海的三位代表也参加了特别委员会的领导。特别委员会认真检查了中国共产党在上海武装起义中策略上的错误，总结了经验教训，分析了东南地区的局势，提出了今后的工作方针。周恩来根据蒋介石叛变后上海政治、军事情况的分析，提出了武汉政府应尽快决定打东南的策略，迅速派得力人员来东南准备军事活动。周恩来还提议向党中央发电，促成武汉政府东征讨蒋方针的实现。大家赞同周恩来的提议，并决定由周恩来起草电文，个人签字。于是由周恩来、李立三、陈延年、罗亦农、赵世炎5人签署的《迅速出师讨伐蒋介石的意见书》发往中共中央，要求武汉国民政府下定决心，迅速出师，讨伐南京国民党。但是，当时共产国际和中共中央大多数人反对东征和南下，而主张继续北伐，否定了讨伐蒋介石的意见。国际代表和中共中央决定先行北伐，打奉系军阀张作霖，同冯玉祥会师，然后回过头来打蒋介石。这种主张与国民党许多将领希望同蒋介石妥协的心理相吻合，因此得到武汉政府的赞同。4月19日，武汉政府在武昌再次誓师北伐。
得到喘息机会的蒋介石乘机在东南地区巩固自己的统治。4月18日，在南京建立了大资产阶级、大地主联合专政的反革命政权，江苏、浙江、安徽、福建、广东、广西等省完全落入蒋介石反动集团的统治下。上海和南京，是蒋介石建立反动统治的中心，他对共产党和革命者采取了斩尽杀绝的残暴方针。在蒋介石的白色恐怖统治下，罢工者杀，集会者杀，稍有反抗者杀。党的特别委员会与中共上海区委根据急剧变化的形势，转变斗争的策略，决定共产党各级组织立即转入地下，保存力量，保护干部，继续斗争。
4月下旬，根据中共中央的指示，李立三、陈延年、罗亦农、周恩来等先后离开上海去武汉准备参加中国共产党第五次代表大会。由赵世炎任上海区委代理书记，坚持斗争。中共“五大”之后，罗亦农、陈延年回到上海，继续坚持斗争。1927年6月26日，江苏省委书记陈延年不幸被捕。在狱中，他受尽严刑，坚贞不屈，7月4日在龙华英勇就义。不久，由于叛徒的出卖，赵世炎在外出归来时被早已埋伏在住宅周围的敌人逮捕。7月17日，赵世炎被押赴枫林桥刑场。临刑前，他昂首挺胸，面不改色，高呼“工农兵联合起来！”“打倒新军阀蒋介石！”“中国共产党万岁”。赵世炎英勇牺牲时，年仅27岁。此外，还有许多领导和参加过上海三次武装起义的共产党员和工人领袖，在极其艰险的环境下，进行了不屈的斗争，为人民的革命事业流尽了最后一滴血。蒋介石发动四一二反革命政变后，尽管中国共产党的大多数党员与广大革命群众，在艰难复杂的环境中又坚持奋战了3个月，由于国内国外、党内党外的种种原因，最终没有阻挡住反革命逆流的发展。7月15日，汪精卫在武汉公开叛变革命。从此，蒋汪合流，反革命的白色恐怖遍及全国，大批共产党人和革命群众惨遭杀害，轰轰烈烈的大革命失败了。然而，中国共产党和中国人民并没有被反动势力的气焰所吓倒和征服。革命的人民从地下爬起来，擦干身上的血迹，掩埋好同伴的尸首，继续投入新的战斗。