南京路上的大屠杀，震动了上海，震动了全国，积压在中国人民心中反抗帝国主义的怒火，像火山一样喷发出来。
5月30日深夜，中共中央召开紧急会议，决定在上海实行罢工、罢市和罢课，即“三罢”斗争，引导上海人民甚至是全国人民的反帝爱国运动。工人阶级是“三罢”斗争的中坚力量。
31日上午，上海各校学生代表在东亚体育专门学校开会，一致表示以罢工、罢市和罢课的“三罢”斗争，同帝国主义斗争到底。当日，大雨滂沱，学生演讲队继续和工人一道上街宣传，分发传单，鼓吹“三罢”。由于被学生的热情所鼓动，叶圣陶用笔记录下了这动人一幕，他写道：“青布大褂的队伍便纷纷投入各家店铺。……我听见他们开口了，差不多掏出整个的心，涌起满腔的血，这样真挚地、热烈地讲说着。他们讲及民族的命运，他们讲及群众的力量，他们讲及反抗的必要，他们不惮郑重叮咛的是‘咱们一伙儿’！……店伙的脸比较地严肃了；没有话说，暗暗点头。”这种宣传加强了商界的民族情绪，促成了罢市的实现。
首先起来罢工的是日商所有内外棉纱厂和英商的工业，如电话公司、电车公司、怡和纱厂等。内外棉东五，西五、七、八、十二厂工人，自顾正红事件以来已经罢工半个月，继续罢工。31日，公共租界华洋德律风（电话）公司西行也加入罢工行列。第二天，该公司总行、北行等局工人一致罢工。
31日晚，为加强领导，统一行动，中国共产党召集上海各工会代表举行联席会议，决定将上海总工会正式公开。6月1日午后，上海总工会正式挂牌，会所设于宝山路宝山里2号，后迁至共和新路。当日发表《上海总工会各全体工友》、《上海总工会宣言》，宣布“：从6月2日起，上海全埠各业工友，全体一致罢工！”上海总工会公开提出7项条件“：（1）惩办打死工人、学生之凶手，并赔偿损失；（2）承认工人有组织工会及罢工之权利；（3）禁止殴打工人；（4）改良工厂卫生；（5）禁止虐待童工及女工；（6）不得雇用外国巡捕；（7）反对印刷附律。”并宣布：“上海全埠工人，不达到以上七条件，决不上工！”
上海总工会还公布了《上海总工会简章》，这个章程共4章23条。它规定上海总工会“以团结工人，图谋工人福利为宗旨”，其职权为10项：（1）工人组织之发展；（2）统一工会运动；（3）整理各工会之组织系统；（4）指挥各工会之行动；（5）仲裁各工会间或各工会内之争端；（6）指示上海工人共同奋斗之目的；（7）代表上海工人与全国工人密切结合；（8）提高工人知识，联络互相感情；（9）促进各工会间的有效互助；（10）保障工人利益，设法解决救济及职业介绍等事项。这些内容与全国总工会章程的有关规定是基本一致的。简章还规定各工会必须执行总工会及其执委会的决议和命令；发生阶级斗争时，各工会接到本会通告以后，必须立即一致作声势上、经济上或实力上的援助；同一产业或职业内，必须统一为一个工会；各工会间如有纠纷可向总工会申请仲裁解决，不得相互攻击；各工会对总工会如有不满意，可直接提出抗议，或向代表大会提出控诉、控告，但不得有破坏的言论和行动。以上这些规定，充分反映了上海总工会的阶级性、革命性和战斗性，是上海各业工人唯一可以信赖的总指挥部。
总工会在执行委员会之下，分设总务、交际、会计、宣传、组织等科，并于必要时设立特种委员会。总务科掌管秘书、庶务等事项，设庶务、文牍、印刷、交通、杂务、传达等股，刘少奇任总务科主任，谢文锦、孙良惠为副主任。交际科掌管对外联络交往，内设交际员若干人，陈杏林为交际科主任，赵子敬、郭尘侠为副主任。会计科掌管经济，傅冠雄任会计科主任，陶静轩、杨建华为副主任。组织科掌管所属各工会的组织事项，发展新工会，吴敏任组织科主任，郑福宁、顾凤鸣任副主任，内设组织员若干人。宣传科掌管本会的宣传和教育事项，设宣传员若干人，刘贵之任宣传科主任，严敦哲、张佐臣为副主任。不久，增设了救济和码头工人两个专门委员会，前者负责办理罢工中的救济事项，后者负责办理码头工人事宜。
6月1日，内外棉三、四、九厂，成华玻璃厂，老公茂、恒丰纱厂、马灯厂相继罢工。除恒丰外，均为外商企业。次日，又有内外棉十三、十四、十五厂等23处加入罢工行列，形成了强大的罢工洪流。上海各马路均成立有商界联合会，它们又联合起来组成了上海各路商界总联合会（简称商总联），它们是中小商人的组织。五卅惨案发生后，各马路商界联合会和商总联分别举行了紧急会议，其间已有人主张实行停业以待解决。但是，要实现总罢市，上海总商会赞同与否则是关键。上海总商会主要由民族资产阶级上层人物组成。5月31日下午，总商会、纳税华人会、各路商界总联合会在天后宫总商会内召开会议。工人、学生闻讯前往，到会者达数千人。内外棉纱厂工会代表当场提出7项条件：“惩凶、赔偿；承认工会及其罢工权；禁止殴打工人；改良工厂卫生；禁止虐待童工、女工；不得雇用外国巡捕；反对印刷附律。沪西工友俱乐部的代表“坚决主张上海所有商店和工人应当宣布总罢业”。其间，有人反对总罢市，“一群工人走上台去打断他的话，并将他赶下台去”。会议主持者、共产党员林钧叙述了中国工人在日本纱厂所受的虐待，提出“只有中国人民团结一致，对付外国人，这种耻辱才能得到湔雪。中国的军阀都为外国人控制，因此人民不能指望从军阀那里得到什么帮助”。
各路商界总联合会对于罢市，“以大势所趋，各会员既一致主张，首先表示赞成，由各路签字。纳税华人会旋亦表示赞同”。当时，总商会会长虞洽卿赴北京开会，还没有回来，副会长方椒伯称个人不敢赞成罢市。然而，学生们群情激愤，“男女学生均环绕总商会外花园隙地中，监守门户，禁止外出”。方椒伯不能脱身，不得已签署了上海总商会实行总罢市的文件。大会在“打倒帝国主义！”“取消一切不平等条约！”“全体工人、商人、学生联合起来，一致为同一目标而斗争！”的激烈口号声中结束。“三罢”斗争终于实现。
6月1日晚，全国学联、上海学联邀集上海总工会、各路商界总联合会的代表，商议成立上海市民公会。中共中央作出成立工商学联合会的决定后，6月2日，中共中央决定，工商学联合会作为领导反帝斗争的最高联合机关，并邀上海总商会参加。6月4日，上海工商学联合会宣告成立。
6月4日，由上海总工会发起，总商会召开各界团体联席会议。出席会议的有20多人。5日，中国共产党发表《为反抗帝国主义野蛮残暴的大屠杀告全国民众》文告，把兴起于上海的反帝爱国运动引向全国。
中共中央指出，这次运动的目的，决不止于惩凶、赔偿、道歉等“了事”的虚文，而在废除一切不平等条约。根据帝国主义实施分化反帝联合战线的动向和争取反帝斗争胜利的内在要求，提出必须注意4件大事：第一，全国民众应依靠自身的力量，不可依赖和相信政府的交涉；第二，中国人民与帝国主义无调和之余地，不可相信有什么公道和谅解；第三，要防止和反对上海上流社会的妥协倾向；第四，谨防帝国主义离间破坏。中共中央预见了斗争的复杂性和艰巨性，为工人阶级在五卅运动中发挥主力军作用，指明了方向。
从6月4日起，罢工达到高潮。罢工浪潮从公共租界扩大到浦东。由工厂扩大到银行、洋行、报馆，帝国主义在上海出版的《字林西报》、《大陆报》、《泰晤士报》，也因工人罢工而不能出版。
6月5日，罢工从工人比较集中的大工厂，发展到小工厂、手工业、服务业。在英、日领事馆和万国商会等单位和帝国主义者家里工作的男女佣工，也纷纷罢工。
6月8日，外商轮船公司的中国海员宣布罢工。英商太古、怡和轮船公司和日商日清轮船公司停在上海的20多艘轮船，动弹不得。
到6月30日，据不完全统计，全上海参加罢工的工人，达到25万。“三罢”斗争的实现，把上海的反帝爱国斗争推向了高潮。从实现“三罢”斗争的过程中不难看出，工人阶级始终站在反帝爱国斗争的最前列，青年学生也坚决拥护“三罢”斗争的主张，中小商人在迅速兴起的革命高潮面前表现出较高的积极性和主动性，民族资产阶级的右翼则表现出斗争的不坚定性，不得已才参加到反帝爱国斗争中来。
为了镇压工人运动，公共租界工部局董事会平时每周开会一次，五卅惨案发生后，该会接连召开会议商讨对策。6月1日，工部局董事会提出“应该采取最强硬的手段”，“采取一切可能的措施于最短期内扑灭当前的运动”。董事会的这一提议，“全体董事一致同意”。公共租界实施戒严，四处张贴并散发“治安章程”和禁止演说的通告。
南京路及公共租界各交通道口，均布满铁甲车、马巡队、海军陆战队、西捕和万国商团。至8日，到上海的外国军舰已达26艘之多，其中美国13艘、日本5艘、英国4艘、法国3艘、意大利1艘。6月1日，西捕再次对南京路上的宣传演讲者开枪，打死工人、学生等4人，伤20余人。2日，日本人协同西捕枪杀小沙渡纱厂工人4人，沉尸苏州河底。英人打杀杨树浦码头工人3人，拘捕数人。3日上午，杨树浦又发生大屠杀，死4人，重伤6人。下午，万国商团占领新世界。4日，海军陆战队强占上海大学，大夏、同德、南洋等大学随后被占领。整个6月上旬，“开枪日必数起，死伤时有新闻，上海成了帝国主义消闲寻欢的猎场”。自5月31日至6月10日，帝国主义者在上海9次枪杀中国人，打死60多人，重伤70多人，轻伤者更是不可计数。
据上海总工会调查，截至6月13日，英厂参加罢工者共26处，3.6万余人；日厂参加罢工者共39处，6.3万余人；工部局所属系统参加罢工者共8处，3600余人。总计在外资企业中参加总罢工的达107处，共13万余人。中国工厂工人亦有11处参加罢工，共2.6万余人。另据统计，截至7月21日，中外各业工人参加总罢工的有206处，共达20余万人。其中日商系统46处，6.6万余人；英商系统42处，47万余人；工部局系统13处，5500余人；美商系统5处，1400余人；德商系统5处，300余人；丹麦1处，80余人；英美日中合资系统21处，2.7万余人；国籍不明者38处，1.9万余人；华商系统35处，3.3万余人。有些工厂没有数字记载，所以，实际罢工人数远不只这些。同时，参加罢市的近20万店员还未统计在内。此时的上海，“工厂无人做工，商店罢市，轮渡不通，车马断绝，交通为之梗阻”。“到上海马路上一看，只见满街贴的是反帝国主义的标语、口号、图画；处处都有游行的、演讲的、募捐的、演戏的，闹个不休，每个人都忙着反帝国主义的工作”。
“三罢”斗争沉重地打击了帝国主义在中国的经济利益。据公共租界工部局统计，外资企业至少因此损失1200万个劳动日，每天损失达几百万元。《字林西报》称“三罢期间仅开销与应得的赢利而论，当损失有1亿两”。英国海外贸易部则认为罢工对英国工商业所造成的损失是无法估计的。外文《大陆报》的社论惊呼：“就规模而论，必须把中国这次罢工认为是工界翻天覆地的大变动之一，弄得人们晕头转向，不知所措。如果这么说并不是夸大其词，在整个欧洲近代历史过程中，我们找不到与当前危局相类似的事例。”十里洋场上向来威风十足的洋人，一下子沦落到饭菜无人做、面包无人买、电话不通、电灯不明、交通不畅的困境，往日颐指气使、养尊处优的生活秩序，完全被冲破打乱。
在反对帝国主义的斗争中，上海工人阶级已经成长为有组织、有纪律、有觉悟的战斗队伍。