1月30日，上海区委发出了关于武装工人与纠察队问题的通告，重新提出了准备武装起义的问题。通告指出，武装工人问题在现时非常必要，要给工人进行政治军事训练和实际的武装训练。2月10日，上海区委召开了第一次全体会议，讨论了上海工人总罢工、武装暴动、农民运动等问题。会议决定起义要先从工人总罢工开始，继而发展为武装暴动，暴动的口号仍然是响应北伐军。2月12日，中共中央发出通告，制定了武装起义的总方针。在中央的指示中，鲜明地提出了两点意见：一是不要使目前的斗争简单地成为共产党与国民党间的斗争，还要联合国民党左派；二是在联合的同时，要自觉主动地肩负起领导革命的责任，使自己立于主体地位。至此，党开始明确了独立领导革命武装斗争的方针。同时，中共上海区委全体会议还选举了新的领导机构。其成员组成情况如下：（1）主席团：书记罗亦农，组织委员赵世炎，宣传委员尹宽，职工运动汪寿华，秘书长韩步先。（2）职工运动委员会主任：赵世炎，委员有王成伟等14人。（3）学生运动委员会主任：余泽鸦，委员有郭子民等10人。（4）妇女运动委员会主任：刘尊一、王亚璋，委员有朱英如等11人。（5）农民运动委员会主任：罗亦农，委员有戴盆天及各地选出代表组成。（6）军事委员会主任：顾顺章，委员有钟尔梅、徐梅坤，赵世炎代表区委参加军委工作。（7）济难委员会主任：王粥，委员有杨世昌等九人。同时，调整了各部委各产总的领导力量，加强了武装起义的组织领导。
正当上海区委紧锣密鼓地部署工人武装起义时，2月17日，北伐军攻打杭州，守城之敌闻风丧胆，弃城而逃。捷报传来，上海人民受到极大的鼓舞，工人阶级更是精神振奋，斗志昂扬。上海工人第二次武装起义时机业已成熟。
（三）工人怒吼
随着上海局势朝着有利于发动工人暴动的方向发展，上海区委、总工会号召全市工人立即行动起来，以武装起义迎接北伐军的到来。
2月18日，上海总工会召集全市工人代表会议，中共上海区委职工运动委员会主任赵世炎和上海总工会委员长汪寿华向500名代表传达了中共上海区委准备武装起义的决定。会议进行中间，忽然从一位工人口中传来北伐军占领杭州前锋抵达上海附近嘉兴的消息。代表们听说后群情激愤，异口同声要求立即举行总罢工，策应北伐军。因为当时天色已晚，路上戒备森严，上海总工会的负责人无法与中共中央和中共上海区委取得联系，赵世炎、汪寿华等人也被群众的热烈情绪所感染，同意立即举行总罢工。于是，工人代表大会发出总同盟罢工的通告：“现经代表大会之决定，于本月19日起，举行全沪工人总同盟罢工，援助北伐军，打倒孙传芳。”上海总工会委员长汪寿华同时发布总罢工令：“本总工会特宣告全上海总同盟罢工，以完全消灭军阀残余，表现革命民众势力。令到之时，即刻行动，全体工友总罢工。”2月19日一大早，《总同盟罢工令》通过各区各行业的工会组织向工人传达。在基层工会的组织下，上海不少工厂、码头、商店的工人店员开始罢工。19日当天罢工人数为15万。20日，各方面工人大都接到命令，参加罢工人数大大增加，激增为27.5万人。21日增加到35万人，22日达到36万。大批工厂关门，商店停业，公共汽车停驶，市内交通阻断。罢工工人走出工厂、商店，在街道上散发传单，发表演讲，号召市民起来响应北伐军，推翻军阀在上海的统治。上海大学、大夏大学、复旦大学的学生在上海学联的组织领导下，也举行罢课，与工人并肩战斗。总同盟罢工开始后，中共上海区委即多次强调要加强对工人的领导，扩大罢工范围，坚持斗争，准备武装起义，建立一个“民主的革命的政府”，“创造独立自由的新上海”。
工人总罢工后，上海的民族资产阶级却患得患失，犹豫观望，拒绝和工人、学生一起行动，迟迟不肯罢市。虞洽卿和钮永健也对罢工后将举行起义持消极态度。21日晚，中共上海区委和钮、虞等谈判成立市民临时革命委员会，准备起义后把它过渡为上海市政府。经过几次协商后，2月22日中午12时，由工商学兵和自由职业者的代表组成的上海市民临时革命委员会成立，11名委员中包括有国民党、共产党、上海总工会和上海学联的代表。其中汪寿华、罗亦农、章郁庵、王承伟、刘荣简等5名委员是共产党员。对于新生的上海市民临时革命委员会，钮永健和虞洽卿等人并不喜欢。他们对工人的斗争，对临时革命委员会的活动采取不支持、不配合的态度。甚至公开说“共产党搞工人专政”，有意无意地诋毁临时革命委员会。他们担任临时革命委员会的委员，只不过迫于形势压力，为自己留一条后路。
资产阶级动摇不定的态度，在很大程度上助长了孙传芳在上海的反动气焰。孙传芳在上海的防守司令李宝章看到北伐军捷报频传，孙传芳的统治迟早要垮台，便多次与钮永健联系，准备倒戈。但李宝章作为一个封建军阀，本能地仇视人民群众的革命。尤其是他看出钮永健对工人群众的斗争采取不支持不配合，甚至不以为然的态度后，在工人举行总罢工的第一天就派人四处张贴布告，声称“扰乱治安，格杀勿论”，对于工人的罢工、集会、讲演、撒传单、写标语，甚至三五人在街上同行都成了“扰乱治安”的行为。对于逮捕的“扰乱治安”的人，李宝章下令不论是什么人，不论是闹市还是小巷，都不必经过任何裁决，就可以“就地正法”。在他的命令下，北洋军队中督战执法的大刀队杀气腾腾地走出兵营。每10人为一队，个个手持大刀，身背步枪，横冲直撞地在上海的大街小巷中巡逻，穷凶极恶，杀人不眨眼，令人发指。上海大厦大学的学生陈骏、陈亮正在讲演时，大刀队闻讯赶来后，不由分说就被砍了头。工人蔡建勋和史阿荣在南市散发传单时，也不幸被大刀队抓住，当即被杀害，倒在血泊之中。大刀队杀了人不收尸，还要“暴尸示众”。血淋淋的人头被他们挂在闹市区的电线杆上，路上行人看到这种凶残的景象，心中无不痛恨这些杀人不眨眼的刽子手。血腥的镇压，使上海的大街小巷冷冷清清。只有大刀队和穿黑制服的警察，如临大敌一般惊慌地来回流窜。
在上海工人学生被军阀疯狂屠杀的时候，国民党右派却站在军阀一边，为军阀镇压罢工工人出谋划策。西山会议派的主要人物张继、邹鲁、谢持、居正等人，占据了上海法租界环龙路（现南昌路）四十四号，把这个国民党中央上海执行部的办公机关变成了一个右派巢穴。他们经常聚集在一起观察形势，蠢蠢欲动。他们还办了一家《江南晚报》，专门宣传右派的主张。上海工人总同盟罢工开始以后，他们竟然向李宝章献策说，你此刻的唯一办法，便是前面拒党军，后面杀工人。该报还教唆李宝章放手屠杀工人和革命民众后，嫁祸于共产党杀人放火，以引起市民的愤怒，从而为自己开脱。这些国民党右派，已完全同军阀刽子手沆瀣一气。刽子手飞舞着手中的屠刀，国民党右派教唆反动军阀，整个上海笼罩在血腥的恐怖中。中国共产党在为上海总同盟罢工《告民众书》中一针见血地说道，在总罢工5天中，工人、学生及市民的热血，点点滴滴地洒遍了上海南北市，摆在街路上的烈士血尸，到处都可以看见，许多烈士的头颅都挂在电线杆上。全上海市民们，我们永远不能忘记孙传芳的刽子手的残暴，我们也不能忘记国民党右派教唆李宝章放手屠杀工人及革命民众的狠毒！反动军阀的疯狂镇压，没有吓倒英雄的上海工人，他们满怀着深仇大恨，准备迎接新的战斗。
李宝章的残酷镇压，激起了上海工人的极大仇恨。2月21日，上海工人斗争情绪达到高潮，工人们盼着北伐军能加快进军上海的速度，以便发动武装起义，为倒下的同胞们报仇雪恨。可是北伐军进行到嘉兴却奉命停止前进。在这种情形下，是及时结束罢工，还是单独转入武装起义，这个极其严峻的问题，摆在中共中央和中共上海区委面前。为此，中共中央连续召开紧急会议，讨论是武装起义，还是有组织地停止罢工或结束罢工。经过反复讨论，2月21日下午6时，中共中央和中共上海区委最后确定由罢工转为起义。武装起义的时间确定为2月22日下午6时，上海区委立即将起义的决定传达到上海各部委，22日下午4时左右，各区工人纠察队到各集中地点接受任务，准备行动。
就在起义即将爆发的时刻，有消息传来说，驻沪海军司令杨树庄早已不受孙传芳的指挥，做好了投诚北伐军的准备。孙传芳也把搜刮来的钱款秘密汇往日本，并准备逃跑。而奉鲁联军张宗昌已经接防南京，其渤海舰队与第八军正在南下途中。这样一种局势，对发动武装起义来说是一个比较好的时机。
为了使这次起义能够成功，上海区委吸取第一次起义的教训，制订了详细的起义计划。这次武装起义的计划是：首先由海军起义的士兵控制建威号、建康号等军舰的指挥权，于22日下午6时开炮轰击上海的重要军事目标，以炮声作为全市工人暴动的信号，向反动军阀发动进攻。浦东区部委组织200名工人纠察队接应海军起义，登上舰艇，领取武器，然后渡过黄浦江，配合南市区工人纠察队，在海军舰艇的支援下，攻取高吕庙，夺下兵工厂，夺取武器弹药，武装工人群众，然后进攻龙华敌军司令部和淞沪督办公署，其他各区的纠察队负责解决各区的军警机关、占领全上海。就在起义的当天上午，罗亦农、汪寿华还是带着这个计划去与钮永健等协商，争取他们对起义的支持。可是，钮永健、吴稚晖以联络李宝章部队倒戈等事正在商量为由，希望把起义推迟到24日下午发动。事实上，这时李宝章早已对罢工工人实行镇压，策动他配合工人武装起义已不可能，如果拖延时日，势必使罢工工人陷于被动，胜利的希望更加渺茫。经过再三权衡，上海区委最终坚决排除了钮永健等人的干扰，决定抓住起义时机，按时发动起义。
在预定起义时间，即22日下午6时，当所有纠察队员到达指定地点，等待起义信号时黄浦江上却寂然无声。后来得知，海军在开始行动前，起义的消息被钮永健泄露给海军司令杨树庄。杨树庄虽然早与北伐军有联系，伺机归降北伐军，但他对中国共产党在海军士兵中的组织并不了解，且具有强烈的戒心，并对起义海军的行动设置障碍。因而，到预定开炮的时间，军舰上起义士兵却打不开弹窖，延误近一个小时，直到晚7时左右，起义的炮火才响起。
但是，起义炮火的延误把整个计划都打乱了。准备接应海军起义的工人纠察队员，集中在浦东—个码头。起义时间到了，军舰上的炮声却迟迟不响。后来炮声响了，预定接应他们的汽船又迟迟不来。纠察队员们认为计划变动了，大部分离开码头。汽船到达码头时，只剩下了10来个纠察队员。面对这种极为不利的局势，起义的海军仍然作了顽强的努力和斗争。他们首先向原计划目标开火，几发炮弹在兵工厂中爆炸，护卫的军阀士兵听到炮声后，丧魂落魄，扔掉武器四散逃跑，兵工厂的墙头上举起了白旗。接着，起义的炮火转向南市火车站，一发炮弹击中了一列军车，火车站内一片惊慌。随后，炮火又向淞沪督办公署和龙华防守司令部轰击。这里离法租界很近，因而有几发炮弹落到了法租界之内。于是，法帝国主义以此为由加以干涉，在黄浦江上停泊的几艘法国军舰，立即逼近起义的舰艇，发出威胁，要求停止开炮，否则以武力干涉。起义的海军在内无工人纠察队的接应，外有帝国主义舰艇的威迫之下，为保存力量，被迫撤离军舰。
帝国主义的干预，使起义形势发生突变。起义的炮火令上海军阀势力坐立不安，惊恐万分。军阀大小头目纷纷将他们的家眷送到法租界，以求帝国主义的庇护。可是，当他们得知起义的海军在帝国主义的压力下停止炮击，工人纠察队也没有立即发起攻击，孙传芳又从沪宁线运来一营援兵之后，上海反动势力又重新活跃起来，急忙调遣和指挥反动军警，镇压起义的工人群众。
起义进程的突变，不仅打乱了原先的起义计划，而且使得各区工人纠察队失去了统一的指挥。浦东工人纠察队无法登舰取得已经准备好的70多支枪，未能渡江占领高昌庙兵工厂，也就不可能利用兵工厂的大批武器弹药去装备南市的工人。南市的工人纠察队是一支人数比较多，力量比较强的工人武装力量，他们听到炮声之后，虽然立即投入战斗，但由于失去武器支援，再加上联络不及时，没有集中力量去占领兵工厂和龙华敌军司令部等要害部门，只是分散地攻占了少数警察署，缴获了少量枪支。同时，闸北地区因与起义军舰相距太远，大部分工人纠察队没有听到起义的炮声，只有少数工人与军警发生了巷战。
就在起义进入最困难的时刻，孙传芳的援兵抵达上海。于是，反动军警又杀气腾腾地向工人阶级实行反扑。2月23日，中共中央和中共上海区委召开联席会议。会议分析了起义不利形势，决定停止总罢工和武装起义。根据联席会议的决议，上海总工会在2月24日早晨发布了全市总复工的命令。1927年2月24日下午1时，上海工人阶级遵照上海总工会的命令，忍痛复工。在这次起义中，有40多名工人和学生英勇牺牲，另外还有300余人被捕入狱。