从3月20日傍晚到21日凌晨，起义总指挥周恩来、副总指挥赵世炎彻夜不眠。周恩来身穿一身灰布棉袍，头戴一顶鸭舌帽，围了一条深灰色围巾，西装裤子黑皮鞋，完全是一个平凡朴素的地下工作者的打扮。在总指挥部的西厢房里，桌上放着一张大幅上海市区地图。周恩来一会儿趴在桌上，认真看着地图，在上面圈圈点点作上记号，一会儿和赵世炎边指划边交换意见，不时地有联络员从外面进来，向他俩汇报情况。周恩来和赵世炎听完汇报，当机立断，迅速做出指示，指挥下一步的行动。
3月21日凌晨，中共上海区委发出举行第三次武装起义的指令。根据党的指示，上海总工会发出了总同盟罢工的命令，上海市民代表会议常务委会立刻举行紧急会议。会上，罗亦农代表中共上海区委宣布于当天中午12时举行总同盟罢工，并立即举行武装起义。各区的工人纠察队、宣传队、救护队、慰问队等工人队伍，按总工会的命令，开始了有组织的行动。
当时钟指向正午12时，一场工人罢工、学生罢课、商民罢市的总同盟罢工开始了。上海共有工人125万人，其中有80万人参加了罢工。
仿佛有一种神奇的外力，使一座偌大的城市在极短的时间里凝固了：工厂隆隆的机器声听不见了，街上商贩的叫卖声听不见了，连平日跑得欢实的汽车、火车也都不见了气息……然而，只是在很短的寂静之后，整个城市又进入了另一种有生机的状态。所有的工厂、作坊、机关、大小商店、车站、轮埠、码头等全体工人，纷纷到预定的地点集合。各工会执行委员分头在集合地点，向工人说明了此次罢工的意义。广大工人和纠察队员摩拳擦掌，他们早就盼望这一天：自己起来解放上海，当家做主人。这一天终于到了！随后，工人们每二人一排，排成绵延数里、不见头尾的队伍，浩浩荡荡地向前进发，沿途由纠察队维持，秩序井然。跟随游行队伍同时出发的还有宣传队，他们沿着马路宣讲，每至一处，都吸引了数百名围听者，致使马路被塞，水泄不通。被鼓舞起来的群众源源不断地加入了游行队伍。全上海的民众都行动起来了！革命的歌声此起彼伏，口号声响彻云霄。平日里耀武扬威的反动军警，如今都蜷缩在自己的巢穴里，不敢再出来逞威风了。那些帝国主义的巡警，战栗地伫立在租界华界交界处。租界里的外国士兵纷纷出动，他们荷枪实弹，如临大敌，戒备森严。根据预定的计划，总罢工以后，立即转入武装起义。这次武装起义的行动，除租界以外全市分七个区进行，即虹口、南市、浦东、吴淞、沪东、沪西和闸北。武装工人向盘踞在上海的军阀武装发动了猛烈攻击。一时间，枪炮声和群众激昂的口号声交织在一起，震动了整座城市。上海工人第三次武装起义的战斗打响了！
虹口是工人起义最先发动的地区。该区三面与租界接壤，一面临近市郊。毕庶澄在这儿没有驻兵，只有警察署。以烟厂、机器厂、丝织厂、邮局工人为主组成的纠察队，集中力量，一举攻占了虹口区警察署，夺取了大部分枪支弹药。起义工人占领警察署，打退敌人的反扑后，开始行使自治权，维护虹口区的秩序。
南市区的起义工人由法商电车电灯自来水公司、华商电气公司、法商求新造船厂等厂工人为主的纠察队，联合二三十个资本家办的保卫团组成。声势浩大的起义队伍首先进攻南市区警察署，署内的警察，平日穷凶极恶，横行霸道，如今见到潮水般涌来的武装工人，顿时吓得丧魂失魄。有的警察换掉衣服，夹在人群中偷偷溜走；来不及逃跑的警察，早已面如土色，无任何抵抗能力。接着，起义队伍又攻下淞沪警察厅及其所属的一署三所、电话局，随后攻下江南造船厂、高昌庙兵工厂、南火车站。到下午5时半，整个南市区都被起义工人占领。
浦东的大部分地区，由孙传芳的游巡队驻守，进攻难度较大。工人纠察队将主攻目标首先对准烂泥渡的第三区警察署，准备夺取枪支弹药后再进攻战斗力较强的敌游巡队。起义队伍兵分三路：第一路封锁江口，防止敌人乘船逃跑；第二路经花园石桥，从后面包抄；第三路从正面进攻。被围困在院子里面的警察如瓮中之鳖，进退不得，满耳都是“缴枪不杀”的呐喊声，150名警察乖乖地举起了手，150条长短枪很快转移到工人手中。随后，夺取了武装的工人如秋风扫落叶一般，将孙传芳先前设在各处游荡杀人的巡查队一一消灭，乘势又攻占了三区警察署的一分所及二分所。浦东起义胜利后，起义工人召开群众大会，宣布成立浦东临时保安局，对浦东武装布防。
吴淞地区既有原驻守炮台阵地的敌兵，也有新从前线溃败下来的毕庶澄残部。因为吴淞交通方便，可以从沪宁线撤离上海，也可以从码头经水路逃离。铁路和纱厂的工人，集中精力围攻驻军，并很快夺取了他们的枪械，随后，又对企图从水路逃跑的毕庶澄残部，进行了火力阻击，直打得逃兵惶惶如丧家之犬，不愿意白白送命的，都举手表示投降。
吴淞工人起义胜利后，召开了区人民代表大会，领导10万群众，行使区政府权力。
在沪东地区，租界和华界的工人都参加了起义。起义开始后，工人们迅速占领了虹镇、胡家木桥和香烟桥警察所，然后准备攻打江湾警察署，警察一听到工人来了，吓得闻风丧胆，连厨房里刚蒸好的馒头也来不及吃便仓皇而逃。接着，杨树浦和引翔港两地工人分头召开群众大会，到会人员达到5万余人。会后，大队人马整好队，雄赳赳地开出租界，奔向闸北斗争前线。在沪西地区，群众罢工后，先后围攻并占领了曹家渡第六区警察署、四区警察署以及警署第二分所等处，全部予以查封。
以上6个区的武装起义，由于起义工人的英勇战斗，进展得比较顺利，当天晚上基本结束了战斗。
此时，最激烈的战斗尚在闸北进行。毕庶澄部的鲁军为便于撤退，将主要兵力都集中于火车站所在的闸北区，设立了湖州会馆、商务印书馆俱乐部、北火车站等20多个据点，配备有机枪、大炮、装甲车等新式武器。在宝山路和北河路交界处，还有帝国主义租界当局的重机枪阵地。在毕庶澄的部队，还雇佣着一部分懂军事的白俄罗斯军人。起义工人开始行动后，北火车站的敌人大炮对着市镇袭击，白俄军以铁甲车开炮射击，混战中，英帝国主义的铁甲车也乘机开炮射击群众。闸北起义的主要力量是商务印书馆、邮政、电气、铁路等部门的工人，还有上海大学、复旦大学、暨南大学组成的学生纠察队。他们面对凶残的敌人，完全置生死于度外，勇敢地与敌人展开了激烈的巷战。不到4点，攻下了湖州会馆及三处警察署。周恩来决定将指挥部由商务职工医院移至第五区警察署。4点钟左右，一个重要情报被送到总指挥部：毕庶澄的500名士兵，全副武装，并备有轻机枪数挺，早晨乘一列铁棚车开往吴淞，准备从海上逃跑。当列车行至吴淞附近，发现吴淞已被工人纠察队占领，赶紧掉头返回上海，此时列车正行进在驶往上海的方向。
周恩来接到情报后，立即召集会议研究方案。周恩来果断地表示：决不能让这辆列车进入上海。如果让它进来，第一，将冲破我们的虬江路防线，第二，列车上的武装进入北站，会增加我们攻击的难度。因而，必须选择靠近市区的天通庵车站附近组织伏击。周恩来调工人纠察队第一中队和第四中队一个小队来到天通庵，先将路轨的道钉拔掉，然后，在铁路两侧选择有利地形，构筑简单工事，就地埋伏。黄昏时分，列车进入伏击圈后突然出轨翻车，早已埋伏好的工人纠察队，立刻以密集火力发动了猛烈射击。列车上的敌人被突如其来的打击搞得晕头转向，好半天才明白过来是列车出轨了，可是车门反锁紧闭，无法打开，只能借助窗口负隅顽抗，坚守待援。天渐渐地黑了下来，敌军虽有一部分下了车，但被增援的沪东、虹口工人纠察队、学生纠察队的火力所阻，还是动弹不得。与此同时，周恩来组织群众，对困军发动了政治攻势，力劝他们“缴枪得生”、“赶快投降”。经过一夜的僵持，又累又饿、军心涣散的敌兵终于挺不住了，火力逐渐转弱。天亮后，除少数人溜掉以外，其他400多人挂起了白旗，丢出枪支，不战自降。在周恩来的安排和指挥下，天通庵车站伏击战胜利结束，这不仅消除了工人纠察队腹背受敌的危险，而且极大地鼓舞了正在闸北与敌浴血奋战的上海工人阶级的士气。同时，被缴获的武器弹药用于支援正在围攻北火车站的纠察队，增强了他们的战斗力。
敌人重要据点之一的商务印书馆，地处宝山路中段，是起义总指挥部和北火车站的必经要道，地理位置很重要。商务印书馆俱乐部由四层楼钢骨水泥建成，加上敌人的军需处设在这里，武器先进，子弹充足，因此，虽然只有一个排的驻兵，但易守难攻。总攻开始后，敌人以密集火力顽强扼守，使起义工人遭到很大伤亡。周恩来听到情况汇报后，立即赶来察看地形，他制止了部分工人要利用梯子和搭起的桌椅爬越围墙，向里硬冲的做法。他说：“你们这样上去跳墙，容易暴露，牺牲太大。”在搞清了地形情况后，周恩来指示工人，改强攻为“围而不打”，部署火力，严密监视，敌人一露头，便予以猛烈射击。到22日下午，被重重围困在据点里的敌人等不到外援，走投无路，在纠察队的政治喊话中，只好将白毛巾扎在竹竿上伸出墙外，向起义工人表示投降。但是，工人纠察队由于缺乏经验，没有搞懂对方的意思，仍继续进攻，结果又牺牲了6个人，周恩来知道了，立即命令停止战斗，接受对方投降。