早在1926年10月24日下午，即第一次暴动失败后，中共上海区委就作出了开办军事训练班，加紧训练军事人才，“准备江西胜利后的武装暴动”。11月5日，北伐军攻克江西重镇九江，大兵即将顺长江直下上海。消息传来，中共中央和中共上海区委立即在6日开会，研究“九江攻下后的上海暴动问题”。会议乐观地估计了形势，认为起义的时机近在眼前，5天至一星期内将要举行起义，所以要求各下属机构在3天内作好起义准备。中共上海区委设立军事委员会为起义的领导机构，由钟汝梅、赵世炎、李震荡、汪寿华4人组成。另外还设立了具体负责指挥起义的机构，其中罗亦农负责军事行动，赵世炎负责党的活动，李震海负责上海总工会的活动，汪寿华负责对社会各界的联络。因为当时人们还拘泥于资产阶级革命要由资产阶级来领导，由资产阶级掌握政权的指导思想，所以接受了陈独秀代表中共中央的提议，起义军中依然推戴钮永健为军事领袖，虞治卿为民众领袖。关于起义的目的，中共上海区委在其发布的第86号通告中说得很清楚：起义爆发后，上海要建立一个上海市民自治的政府，由比较左倾的资产阶级掌握这个政权，工人阶级及许多下层群众只是处于监督地位。对于武装起义的形式，会议完全抛弃了依靠少数人，采取钮永健那样“只要有50人肯死”就能“使对方畏慑”的军事冒险与投机的办法。而是要先进行广泛的群众宣传活动，把广大群众都鼓动起来，工人宣布总同盟罢工，各界群众开会支持，接着工人由罢工转入起义，最后“创造一个上海的巴黎公社”。
武装起义策略方针确定后，上海的工人群众在上海总工会的领导下，立即行动起来操枪训练，贴标语发传单，斗志高昂。甚至有的人每天都找负责军事行动的罗亦农催问何时发动起义。为了拉钮永健、虞洽卿在起义时能出来做“领袖”，汪寿华等人多次找他们做工作。钮永健看不起工人，反对以工人为主体，一会儿提出让江西北伐军作主力，一会儿又夸口能从广东调军队打上海，一会儿又说应用孙传芳的倒戈部队作主力，最后却以“广东不信任”这次起义为借口，完全没有了下文。虞洽卿十分害伯孙传芳的最后一搏，更不敢参加这次起义。他终日躲在租界中的妓院里喊打倒孙传芳，被人们讽刺为“杯酒妇人英雄派”。
预定起义的时间一拖再拖，到11月12日，也没有一点北伐军顺江而下进攻上海的迹象。却传来了蒋介石在南昌招降纳叛，极力扩张自己势力的消息。眼见要扶起当领袖的钮永健、虞洽卿也不过是阿斗而已，只有2000来人、100余杆枪的上海工人纠察队与孙传芳在上海及江浙的兵力相比，也远不是对手。面对满怀热情等待起义的工人群众，中共上海区委不得不召开活动分子会议，向大家解释起义的主客观条件尚未成熟，尤其是北伐军东进迟缓，没有造成起义的时机，暂时还不能起义。同时还要求大家“注意经常作好起义的准备”。11月下旬，中共中央正式通知中共上海区委：“可以停止起义宣传”。上海区委遵照中央指示，决定暂时停止起义活动，利用群众的革命热情开展一场和平的自治运动。如果条件成熟，可以用非武装起义的形式驱逐军阀势力，建立一个上海市民自治的政府。
根据中共上海区委的决定，上海各级党组织和工会都停止了武装起义的宣传，将工作重心转到上海自治运动上来。当时孙传芳刚逃回南京，惊魂未定害怕自己也遭到吴佩孚同样的垮台命运，慌忙跑到天津，勾引奉鲁联军南下。这使得上海人民十分愤怒，不少地方和团体自发地开展“自治运动”。尤其是大小民族资产阶级都希望上海地方自治，使他们免受军阀的祸害。正由于“自治运动”和“自治政府”适应了浙江及上海地区民众的愿望，所以当中共上海区委把工作重心从武装起义转入“自治运动”之后，各阶层市民马上接受了“成立自治政府”的口号，积极参加自治运动。为使工人阶级成为自治运动的主力和领导，五卅运动以来两次被查封的上海总工会不顾军阀的禁令，于1926年11月30日再次挂出牌子，公开办公，同时登报通告全上海各工会组织5天内一律公开活动。尽管淞沪警察厅在12月18日第三次查封了上海总工会，但2000余工人却列队前往总工会，高呼“打倒军阀”、“拥护总工会”的口号，并撕下门上封条，打开大门，把办公用具搬到印刷总工会，使上海总工会又一次恢复了活动。
上海总工会恢复活动后，各工厂、商店迅速重建起基层工会组织。至1927年1月，上海的基层工会组织达187个，比1926年9月增加了一倍，产业总工会也从8个增加到12个，会员人数增加了50%。在市总工会的领导下，电车总工会、手工业总工会、店员总工会等为争民主、争自由、改善待遇进行了罢工。
下面引述一段关于法商电车自来水公司工人罢工斗争的情况：第一次武装起义失败后，中共法电支部遵照上海区委指示，全力进行组织和开展工会的工作，发动和团结工人群众，积蓄力量，准备再干。共产党员和工会会员经常邀请自己的知心朋友，到南阳桥裕福里一间厢房里开会，漫谈革命形势，宣传革命道理。不到两个月，工会会员已发展到100多人，党组织也有了发展。工人在裕福里的活动，引起了法商电车自来水公司资本家及其走狗的注意。他们派人探听消息，造谣破坏，诬蔑共产党秘密组织的工会是“土匪工会”。资本家还强令工人每人交两寸照片一张，加盖手印，以备审查。工人反对资本家侮辱他们的人格，抗议说：“我们不是强盗、小偷，为什么要交照片，打手印”，并坚决拒绝执行。法商资本家恼羞成怒，毫不讲理地开除了一名司机和两名售票员。3名工人被开除的事件，引起工人们的公愤。法电党支部根据群众要求，于1926年12月16日召开全体工会会员大会，正式宣布成立“上海法商电车自来水工会”。在成立大会上，许多工人要求立即举行罢工，给外国资本家一点厉害看。党支部建议“先礼后兵”，先给资本家写封信，提出要资本家收回开除工人的无理决定，取消罚款和打手印，增加工资，承认工会等条件，并要求立即答复。同时，加紧做好罢工的准备工作。但是，三天过去了，法商资本家对工会的信件不理不睬。法电工会决定从2月21日起罢工。罢工一开始，整个法租界电车停驶，社会上震动极大。资本家请来外国巡捕，想收买一些工人开出几辆电车来破坏罢工。工会团结全体工人，揭破资本家的阴谋。巡捕房蛮横地决定，不准工人在租界内集会，工人就到南市城隍庙茶馆里去开会。上海防守司令李宝章，为了讨好帝国主义，也发布禁令，禁止工人集会。于是，工会就化整为零，把罢工工人组织起来，10人一组，由小组长传达消息，统一行动。
法商电车自来水公司工人罢工，得到上海全市各行各业工人的热烈支持。上海总工会、华商电气工会、邮务工会、英商电车工会等纷纷派人或写信，表示慰问和支援。法商资本家看到工人斗志旺盛，毫不屈服，只得请杜月笙出面调解，表示愿作让步。在资本家被迫接受工人提出的条件后，工人们举着“拥护工会”、“打倒走狗”的标语，排好队伍，一路上喊口号，放鞭炮，还开出几辆电车，悬旗鸣炮，沿线游行一次，庆祝罢工胜利。
上海工会组织的公开恢复活动，尤其是工人罢工浪潮为上海的自治运动壮了声势。12月6日，由上海总工会、上海学生联合会、商界联合会等团体发起，召开了上海市民公会成立大会。在这个上海市最高的群众性领导机构中，共产党员林钧当选为4名负责人之一的总务委员。汪寿华、唐鉴、刘荣简、王景云、谢强生等参与其中，分别负责宣传、文书、交际、庶务等活动。上海市民公会是由上海市各阶层的社会团体协商之后成立的，它的行动将直接决定着上海自治运动的发展。为加强对它的领导，中共上海区委在上海市民公会内部建立了市民公会党团，党团书记是林钧，汪寿华、唐鉴、王景云、刘荣简、谢强生、张佐臣为党团成员。作为纪律，还规定党团成员在上海市民公会内部的活动、发言必须保持一致，发言表态要以汪寿华、林钧、唐鉴3人为准。有了市民公会这样一个具有统一战线性质的组织以后，中共上海区委就有了一条直接与上海各阶层人民及各团体上层人物接触联系的渠道，为广泛地发动群众，为壮大反军阀的自治运动提供了合理合法而又方便的条件。上海市民公会的成立，使孙传芳既恼火又害怕。当他听说上海市民公会将于12月12日召开市民大会，并准备进一步扩大自治运动时，马上下令上海的戒严司令李宝章和警察厅长严春阳：千万不能让市民大会召开，要严加禁止。李、严二人接到电令后，立即派军警于12月8日去查封上海总工会，声称要镇压自治运动。为避免军警动武，伤害各界广大群众，上海市民公会在12日没有召开市民大会，只召开了团体代表会议。300余名各团体代表出席了会议。会议发表了宣言和《告上海人民书》，号召上海市民支持上海自治，拒绝纳税给军阀政府，并且宣布委托市民公会筹备组织上海特别市民政府。对于上海市民公会这种公然的反帝反军阀的行动，孙传芳当然不会容许它的存在。12月26日，孙传芳发布告示，取消上海自治运动，取消非法团体，对破坏“安宁”的人要实行军法处置。1927年1月8日，上海戒严司令部和法租界巡捕房勾结到一起，封闭了在法租界的上海市民公会会所。从此上海市民公会被迫转入地下活动，许多活跃于自治运动中的资产阶级上层人物迫于压力，纷纷躲了起来。在军阀的高压下，上海自治运动的声音越来越小了。
在推动上海自治运动的同时，中共上海区委没有放松武装起义的准备工作。早在1926年11月下旬，为加强上海的军事力量，刚离开黄埔军校不久的周恩来由中共中央从广州调到上海，任中共中央军委书记。
1927年1月1日，周恩来在中共上海区委召开的党的活动分子大会上作了有关广东政局的报告。他分析了国民党中蒋介石、汪精卫、李济深等各自的政治态度，彼此所代表的不同政治集团。同时，他还明确指出这三派虽对国民革命有着不同的反映，但他们对工人运动却是“一致地取压迫态度”，他们认为工人的地位已经够了，说工人运动浪潮太高，“以致商人不敢投资”。蒋介石是新右派，越来越右派，抱有个人野心，在江西大搞独裁，尤其应该注意。他们都不是无产阶级的代表人物，他们的政治立场和政治态度与中国共产党是有本质区别的。周恩来的报告对于长期处于北洋军阀高压统治下，不了解广东地区国民党内部情况的上海工人阶级，对于中共上海区委有很大的启发意义，对后来制定武装起义方针策略等起到了很重要的作用。
面对日益复杂的局面，2月16日，中共上海区委决定：一是把立足点放在群众之中，即放手发展民众运动，使工人群众、学生、小资产阶级以及国民党左派在共产党的领导下，形成一支巨大的力量，在北伐军到来时能控制上海的政权，迫使蒋介石屈从民意；二是公开在民众中揭露蒋介石的罪行，利用民众的力量来抑制蒋介石向帝国主义和大资产阶级靠拢，宣布蒋介石的罪状，使民众尤其是工人群众提高警惕。同时，为了同资产阶级争夺上海民众运动的领导权，中国共产党制定的策略是集合工人阶级、农民阶级、小资产阶级的力量，准备武装起义夺取上海，建立上海市民政府。