随着工人纠察队的扩大，筹集武器成为当时最为紧要的任务。工人纠察队原有100多支短枪，在第二次暴动中丢失了一部分，实际能够使用的枪支已不足100支，人多枪少的矛盾非常突出。为了解决这个问题，特别委员会想了很多办法。购买武器是工人纠察队武器来源的一个重要途径。当时军阀部队军心涣散，不少官兵把枪支、弹药拿出来，秘密卖给工人纠察队。南市、闸北、浦东凡有驻兵的地方，都可以买到武器。可是，当时党的经费相当困难。在这种情况下，特别军委还是想方设法筹集经费，通过各种渠道筹集资金购置武器。3月初，共产国际驻上海代表支援7000元；武汉工人阶级在刘少奇、李立三的领导下，为援助上海工人罢工，决定捐献全市工人一天的工资约2万元，3月10日前后派专人送往上海。共产党就利用这些资助，购买了100多支枪和一批弹药，武装了工人纠察队。到第三次武装起义前夕，上海工人纠察队已经有了近300支枪。购买到这些武器弹药，已经临近武装起义的发动，及时地把这批武器运送到各区的工人纠察队手中，就成了极紧迫的任务。这个工作也相当艰险，因为敌人早已草木皆兵，到处都有敌人在巡逻。可是工人们还是想出种种巧妙的办法，躲过敌人的巡逻队、警察的检查。有一次，要把武器送到浦东去，周恩来想出了个办法，把枪支拆了，装进留声机内，送了出去。就这样，工人们在敌人的眼皮底下，及时地把武器分送到了武装起义的地点。
武器筹集后，特别军委开始加强对工人纠察队的训练，以提高工人纠察队的战斗力。上海区委也专门制定了武装暴动的训练大纲，对工人纠察队员进行政治训练和军事训练。训练大纲规定，纠察队员必须具备坚定勇政、不怕牺牲、沉着冷静、行动敏捷、遵守纪律、服从指挥等条件。训练班上，特别注意对纠察队员勇敢机智的精神和机动灵活的战术的培养，教育每个队员在起义时，要根据所处的环境机敏地处理一切情况，做到随机应变，一切行动要服从整个起义的目标，不可因部分的变动而牵涉到全体；要树立必胜的信心，决心既定，虽有牺牲也在所不惜，做到勇往直前，消灭敌人，去夺取胜利；要一切行动听指挥，指挥者要沉着冷静，纠察队员要以指挥命令为视听，做到令必行，禁必止；要行动迅速，攻其不备，做到兵贵神速，速战速决。在军事训练中，注意巷战战术和使用武器的训练，纠察队员们学习了战斗中的联络、袭击和堵截，冲锋、隐蔽和缴械，以及单独作战、瞄准射击等基本战术；掌握了驳壳枪、步枪、手榴弹等武器的使用方法。在武装起义的前夕，各区的工人纠察队都有计划地进行了侦察活动，熟悉地形，了解敌情，对起义时准备进攻的目标，制定了作战方案。各区警察署周围的地形，什么地方可以设置障碍，什么地方可以割断电线，什么地方可以隐蔽射击，以及从哪个方向哪条道路进攻最容易获得成功等等，工人纠察队都调查得清清楚楚。这对于武器不多，但革命热情高涨的工人纠察队来说，是特别重要的。后来，赵世炎对这些技术训练的评价时说：上海工人阶级第三次的暴动，尽量地使用了革命的技术，勇敢、真诚地遵守马克思列宁主义的教导，练习出两日一夜巷战的经验。在全面调查敌情的基础上，各部制订了武装起义的作战计划。在各区的作战计划中，对攻占的主要目标，起义时纠察队员的分工、武器的分配、进攻的方法、地形的利用、联络的暗号、群众的接应、指挥的位置等等，都有周密的计划和明确的安排。
在加强起义武装准备的同时，鉴于第二次武装起义的经验教训，特别委员会决定建立党的特别宣传委员会，在工人和市民中加强政治宣传工作。特别宣传委员会由中共上海区委主席团委员、宣传部长尹宽为首，郑超麟、高语罕、贺昌、徐伟等人参加。特别宣传委员会成立后，根据党的特委会议关于武装起义的各项要求和决定，运用各种形式，把党的指示及时地传达到工人和市民群众中去，做到了党对宣传工作的要求：尽量组织宣传，编发宣传品，以取得本党在民众中思想领导的地位。同时发布为上海总同盟罢工告民众书和告工友书，揭露了军阀刽子手孙传芳、李宝章屠杀工人及革命民众的罪行，特别宣传委员会还制定了政治宣传大纲，指导各级党的组织和各革命团体开展政治宣传工作；创办了各种报刊，在工人和市民群众中广泛传播。高语罕与郑超麟编辑的《平民日报》内容新，出版快，传播广，影响大，主要内容有社论、平民革命消息和政治消息等，在工人群众和小资产阶级的市民群众中很受欢迎。上海总工会编辑的《工人快报》、《每日通讯》，报道本市的政治军事消息，以及上海工人运动的情况。上海总工会还油印出版了不定期的《上总通讯》、《上总消息》，报道工人消息、工会工作等。同时，在特别宣传委员会的领导下，由国民党上海市党部、市总工会、青年团、学联、妇联等分头组织了宣传队、讲演队。参加宣传队的人数达5000多人，上海学联组织的学生演讲队就有150多个，上海市党部也组织了250多个演讲队，每个队3～5人，躲过敌人的军警岗哨，深入到大街小巷，在工厂，在居民区，散发传单，发表演说，进行鼓动和宣传。这样，就使党在第三次武装起义中的指导思想和斗争策略，诸如关于工人阶级必须争夺革命领导权的思想，关于夺取武器、建立工人武装、进行武装起义的思想，关于成立上海市民革命政权的思想，关于警惕国民党新右派的活动和既斗争又联合的策略等等。经过这样的宣传，中国共产党确定的总口号——“罢工、罢市、罢课、武装暴动，打倒直鲁联军，响应北伐军，建立上海革命民众市政府”，已经广泛地深入人心。
（三）武装起义
抓准起义的时机，是起义胜利的关键。第一次武装起义是在夏超战败，误信九江攻克的传闻时发动的；第二次武装起义是在总同盟罢工后第三天才发动的，两次起义在时间上的选择都不恰当，因此贻误良机，致使起义失败。鉴于这些经验教训，3月3日，特委会就起义时机进行了讨论。经过集体研究讨论，特委决定：如果松江攻下，或苏州攻下，或麦根路与北站兵苏州撤退，三个条件具备其一，就决定发动起义。
要准确掌握起义时机，其中最为重要的就是弄清楚北伐军的动向，并催促北伐军攻打上海。中国共产党一直对北伐军的力量相当重视，但进军东南的北伐军在蒋介石的指示下，一直拒绝与上海工人发生联系。周恩来负责特别军委的工作后，曾利用他在国民革命军中的影响，想方设法与北伐军取得联系。2月25日，特委会议在决定发动上海第三次武装起义后，决定派总工会代表去北伐军东路军指挥部，直接向前敌总指挥白崇禧报告上海工人罢工的意义，敦促他们从速进兵上海，配合暴动，同时派人与第二军联络。26日，周恩来亲自写信给东路军总指挥何应钦，劝他继续前进，并向他说明上海罢工的情况，特别将武装起义“响应北伐军”的口号告诉他。27日，上海区委召开党团会议决定，派出代表以上海市党部和江苏省党部的身份到杭州欢迎北伐军。
但是，老谋深算的蒋介石，并不急于进军上海，而只是在外围列阵，保持对军阀统治的威胁，其目的无非有两个：一是可以拖延时间，借机与帝国主义暗中联络，谋求达成某种政治交易；二是他不愿意让共产党直接领导和影响下的上海工人，借北伐军的军威发展力量。3月3日，蒋介石给北伐军总指挥部发了一份密电，指示：北伐军如攻上海，至龙华、南翔、吴淞之线为止，军队不越此线为妥。听说某党有上海革命政府的组织，对此应勒令取消。3月上旬，北伐军在经过几天的观望之后，分两路进逼上海：一路由西向东，经宜兴取常州；一路从南向北，由嘉兴攻松江。特委会感到，整个局势越来越紧迫，起义的时机也越来越迫近了。
对于北伐军进军上海，国民党驻沪全权代表钮永健开始持“迅速进军”的态度，他亲自写信给蒋介石，提出包抄上海和南京的计划。蒋介石收到计划后，大动肝火，斥责钮永健无能，并怀疑他是否已被共产党赤化。以后，钮永健逐渐领会了蒋介石的意图，对上海第三次武装起义不仅表示出不支持的态度，而且常常表示反感。原先钮永健曾答应支持暴动的经费，迟迟不肯拿出，后来勉强同意给铁路工人罢工5000元的帮助，其余不愿拿出。3月18日，北伐军的前锋到达松江，革命形势有利，上海工人准备立即罢工，钮永健则按照蒋介石的指示向中共上海区委宣布：“我代表蒋总司令，不赞成罢工。”但钮永健对于得到上海罢工的领导权还是颇为热衷的，他通过杜月笙等人，想方设法拉拢毕庶澄投降，以求增加自己的政治、军事砝码，只是由于毕庶澄所提条件过高，这场策动倒戈的活动，才慢慢地冷落下来。
为了壮大革命的力量，避免工人阶级孤军奋战，特别委员会还是尽力争取钮永健方面同意工人举行武装起义。3月5日，罗亦农主动去找钮永健，婉转地提出：“钮先生，现在工人情绪高涨，不可抑制，我看罢工欢迎北伐军，罢工维持上海治安，防止打劫，未尝不是好事。”钮永健找不出反驳的理由，最后同意不反对工人举行总罢工，只是表示：李宝章已退南通，毕庶澄退苏州，松江已下，这样暴动就无对象，并说工人暴动是应该的，但不要徒然牺牲。尽管钮永健表示不反对工人举行总罢工，但在召开市民代表会议问题上，中国共产党同钮永健方面产生了很大的分歧，并进行了激烈的斗争。对于市民代表会议的性质，中国共产党明确指出：市民代表会议是民众的直接政权，必须以工人阶级为主体。钮永健方面则提出以党治国或委任制，试图夺取市民政权的领导权。基于在本质问题上发生分歧，双方在代表名额、代表产生的方式等方面也是矛盾重重。
为了在北伐军到来之前，造成浓厚的民选气氛，中国共产党一边与国民党又联合又斗争，一边以最快的速度开展市民代表会议工作。3月6日，《上海市民代表会议之组织法及其职任（拟）案》制定出来，经上海总工会、上海学联、全国学总、苏浙皖三省联合会及各马路商联合会五大团体的联合会议通过，开始付诸实施。上海的民众已经全面发动起来了。3月中旬，北伐军攻克宜兴、溧阳之后，开始向上海进军，逼近松江。一时间，上海群情高涨。13日，沪宁、沪杭两路的工人举行了罢工，毁坏了沪宁路常州至南京的铁路，使敌人得不到增援，陷于孤立。
举行第三次武装起义的时机到了！
3月18日，松江发生激战，宜兴已被攻下，在起义时机完全成熟的情况下，中国共产党不再理睬国民党右派的干扰，决心义无反顾地举行武装起义。19日清晨8点，上海区委主席团召开紧急会议。会议一开始，周恩来就目前的形势发表了自己的看法，他说：“目前形势于武装起义有利，但毕庶澄有可能迅速败退，也有可能做最后的挣扎。所以如果罢工后面没有武装起义，就会受到镇压。”与会的其他主席团成员表示同意周恩来的看法。周恩来接着说道：“我的意见是，迅速做好准备，一旦有毕军溃退的消息，即一面下令罢工，一面准备武装起义。”在革命的关键时刻，中国共产党决定牢牢掌握武装起义的领导权。
19日上午9时，上海区委召开活动分子大会，赵世炎在会上作了《革命的现状与我们的责任》的报告，指出：“目前革命的潮流与现象，就是民众运动。我们党现在还不是抓得民众运动的最高领导权。……我们的责任必须是要拿住民众力量。”随后，罗亦农在会上做演讲，他情绪饱满，慷慨激昂，对与会的活动分子说：“现在，我们的党已到了领导夺取政权的时期，每个同志都应该挺起胸膛，做革命的领导者，这是我们义不容辞的责任，丝毫不能退让。”他的演讲赢得了活动分子的一片掌声。下午2点半，上海区委召开各部及各产业总工会联席会议，罗亦农在会上下达了第三次武装起义的预备动员令。晚上7点，上海区委再次召开特别会议，研究上海形势和准备市政府成立问题。当日，中共上海区委还发布了《行动大纲——总同盟罢工应注意之点》，对上海的民众提出了具体的要求。
20日上午8时半，上海区委再次检查暴动的准备。罗亦农对各部委、各产业总工会的负责人说：“目前统计的罢工人数是28万，跟上次差不多。各部委、各产总还要继续做工作，争取罢工人数至少到五六十万人。”各方人员分头去做最后的准备，只等一声令下，一致行动。
3月20日傍晚，北伐军攻入上海近郊新龙华，中共上海党组织决定立即举行上海工人武装起义，并在宝山路横滨桥南商务印书馆（即东方图书馆）职工医院内，设立了起义前总指挥部。