1927年9月底，叶剑英又回到了广州。此时的广州，到处是一片凄凉景象。自广东“四一五”反革命政变之后，大批共产党员被捕杀，进步组织被破坏，革命形势同全国一样处于低潮。叶剑英忆起几年前热火朝天的大革命盛况和东征北伐中壮烈牺牲的战友，不禁满怀激愤。然而，共产党人是杀不绝的。广州的党组织虽然被迫转入地下，但仍坚持顽强的斗争。中共广东区委（后改省委）原确定在5月初举行的全省总起义虽然未能实行，但在党领导下的广州郊区以及东、北江等地的斗争仍在继续。从9月到10月底，海陆丰和琼崖地区（今海南省）先后爆发武装起义，并建立了苏维埃政权和革命根据地。南昌起义和秋收起义的风暴，振奋了广东工农群众的革命情绪。一个新的革命形势正在广东地区逐步酝酿和形成。
就在南昌起义军南下之际，盘踞在广州的桂系军阀李济深同张发奎拉开了争夺战的序幕。李济深不但掌握着军事实权，而且担任着国民党中央政治会议广州分会主席和广东省政府主席的职务。他为应付南昌起义军进粤，急急忙忙调兵遣将去潮汕增援，广州几乎成为一座没有防守力量的“空城”。此时，早已觊觎广东的张发奎，一看时机已到，便让第四军军长黄琪翔打起“援李讨逆”的旗号，率领第四军从江西直驱粤北，转向广州，在李济深的“礼遇”下，浩浩荡荡开进了五羊城。
张发奎回到广州以后，以第二方面军总指挥的名义发表“凯旋宣言”，声称此次班师回粤有三大使命：第一，“肃清”共产党，铲除叶、贺“逆军”；第二，改善广东的政治；第三，扶植工农。他还搬出大革命时期的一些口号来欺骗群众。然而，他的真实意图则在于对李济深与南昌起义军之战作壁上观，等待双方力量削弱之际，乘机夺取广东全省的政权。叶剑英就是在张发奎雄心勃勃、欲掌广东大权的情况下回到他身边的。但是，却遭到第四军副军长陈可钰等一些高级军官的反对。对于这件事，叶剑英曾作过如下的回忆：我一到广州，见到了国民党的军官陈可钰和薛岳等。陈可钰是国民党的元老之一，曾当过孙中山的警卫团团长。陈可钰知道张发奎要继续留我在第四军，便跑去见张发奎说：叶剑英这个人靠不住，过去蒋介石对他那么好，结果他反蒋，这个人留不得。那时，张发奎还有点革命气概，当场反驳说：“反蒋？我也反！那时的蒋介石，该反就得反！”又说：“你们不要老叶回来，我就叫他请假，到德国留学去。”陈可钰找了张发奎以后，我去见张发奎，张问我：“老叶，你回来，陈可钰、薛岳都反对，你看怎么办？”我想了想说：“我还是去外国学习吧。”张发奎劝我不要急着走，先打个出洋报告，领下留学费用，等将来一起走。这样，我就留下来了，继续担任第四军参谋长。既然陈可钰等反对我回广州，那么，我的行动就要注意一下了。我把情况向当时党的负责人黄锦辉作了汇报，并报告了省委军委。
黄锦辉是当时中共广东省委与叶剑英保持单线联系的负责人。他也是黄埔军校毕业生，参加过东征战役。1926年年底周恩来调离广州后，他负责广东省委军委工作。叶剑英到达广州不久，即与他秘密接上了头，向他汇报了教导团随军南下和此次单独来穗的工作情况，以及准备在广州暴动的设想。黄锦辉听完以后，首先肯定了叶剑英的工作，并向他详细介绍了广州的革命形势，传达了中央和广东省委最近一个时期以来的指示和工作部署，其要点是：中央已于9月明确指示要发动广州起义；广东党组织的任务是利用李济深和张发奎两派军阀之间的矛盾，积极作起义的准备；要纠正消极等待叶、贺军配合起义的思想；省委正着手组织总同盟军罢工，扩大工人赤卫队，发动市郊农民暴动，并分化敌军使之一部分能站到工农方面来。在这次谈话中，黄锦辉还交给了叶剑英这样几项任务：（1）要在张发奎的第四军中站住脚跟，掌握敌军动态；（2）加强对教导团的控制，掌握好这支暴动的基本武装；（3）利用敌人的矛盾，分化削弱敌人力量，壮大革命力量。最后黄锦辉叮嘱：对张发奎不能抱幻想，要提高警惕，处处小心，不能露出马脚。
叶剑英与党组织取得了联系，了解了党组织的意图，更加谨慎行事，在极其复杂险恶的环境中秘密地进行起义的准备工作。9月底，南昌起义军在国民党军的重兵围攻下，被迫撤出了汕头。10月上旬，周恩来、贺龙、叶挺、张太雷、恽代英、聂荣臻等相继转往香港。这时，叶剑英受党组织委托秘密前往香港，会见了广东省委委员恽代英，交换了情况，进一步商讨了广州起义的问题。返回广州后，他把与恽代英交谈的情况向黄锦辉作了汇报。叶剑英在广州立稳脚跟后，昼夜思虑着如何把他苦心培育的教导团调进广州。张发奎、黄琪翔本来是拒绝教导团进驻广州的。他们听到许多关于教导团“赤化了”的传言，此时正把教导团看做是“一颗拉了弦的手榴弹”，既想丢出去炸别人，又怕留在手里炸自己。叶剑英看透了他们的心思，几次找他们陈述利害：要想驱逐异己势力，扩大自己实力，非起用这支饶有作战能力的年轻武装不可。并且一再担保，只要使用得当，调度有方，不会发生任何意外。费尽唇舌，张发奎、黄琪翔终于被他说通，同意把教导团调入广州。
10月中旬，教导团从广东花县新街出发，抵达广州北郊四标营。
稍事休整，便获准重新发还武器，并补发了新的灰布军装。教导团进驻广州后，叶剑英便设法与团内的中共地下党负责人唐维等取得联系。为了避嫌，他先向张发奎辞去教导团团长的职务，同时建议由杨澍松代理团长，李云鹏（中共地下党员）等人接任营长和连长。叶剑英部署停当，即来到教导团视察。这一天，他身着笔挺的军服，佩带短剑，英姿勃勃，出现在全团官兵面前。他首先问候大家，随即庄重地宣布杨澎松等人的任命，接着，讲革命的形势和任务，最后语意双关地说：当前，在我们面前展现着一条曲折的革命道路，希望大家不要低估自己的作用。要用高度的革命精神来接受紧张的训练。要养成服从军纪的良好习惯，为巩固革命策源地广东作出贡献！同学们听了老团长寓意深刻的讲话，对革命斗争的复杂性有了进一步的理解。
叶剑英根据中共广东省委军委的指示，在教导团内加紧部署起义前的准备工作。9、10月间，党组织又发展了一批新党员。全团1300名学员和教官中，有200多名共产党员和革命积极分子，3个营长有2个是共产党员，其他各级干部也大部分是共产党员。叶剑英还与团内党组织负责人一起迅速扩大“工农兵革命同志会”这一进步组织，并指导“同志会”开展小组活动，进行个别谈心，团结和教育广大士兵群众，使全团绝大多数官兵同情革命。通过这个革命组织，党的指示精神和“老团长”对起义准备的具体要求，得以在全团贯彻实施。由于党的领导加强，“孙文主义学会”的影响受到削弱，广州起义的武装准备工作有了迅速的进展。按照中共广东省委和“老团长”的布置，教导团经常派出一些有战斗经验的学员深入到市区、工厂和工人住宅区，向群众宣传革命道理，指导工人纠察队使用武器。一些女生队的学员也穿起工人服，外出宣传，和女工一起讨论革命大事，受到工友们的欢迎。教导团的革命士兵与广大工人打成一片，阶级觉悟迅速提高。教导团党组织在叶剑英提议下，还以加强训练为名，成立了一个“士兵训练委员会”，根据城市起义的特点，对各个连队各有侧重地进行巷战中的攻击、射击、投弹、爆破、刺杀和夜战训练教育，并对全团的勤务、司号、炊事、饲养、看护等300多人，按时进行军事政治训练。每天，在晨光初现的时候，一队队的教导团战士便开始了长跑锻炼。他们向着沙河方向，一直跑到黄花岗。在巍然肃穆的七十二烈士墓碑前，列队集合，高唱革命歌曲，抒发战斗激情。教导团战斗力日益增强，政治影响日益扩大。
正当教导团厉兵秣马、待机而动之际，粤系张发奎与桂系李济深、黄绍竑争夺广东地盘的斗争愈演愈烈。自从南昌起义军在潮汕失败之后，黄绍竑得胜回归广州，代任第八路军总指挥。李济深自恃实力壮大，遂成立临时军事委员会，自任军委主席，并企图取消第二方面军的番号，直接指挥第四军。张发奎也不示弱，表面上声称要出洋，暗地里却召集军官会议签名倒李。这时，遭到国民党政府排斥的汪精卫，想利用张发奎的势力，赶走李济深，插足广州。而被桂系军阀李宗仁、白崇禧以及唐生智排挤暂时下野的蒋介石，也施展其两面派手法，拉张反李，妄图坐收渔利。汪精卫迫不及待地跑到广州，到处发表演讲，宣扬他的“护党运动”和“在夹攻中奋斗”