反革命政变后，在敌军中站住脚跟，掌握敌军动态。加强对教导团的控制，准备好最强的武装。利用敌人矛盾，分化削弱敌人力量，壮大革命力量，配合广州起义。
局势的发展是错综复杂的，1927年8月4日，张发奎尾追叶、贺的部队还没有派出，第二方面军军官教导团从武汉抵达九江。这个教导团原是计划准备参加南昌起义的，因中途受阻未能成行。8月中旬，叶剑英亲自率领教导团沿赣江南下。一路上，他既当领导人，又当保护人，既抓政治工作，又抓军事训练，呕心沥血，言传身教，悉心为党培育这支革命武装力量。教导团千里行军，经受了锻炼，后来教导团成为广州起义的主力部队。
1927年9月底，叶剑英离开教导团来到广州。但是，他的到来却遭到四军一些高级军官陈可钰、薛岳等人反对。
叶剑英不顾别人反对，单独面见张发奎。
张发奎见到老朋友归来，很是高兴。他说：“老叶，你回来得好，可陈可钰、薛岳他们都反对，你看怎么办？”
叶剑英沉思片刻，试探着说：“向华公，你不要为难，送我去外国学习吧!”
张发奎当然不肯让他走，但为了应付反对者，要他先打个报告，领下留学金。他打了个要求留德的报告，政府很快就批下1.3万块大洋。他又找到张发奎问是否就走，回答是：“不要走!”
叶剑英一心想着党，想着在敌人心脏里搞暴动，顺水推舟。留了下来，继续担任第四军的参谋长，暗中加紧从事党的地下工作。
按照党组织的交待，一天夜里，他秘密地找到了广州地下党负责人之一黄锦辉。叶剑英向他汇报了教导团南下和此次单独来穗，准备参加广州暴动的设想。黄锦辉听完以后，向他传达了中央和广东省委最近一个时期关于广州暴动的指示和部署。然后给叶剑英规定了三项任务：一、在张发奎的第四军站住脚跟，掌握敌军动态；二、加强对教导团的控制，准备好暴动的武装；三、利用敌人的矛盾，分化削弱敌人的力量，壮大革命力量。
广州起义后，叶剑英到达香港与潘君勉合影。叶剑英了解了党的意图，眼前好像拨亮了一盏灯，心里有说不出的高兴。
不久，南昌起义军在国民党反动派疯狂反扑的情况下，撤出了汕头，周恩来、贺龙、叶挺、张太雷、恽代英相继转到香港。广州地下党组织派叶剑英秘密前往香港，找到广东省委委员恽代英，交换两地革命斗争的情况，了解广东省委总结南昌起义部队在广东失败的教训。叶剑英返回广州后，很快向黄锦辉作了汇报。从此，他在党的领导下，极其秘密地投入了广州起义的准备工作。
为了避免某些人的疑忌，叶剑英根据组织上的交待，有意辞去教导团的团长职务，并安排一些地下党员接替各级领导职务，三个营长两个是共产党员。同时与教导团的革命师生保持密切接触，一再叮嘱大家要服从军纪，用革命精神习文练武，磨练意志，待机而动。
教导团在中共广东省军委和叶剑英领导下，加紧了起义前的准备工作。党组织吸收了一批新党员，扩大了“工农兵革命同志会”。全团1300名学员和教官中，就有200多名共产党员和革命积极分子，绝大多数是倾向革命、同情革命的。团里还设有专职的政治教官，讲政治课，指导学员阅读政治书籍。党组织还经常派出革命学员深入到工厂和工人居住区，向群众宣传革命道理，指导工人纠察队使用武器。革命士兵与工人联成一气，也使自己受到了教育和鼓舞，迅速提高了阶级觉悟和战斗意志。在“老团长”的授意下，教导团成立了一个“士兵训练委员会”，根据城市起义的特点，对各个连队侧重进行巷战、夜战训练，提高作战本领。
为了加强起义的武装力量，叶剑英还按照黄锦辉的意图设法扩充第四军警卫团。
警卫团原有两个营，军官成分复杂，只有少数中共地下党员和进步人土。叶剑英特意面晤张发奎，以加强广州城防为名，向他提出了扩编警卫团的建议，张发奎欣然同意。
由于叶剑英事先物色好了对象，乘机推荐了中共地下党员梁秉枢担任警卫团团长。
随后，叶剑英又想方设法安排张诗教、陶剑寒(即陶铸)等一批共产党员担任警卫团的主要领导职务，并将300多名曾参加省港大罢工的工人招进该团，编成第三营，由共产党员施恕之任营长，各连的排长和班长也大都由教导团抽调来的进步学员担任。
这样，在广州起义前，叶剑英秘密地为党准备的教导团、警卫团两个“姊妹团”的革命武装力量，还与其他国民党军中倾向革命的老熟人保持联系，以备策应起义之用。
就在叶剑英悄悄地准备起义武装力量的时候，敌人内部力量也在发生变化。张发奎、黄琪翔与李济深、黄绍竑两派势力争夺广东政权的斗争愈演愈烈。
正当此时，被桂系军阀排挤暂时下野的蒋介石施尽两面手法，拉张倒李，妄图坐收渔利。被国民党南京政府排挤的汪精卫也迫不及待地跑到广州与张发奎密谋，劝说李济深去上海与蒋介石磋商大事，以便将李调开。11月17日爆发了倒李的政变。
张、黄倒李之战既起，叶剑英为了利用矛盾，各个击破，即命教导团投入战斗，一举攻克了黄绍竑的第八路军总指挥部。
在这场驱逐李、黄的战斗中，教导团不但为四一五反革命政变中死难的烈士报仇雪恨，也为广州起义作了预演，同时缴获了大批新式武器和弹药，进一步武装了自己，并秘密地装备了部分工人纠察队，壮大了革命武装，为广州起义又准备了条件。
此时，粤桂两派势力之间又在酝酿一场新的争斗。退到广西的李济深、黄绍竑暗中调兵遣将，组成东西两路军，准备夹攻广州。
大敌当前，张发奎赶忙召集部属们商讨对策。叶剑英一看调动敌人的时机来了，极力主张打出广州去，迎击敌人。他根据侦察来的情报，在会上分析东西两路的敌情：“东路陈铭枢由福州进入潮汕，实力较强，比较难打；西路黄绍竑刚从广州败退广西，仓促纠集起残兵败将，队伍虽多，但多属杂牌，立足未稳，比较好打。用兵切忌分兵把口。我们要捏紧拳头，拣弱的打，先拿黄绍竑开刀!”
军官们见参座对敌情了如指掌，讲得头头是道，不禁暗暗佩服。张发奎也频频点头，表示赞同。叶剑英便以参谋长的身份进一步使出了“调虎离山”之计，向总指挥建议道：“时不可失。攻打西路之敌不能掉以轻心，必须全力以赴，力求速决。同时对东路之敌，也要出兵顶住，防备他们来抄后路!”
张发奎完全采纳了叶的意见，当即任命黄琪翔为西路总指挥，率第四军主力开赴西江肇庆、梧州一带，进攻黄绍竑，其余部队悉数调出广州外围，以防东路进犯之敌。这样，广州城内只剩下教导团、警卫团和其他少数部队，十分空虚，给广州起义造成了极好的时机。
起义加快了步伐。11月26日，广东省委书记张太雷从香港到达广州，召开一系列秘密会议，进行起义的动员准备工作，并且决定12月12日举行起义。
正在这个关键时刻，供给起义的武器转运站被敌侦破。在上海的汪精卫得知广州暴动情报后，连夜派其妻陈璧君回粤面告张发奎要立即镇压暴动。接着一日连发三电给他在广州的代理人陈公博和公安局长朱晖日，要他们火速解散教导团，查封工人赤卫队总部。张发奎便召开军事会议，策划镇压暴动，并密调黄琪翔部队急速从西江前线返回广州。
在此千钧一发之际，叶剑英再次冒着风险面见张发奎，担保教导团不会暴动，设法稳住敌人，同时将所获敌人镇压起义的部署报告党组织，暗地里通知教导团提高警惕。
根据各方面的情报，党决定提前举行起义。
为了加强起义的领导力量，党中央派叶挺前来广州负责军事指挥。由于起义时间临时变更，叶挺在12月10日起义前夕从香港仓促起程，当夜到达广州，即投入了紧张的起义战斗部署工作。
11日凌晨3时30分，教导团打响了第一枪，“在敌人心脏里的暴动”终于爆发了!顷刻之间，教导团第一营和工人赤卫队第一联队迅速攻占了最坚固的反动堡垒公安局。广州工农民主政府(苏维埃)和临时工农红军总指挥部在这时宣告成立，叶剑英担任副总指挥，协助张太雷、叶挺指挥战斗，扩大战果，巩固阵地。
国民党反动派的军队和警察，仓促应战，溃不成军。
起义队伍虽然控制了广州市的大部地区，但第四军军部等据点的敌人仍在顽抗，逃到珠江南岸的陈公博、张发奎、黄琪翔等匆匆忙忙登上一艘军舰，到肇庆和江门等地调回部队，大肆反扑。
叶剑英同其他起义领导人冷静客观地判断敌情，沉着果断地指挥战斗。他时而跑到教导团防线布置战斗，时而到炮兵阵地教士兵架炮射击。他命令教导团炮兵连长田时彦迅速率部队前往观音山高地，炮击第四军军部。
停泊在珠江中的帝国主义军舰，对准天字码头一带的起义军阵地猛烈轰击，居民伤亡，房屋倒塌，在力量上占优势的反动军队加紧反扑向市区步步进逼。
在这种紧迫的形势下，总指挥部召开紧急会议，分析形势，讨论下一步行动方案。在会上，叶剑英和叶挺等一再建议将革命队伍拉出去，到东江找彭湃与农军会合，或去粤北加入朱德起义军，继续战斗，但均遭反对。
12日中午，敌军攻占了观音山的一些山头，使苏维埃政府受到威胁。叶剑英立即派红军指挥部副官陈赓率领武装部队前去增援，工人赤卫队也前去参加战斗。经过猛烈冲杀，打退了敌人多次反扑，起义军夺回观音山阵地。但敌军不甘失败，继续进攻。
就在这时，张太雷不幸被埋伏的敌人枪击牺牲。叶剑英强忍悲痛，坚守岗位，指挥战斗。
观音山虽然一时守住了，但从其他方向进攻的敌人又猛压过来。珠江南岸敌人李福林部在帝国主义军舰掩护下，企图强渡珠江进犯江北市区。总指挥部即调起义军和工人赤卫队迎击敌人。但由于兵力不济，起义部队处境越来越困难。叶剑英毫不气馁，亲临前沿阵地指挥作战。黄昏后，他几费周折，找到司机罗炳等同志，开汽车去接东江彭湃的部队。
我军增援未到，敌军相继麇集，从三个方向包抄上来，陆续抢占了市内主要据点。市内反动分子乘机抢劫放火，一时火光冲天。
广州形势急剧逆转。12日晚，起义军被迫陆续撤出广州。
“将成即毁原尝试，虽败犹荣应赞扬。”广州起义虽然失败了，但它同南昌起义、秋收起义联系在一起，成为党独立地领导革命战争和创建人民军队的伟大开端。它是中国工农兵武装夺取政权的伟大尝试，在我国革命史上谱写了光辉的篇章。
广州起义失败后，叶剑英前往莫斯科学习，回国负责中央军委参谋部工作，再任红军学校校长兼政委。长征中任军委第一纵队司令员和中央纵队副司令员，与张国焘作斗争，支持和维护党中央北上长征决策。
广州起义失败之后，叶剑英转入香港。1928年底转道上海，被党组织派往莫斯科，进入中国劳动者共产主义大学特别班学习。于1930年秋学成回国，第二年初从上海进到中央革命根据地。苏区中央局让他负责中央军委参谋部工作，协助毛泽东、朱德指挥作战，取得了第二、三次反“围剿”的胜利。
1931年11月，在红都瑞金组成中华苏维埃共和国中央革命军事委员会，朱德任军委主席，王稼祥、彭德怀任副主席，叶剑英任军委委员兼总参谋部部长。
当时，红一方面军正处在创建发展时期。因战斗频繁，来不及进行休整，各级统率机关也刚刚建立起来，缺乏明确的分工和严密的制度。尤其司令部的参谋工作缺乏经验，还不能完全适应战争的需要。叶剑英向军委建议：“要建设精干的统率机关”，统率部各机关部门应当坚持短小精干和办事效率高的原则。朱德等支持他的建议，决定对统率机关进行整编，在总参谋部内成立了作战、侦察、交通、动员、教育和管理等部门。1931年，叶剑英在中央苏区。
加强统率机关建设是为了更好地指挥作战，叶剑英充分发挥各机关的职能，积极协助周恩来、毛泽东、朱德组织指挥赣州、漳州、水口、宜黄、乐安等地战役。在作战中，叶剑英根据侦察得来的情报，制定周密的作战计划，提出合理建议，受到军委副主席周恩来的赞扬。
1932年10月，苏区中央局召开宁都会议，继续贯彻王明“左”倾的错误战略方针。叶剑英被调离总参谋部，任中国工农红军军事政治学校校长兼政治委员。
叶剑英到红军学校后，根据黄埔军校和苏联劳动大学的经验，深深懂得，办好学校，首先需要有一正确的指导思想。他在办校中发扬古田会议精神，继续贯彻毛泽东倡导的从实际需要出发的训练方针。他组织红军学校领导干部和教员，学习红军的战略思想和战术观点，还定期组织讨论，提高教员的理论水平。叶剑英提倡学习古今中外的军事知识，注意总结红军建设和作战的经验。他亲自编写教材，给学员讲课，指导操练，现场示范，深受学员欢迎。在教学中，叶剑英注重改进教学方法，主张少讲多练，组织实战性的野外实习，较好地解决了理论联系实际问题，提高了教学质量，使学员学到了真本领。