后来，平定了江西，蒋介石将孙传芳部的俘虏集中到吉安，有六七千人，编为新编第二师。1927年初，蒋介石仍然委任叶剑英当了这个师的师长。
蒋介石如此欣赏叶剑英，不单单是看重叶剑英年轻有为，才华出众，更重要的是因为这个出生梅县的战将，曾经忠实地追随孙中山左右，深得孙中山、廖仲恺的器重，在广东地区和粤军中颇有影响，所以想把剑英拉过去，一来利用其威望和才干，为己效力，帮他控制广东，二来免得他为共产党所用。
然而，他的这个算盘却打错了。
当时江西吉安，革命气势很盛，共产党也很活跃，叶剑英率领新编二师生活在这个革命环境中，进一步受到党的影响，思想更加倾向进步。他所领导的新编师成分复杂，战士多是俘虏兵，但经过他挑选的军官大多数是黄埔军校毕业生。部队经过改造，设有国民党的党代表、政治指导员(多数是身份没有公开的共产党员)，官兵中有许多倾向革命的进步分子。但是，中国的政局处在急剧变化中，蒋介石在1927年4月12日在上海发动了反革命政变。
4月17日，在共产党强烈要求和推动下，武汉国民政府和国民党左派发表公告，斥责四一二反革命政变，开除蒋介石的国民党党藉并免去其本兼各职，通电讨蒋，于是形成了“宁汉分裂”的局面。
宁汉对立，何去何从？叶剑英在这个历史转折关头，仍坚持“革命成功阶级灭”，“慰祝苍山乐大同”的革命理想，不顾蒋介石许与的高官厚禄，毅力决定“弃宁归汉”，亲手起草“通电反蒋”电文，走上革命反蒋的道路。
叶剑英通电反蒋后，新编二师有一些黄埔军校毕业的军官，投向蒋介石，反对叶剑英。对此，他毫不惋惜，发表声明说：蒋介石背叛革命，我才反对他。我反对蒋介石，并不是要靠他送给我的“巴掌”(指任他为师长)，而是靠我对革命的认识。叶剑英的反蒋电文，使当时的军界大为震动，国民革命军第四军副军长陈可钰为这事特意去报告蒋介石。蒋介石将信将疑，待弄清事实真相，叶剑英已离开吉安到武汉去了。
来到武汉，叶剑英先去见武汉国民政府军事部长谭延闿，向他报告了通电反蒋的经过和吉安的现状。在随后的日子里，叶剑英分别与贺龙、朱德相识了，并且彼此留下了很好的印象。
当时武汉左派革命者有一股游学苏联之风，叶剑英也想到列宁的故乡去，但是，因种种原因没有去成，正在苦闷与彷徨的时候，叶剑英见到了张发奎。张发奎早年也在“援闽”粤军中工作，同叶剑英是老相识，北伐时在李济深的国民革命第四军中任十二师长，攻占武汉后升任第四军军长。这时，张正雄心勃勃，急欲网罗将才，当即邀叶到第四军军部工作。于是，叶剑英随军参加第二次北伐，攻打奉系军阀。获胜后，从河南回师武汉，第四军扩充为国民革命军第二方面军，张发奎升任为总指挥，叶剑英被正式任命为第四军参谋长(军长黄琪翔)。
叶剑英随师返回武汉后，武汉的形势日益恶化。1927年7月15日，汪精卫反动集团悍然举行“分共”会议，公开背叛了孙中山的国共合作政策，投靠蒋介石，大肆屠杀共产党人和革命群众，这使叶剑英又一次受到了反面教育，更加相信只有共产党才能救中国。
对于共产党，他是有一个较长的认识过程的，早在1920年，在广州，他就看过一些宣传唯物主义的书籍和一些宣传国家主义、无政府主义的小册子。1921年后，他看到孙中山对苏联共产党和中国共产党的向往，看到共产党的主张，虽然对共产党产生了崇敬之情，但这时还没有接触马列主义。1924年第一次国共合作时期，特别是在黄埔军校接触了一些共产党人，受到马列思想的影响，才对党有了进一步的认识，并提出了入党申请。但有人认为叶剑英是国民党的高级军官，没有经过长期考验，不能轻易吸收入党，这样他第一次申请未被批准。但他并未灰心，继续为革命奔波和接受党的考验。到了1925年，在两次东征中，他与苏联顾问加伦和罗加乔夫共事，以后又与徐彬如(中山大学党总支书记)、包惠僧(教导师党代表)等共产党员多次交谈，并借阅马列书籍，对共产主义有了更多的了解，直到蒋介石四一二反革命政变，他就更坚定了脱离国民党蒋介石，再去寻找共产党的念头。
当时第四军内共产党和进步青年很多，张发奎、黄琪翔对共产党的态度一度也比较好，他生活在这个环境和气氛之中，逐渐结识了更多的共产党员，直接受到党的更多的教育，入党的要求更强烈了。党组织经过慎重考虑，认为叶剑英受到长期的严峻考验，早已符合一个共产党员的条件，便批准他为中国共产党正式党员。
“人生贵有胸中竹，经得艰难考验时。”
叶剑英这两句诗表达了他对共产主义的坚定信仰，也是他从找党到入党，走过曲折道路，经受长期考验的生动写照。
轰轰烈烈的大革命虽然失败了，中国共产党播下的火种并未熄灭。在武汉的中共中央临时政治局常委周恩来、李维汉、张太雷等正在酝酿举行南昌起义，秘密调遣一批党的干部向九江、南昌集中。
叶剑英根据党的指示，继续做好张发奎、黄琪翔的“参座”，于7月上旬来到九江。
九江，此时里里外外驻满了军队，真正成了一个大兵营。除了第四军，还有属于第二方面军的贺龙的二十军、叶挺的二十四师，以及朱培德等人的部队。
一天，汪精卫召集黄琪翔、朱培德等开会，秘密策划以第二方面军总指挥张发奎的名义，通知贺龙、叶挺上庐山开会，命令贺、叶部队到九江南昌之间的德安一带集结，阴谋以3个军的兵力进行围攻，企图一举扑灭军队中燃起的革命火焰。
军情急如火，叶剑英本来与叶挺有密码联系，但是感到此事非同小可，便连夜下山找到叶挺，将汪精卫等人的密谋悄悄告诉他。他们商定立即通知第二十军军长贺龙、第四军政治部主任廖乾吾，以及高语罕，紧急磋商，决定了三件事：第一，贺、叶不上庐山；第二，贺、叶部队不按张发奎命令，而是集中德安，开往牛行车站到南昌去；第三，叶挺的部队第二天即开拔，贺龙的部队第三天行动，先将火车皮让给叶挺。
会议之后，汪精卫的反动阴谋顿成泡影。但是，敌人并不就此罢休，汪精卫又下令要第二方面军实行“清共”，叶剑英事先得知这一阴谋，又立即告诉高语罕和廖乾吾，劝他们迅速离开九江。
八一南昌起义的枪声，划破了夜空，飞向了大江南北，叶剑英从贺龙的情报中，知道了起义的消息，分外高兴。但没有想到，起义的队伍很快撤离了南昌。
张发奎听说南昌起义，贺、叶出走，立即召集二方面军的黄琪翔、叶剑英等高级军官开会，研究对策。会议气氛十分紧张，许多人主张立即派兵尾追，捉拿贺、叶。
为掩护贺龙、叶挺部队的安全转移，叶剑英从分析面临的战局说起，讲了一篇“力主不追”的道理来：总指挥早就想南下广东，重举总理革命义旗，目前正是时机，广东现在仍是李济深的天下。我们原想去广东，李济深是反对的，现在我们放贺、叶的队伍到广东去，李济深招架不住，必然来请我们回广东相助，此时我军便可打起援师的旗号，直趋广州。这样比跟着贺、叶屁股打，两败俱伤，要胜一筹。假如在此尾追贺、叶，徒耗兵力，别说不一定追上他们，即使捉获，而我等仍无立足之地，何谈北伐统一!
张发奎一听，觉得叶剑英言之有理。于是就放弃了尾追贺、叶的企图。但怕人误解有通共之嫌，仍虚张声势派小部兵力摇旗呐喊，追了上去。后来，他看到第二方面军基本瓦解大势已去，就让黄琪翔代理总指挥，率领剩下的几个师朝着广东南雄前进，而自己便意态索然地乘船去了香港。