叶剑英担任军校的教官，还担任粤军第二师的参谋长，兼管二师的训练。
7月间，盘踞在粤北地区的林虎，率部首先向广州方向进犯，配合惠州叛军一起出兵，威逼广州。叶剑英奉命调回二师，协助师长张民达，偷袭建平，击毙敌师长，守城叛军大部被俘，缴获无数。这次战斗的胜利，保证了黄埔军校的正常教学，巩固了广东革命根据地。
二师建平大捷后，挥师广州。叶剑英奉廖仲恺之命，创办粤军第二师独立营，配合黄埔军校培训军士，以壮大革命的骨干力量。他亲自到香洲创办这个“小黄埔”。叶剑英一改旧军队“抽丁拉夫”的办法，派人到各地向群众宣传革命军的宗旨，动员农村青年参军，招募新兵。不久，一个黄埔式的独立营诞生了。
叶剑英和教官们一起参照黄埔军校的大纲，制定了具体训练计划，建立了各种制度，确定军事训练与政治训练并重的原则，努力使独立营士兵经过培训成为革命的基层骨干，强调“军国以党化，党以军成”，要求革命军人服从革命政党，贯彻革命党的主张和政策，不闹个人意气，不要军阀作风，不坑害老百姓。不久，独立营与前山的缉私营合并，扩大为新编团，叶剑英兼任团长。新编团开始了更加的严格的军事训练，为后来的两次东征胜利作了充分的准备。
1924年底，孙中山为了统一中国，应冯玉祥电请北上，共商国策。败退在东江的陈炯明一看反扑时机到来，便在汕头召开军事会议，自封“救粤军总司令”率部大举进犯广州，阴谋推翻广东革命政权。
广东留守政府在中国共产党的推动和支持下，为了巩固广东革命根据地，决定出师东征，讨伐陈炯明。叶剑英曾经跟随孙中山对陈炯明叛军进行过几次征讨，他十分痛恨这个背叛孙中山，破坏革命统一的新军阀，热烈响应广州留守政府和共产党的号召，全力投入了东征作战。
战争开始时，东征联军分左、中、右三路进军。右翼军主要由黄埔军校的两个教导团和粤军的第二、四师等部队组成。叶剑英所在的第二师下辖两个旅，共约8000人。经过一年整训，军事政治素质虽不及黄埔生，却是粤军中的佼佼者。
作为东征先头部队的第二师，在张民达、叶剑英率领下，于1月底从广州出发。按照叶剑英在加伦和罗加乔夫、斯捷潘诺夫等苏联军事顾问的帮助下，制定的作战计划，决定沿广九路向平山、淡水进发。在东征途中，叶剑英经过周密的侦查，针对叛军虽然兵力众多，占地较广，但虚张声势，主力不过3万多人，且是各霸一方、一盘散沙的弱点，向部队提出了猛进、猛攻、猛追、猛扑的“四猛”战术。全师官兵斗志高昂，旗开得胜，只几天的功夫便扫清了石滩、石龙一线敌人，乘胜前进，抵淡水城郊。
如何攻打淡水？参谋长叶剑英了解城内敌军力量之后，又亲自探察地形。
叶剑英看了地形之后，和张师长连夜商量了作战方案。第二天，来到龙岗军校教导团驻地，向蒋介石、周恩来、加伦等汇报了敌情和作战方案，确定教导团由平湖、龙岗突击淡水南面，粤军自西北面、东北面进击，展开三面包围攻势。2月13日，二师一马当先，协同友军向淡水发起攻击。张民达、叶剑英身先士卒，勇猛攻城，终于在15日晨进占淡水。但是敌人并不甘心失败，叛军洪兆麟部队从惠州、博罗方向开来向淡水猛烈反扑。当时张民达、叶剑英率领警卫连仍守在城内，他们一面令士兵们抗击敌人，一面冒着枪林弹雨，与友军联络。午后4时，敌人被打退以后，战场稍微沉寂，叶剑英亲自跑到北门，向友军通报敌情；“左翼敌人来势凶猛，已被击溃，我师拟以一部移增右翼，请你们火速去接防。”
何应钦以没有接到命令为由，开始不肯接应，后听说敌军确被打败，这才与叶剑英分析敌情，商订歼敌计划，共同迎击敌人。叛军被击退后，淡水转危为安。
不料16日晨，敌又聚集兵力攻打淡水东门，张民达和叶剑英又率领部队，配合友军打退敌进攻，迫使敌向平山一带退却，革命军乘胜追击。淡水一仗，东征军信心倍增，军威大振，为第一次东征胜利奠定了基础。
东征军攻克淡水后，2月21日，许崇智在淡水城东的百芒花召开军事会议，确定由张民达、叶剑英率领粤军二师、四师，配合蒋介石学生军向潮汕进军。3月初，击溃残敌，进占汕头。随后，张、叶率部进击饶平，直抵梅县。这时叛军林虎残部正向江西退却，张、叶命部队继续追击，歼敌军一个独立团。困守惠州城的杨坤如部，见大势已去，遂自动献城，惠州不战而下。
在春暖花开的季节，粤军二师进入兴梅盆地，3月中旬攻占了梅县。奉广州留守政府的命令，张民达担任梅州绥靖督办，叶剑英担任梅县县长。叶剑英当时要用很大精力协助张民达清剿和防范逃窜赣边境的叛军。尽管军务在身，他还是一心想当好这个县长，为老百姓做事，利用一切机会，深入底层，体察民情，革除旧习。
正当叶剑英在梅县励业图治的时候，香洲发生了反革命兵变。
当初，叶剑英随军出发东征，他负责组建的新编团，仍然留在香洲继续训练。一小撮反动分子经过长期酝酿，秘密策划，于4月25日在香洲发动了反革命兵变，将陈雨荣、李公剑等27位革命的军官士兵当场杀害。兵变后，凶手潜逃到澳门。叶剑英闻讯后，火速赶回香洲连日收殓烈士，并将以莫应为首的叛乱者10余人由澳门引渡香洲，就地正法。然后，火速返回二师，率领部队参加平定军阀杨希闵、刘震寰的叛乱。
第一次东征后，广东国民政府各系军队相继统一改编为国民革命军。不久，窜逃在闽赣边区的陈炯明叛军，乘东征军回师广州、平定杨、刘叛乱之后，再次窜回韩江，盘踞惠州。国民政府于10月初命令国民革命军进行第二次东征，叶剑英率新编团参加这次东征，再立战功。
两次东征胜利，使叶剑英领悟到一个道理：非革命不足以图存；非建造有主义、有组织、有力量之党，不足以言革命。不过，他所说的党已经不是日益分化腐败的国民党，而是中国共产党了。
北伐战争中，出色参谋，备受蒋介石重用。蒋介石发动四一二反革命政变，通电反蒋。抛弃功名利禄，坚定共产主义信念。
1926年7月，广东国民政府开始北伐。北伐时期，叶剑英是中路第一军总预备队指挥部的参谋长。
叶剑英随军由湖南来到江西。第一军代军长王柏龄力争夺攻占南昌的头功，直到前线，急于攻城。叶剑英认为据守的孙传芳部人数比中路军多，地形条件也于我不利，所以他力主不打，王柏龄拒不采纳他的意见，孤军突进，结果遭到包围，部队损失惨重。
北伐时期的叶剑英。蒋介石派遣第一师援助李宗仁的第七军攻打江西牙宁县昆仑山下的王家铺。叶剑英随师到达，观察战场，看到双方都打得精疲力竭，便向代师长王俊建议将主力迂回到敌人侧后去，在运动中歼灭之，可获大胜。王俊不听，结果将部队全部拉到正面山上去，刚打几枪，敌人就跑了，打了个消耗战，参战的官兵都埋怨王俊的指挥无能，越发钦佩叶剑英的军事才能。
1926年11月8日，北伐军攻下南昌。蒋介石听说二王不听叶剑英的劝告，招致战斗的失利，又特意单独召见叶剑英，想让他当一师师长。
叶剑英感到很突然，不知蒋介石的葫芦里卖的什么药。他想，这个人反共倾向越来越明显，怕靠不住，又想到一师是蒋介石的嫡系部队，很难管束，于是就借口身体不大好而推却了。