有人主张先拣小的打，林彪等主张先打蒋光鼐、蔡廷锴的第十九路军，先拣强的打，“打得一拳开，迎得百事来”。毛泽东笑了笑说，这一拳打不开呢！不是百事不来了吗？他接着说，我主张打中的，中等敌人一打，那些虾兵蟹将就会逃之夭夭。毛泽东提出先在赣江西边打兵虽多但战斗力弱的第五路军，打垮他们之后可向东发展，在建宁、黎川、泰宁扩大根据地。叶剑英在会上边听边记，认真思考。他听到毛泽东精辟的发言，茅塞顿开，衷心拥护。
第二次反“围剿”战役在毛泽东正确思想的指导下，在朱德、毛泽东的直接指挥下，红军以3万兵力，在15天内，由西向东横扫700里，连打5个胜仗，歼灭国民党军3万余人。叶剑英参与了这次战役的指挥。他在总司令部里，认真学习毛泽东、朱德指挥红军作战的艺术，同时注意调查研究，掌握敌情、我情，逐步取得了运筹指挥的发言权。第二次反“围剿”战役胜利之后，中央苏区军民在毛泽东指挥下，又从7月至9月取得了第三次反“围剿”战役的胜利。在这次战役中，叶剑英积极参与制定作战计划，出席军事会议，深入前线，指挥莲塘、良村、黄坡、老营盘、高兴坪等战斗，歼敌17个团、3万余人。
苏区中央局会议关于战略问题的讨论和两次反“围剿”战役的伟大胜利，使叶剑英受到了极大的教育。他自己后来常说，那几个月，使他的思想认识产生了关键性的“飞跃”。通过会议的争论和战争实践，他深深感到毛泽东是杰出的政治家、战略家。毛泽东料敌如神，知己知彼，素孚众望，深得人心。他下决心拜毛泽东为师。他特地找到毛泽东，主动地向他汇报了自己思想变化的过程和体会。毛泽东对叶剑英这种谦虚的态度，表示赞赏和欢迎。
四红军参谋事业的奠基者
1931年，日本帝国主义在东北制造了震惊中外的“九一八”事变。中国人民的抗日救亡运动掀起了新的高潮。
9月下旬，中国共产党在上海成立了以博古（秦邦宪）为首的临时中央政治局。11月7日至20日，中华苏维埃第一次全国代表大会在江西瑞金举行。大会选出毛泽东、周恩来、朱德等63人组成中央执行委员会，宣告中华苏维埃共和国成立。11月25日，成立了中华苏维埃共和国中央革命军事委员会（简称中革军委），朱德任主席，王稼祥、彭德怀任副主席，叶剑英任中革军委委员兼总参谋部部长（一般称总参谋长）。11月27日，在中央执行委员会下组织人民委员会，毛泽东被选为人民委员会主席，项英、张国焘为副主席。宣告中华苏维埃共和国临时中央政府正式组成，即日开始工作。
代表大会期间举行了阅兵式，叶剑英担任阅兵司令。
叶剑英担任总参谋长以后，一方面继续协助朱德等人指挥作战，同时，以大量精力，抓紧进行司令部机关的建设。当时，红军正处于初创后的发展阶段，各级司令部机关尚未建立起适应战争需要的参谋工作制度，机关的组织分工也很不完善，机关和部队的联系也不够畅通。随着战争规模的扩大，司令部机关在组织指挥上误时误事的现象日趋增多。为了适应战争的要求，叶剑英向中革军委提出了“建设精干的统帅机关”的建议。在朱德等的支持下，叶剑英与有关同志一起，研究确定了中国工农红军司令部机关的编制体制。按照这种编制体制，将原来分工不明确，体制不合理的一些机关部门予以精简合并，建立起作战、情报、通信、管理等部门，并对各机关的职责予以明确规定，进行了严格的分工。有一段时期，红军仿照国民党军队编制，也在司令部内设立了副官处。在精简机构时，叶剑英提议将副官处取消，其有关业务工作合并到管理部门。红军过去行军主要靠向导，小重视利用地图，有些参谋人员见到缴获来的敌人的地图后，看不懂，随便就丢了。后来在叶剑英的明令要求下，作战部门专门成立了地图科，注意搜集敌人的地图，学习利用地图，指导行军作战。此外，叶剑英还重视运用刚建立不久的无线电台，组织电台人员有计划地侦听和破译敌人的无线电信号，从而获取了大量敌人的情报。在通信建设方面，叶剑英十分重视统一全军的号音。那时，红军部队行军、作战和平时作息，大都是通过司号员吹号来统一调度。由于全军的号谱不统一，一些部队在行动中常常发生混乱现象。为此，叶剑英在1931年11月下旬，专门主持召开了红军司号员会议。11月29日，又以中革军委的名义亲自起草和发布了关于统一全军号谱号音的“通令”。“通令”要求各军团、各军以下的指挥员，督促所属司号人员在短期内熟悉和掌握新的号谱，以便使全军尽快在统一的号音下行动。
在逐步建立健全司令部各部门机构的同时，叶剑英非常注意在实践中培养和提高参谋人员的军事素质和工作能力。叶剑英几次召集师以上参谋长会议，结合中国工农红军实际，讲述苏联红军作战经验和孙子兵法等，研究反“围剿”的战略战术。当时许多参谋人员缺乏文化科学知识，业务水平较低。他从实际出发，亲自给参谋人员讲课，讲解作战、情报、通信、机要、队列等方面的业务知识。他讲课时声音洪亮，简明扼要，善于用举例、比喻来说明深奥难懂的道理。他不仅在课堂上讲解，而且时常在现场作示范，手把手地教，百教不厌。红军总部的参谋人员都爱听他讲课，他们说：“我们的‘参座’不但是好领导，而且还是个好教员。”
当时，红军机关和部队中还存在着不少的游击习气。叶剑英向军委建议，加强对机关和部队的正规化教育，以逐步克服游击习气。他组织参谋人员研究苏联红军的参谋工作条例、步兵战斗条令和后勤工作条例。然后，参考这些条令、条例，结合中国革命战争和工农红军的特点，编写了自己的条令、条例，作为机关工作和部队战斗训练的基本依据。这些条令、条例的贯彻实施，对于克服游击习气，加强司令部和部队建设，使之逐步走向制度化、正规化，起了明显的作用。叶剑英还下令各师办一个教导队，每期100人左右，训练基层骨干。
这期间，叶剑英还参与了宁都起义的组织领导工作。起义部队是由原西北军一部改编的国民党第二十六路军。该军1931年春由山东调到江西，参加对中央苏区的“围剿”。在红军反“围剿”不断取得胜利和全国抗日反蒋浪潮的推动下，通过二十六路军内中共特别支部的积极活动，这支部队起义的条件逐渐成熟。起义前，在中共苏区中央局和中革军委的领导下，朱德、王稼祥、叶剑英等听取了有关情况汇报，并召开会议，分析了二十六路军起义的主客观条件，研究了起义的具体方案。叶剑英在约见二十六路军中的中共特别支部代表时，秘密交给他一张起义部署图，图上标明了起义后各军的行动路线与驻防部署。12月14日黄昏，赵博生（共产党员）和季振同、董振堂等率领二十六路军1．7万多人在江西宁都举行了起义。起义后，部队改编为中国工农红军第五军团，季振同任总指挥，萧劲光任政委，董振堂任副总指挥，赵博生任参谋长。叶剑英十分关心这支起义部队的建设。在整训过程中，他多次亲临视察，给部队讲话，说明什么是红军，为什么要参加红军；讲红军的官兵关系就是革命同志平等的关系；讲共产党的土地政策；讲红军同地方农民的关系，特别是红军同地方军的关系，等等。他强调说，红军不抓壮丁，不拉佚，你们之中，愿意参加红军的，我们欢迎，愿意回去的，我们不阻拦，还发给路费。他还特意委派王震等去起义部队，帮助解决起义部队的遗留问题，做好军官安置等善后工作。
1932年5月，蒋介石自任鄂豫皖三省“剿匪”总司令，调集大批军队向鄂豫皖苏区发动第四次“围剿”。与此同时，他下令组成以何应钦为首的赣粤闽边区“剿匪”总司令部，指挥江西、广东、福建、湖南的国民党军牵制中央根据地红军的主力，并为大举进攻中央根据地作准备。叶剑英积极协助周恩来、毛泽东、朱德组织指挥苏区军民，昼夜反击敌人第四次“围剿”。6月3日，同毛泽东联名签署电报致朱德、王稼祥，要求东路军各军在“三天内整理完毕，准备9号出动”；“8号下午2时在官庄总司令部开军事会议，军长、军政委、军团总指挥、军团总政委、军团参谋长均到会。”叶剑英于6日上午赴上杭县官庄。7月初，红军发起南雄、水口战役，打击了向江西“进剿”的国民党军粤军部队的气焰，基本稳定了中央根据地的南翼。叶剑英亲自到前线视察，了解敌情，并作战役部署。8月上旬，苏区中央局在兴国举行会议，确定红军向北行动。叶剑英根据会议的决定，领导参谋人员制定了详细的作战计划。按照这个计划，第一步先攻打乐安，得手后，再攻取宜黄。中革军委据此向部队下达了发起乐安、宜黄战役的军事训令。在周恩来、毛泽东、朱德的直接指挥下，红一方面军于8月17日攻克乐安，20日攻取宜黄。此役共歼敌约3个旅，俘敌5000余人，取得了重大胜利。
周恩来于8月28日在给中央局的信中说：“本来过去军事行动向无方案的，所谓专于机动而不果决，这次我们力矫此弊，本着这个方案去做，实现和完成了第一步作战计划，获得伟大成功。”在这里，周恩来赞扬了叶剑英领导的参谋部工作。
攻下乐安、宜黄后，红一方面军按原定计划向东袭取南城，但在南城近郊受阻，与敌形成对峙局面。在这种情况下，叶剑英认真分析了战场的敌我情况，向中革军委领导人提出分一部兵力牵制南城之敌，而以主力直取距南城较远的崇仁县县城的建议。他具体分析说，崇仁守敌仅一个骑兵师的兵力，我军可以长途奔袭，出其不意地先攻下崇仁。届时，敌军必定来援，我军则可以逸待劳，聚歼敌增援部队。然而，叶剑英的这个积极的建议未被采用，以至坐失战机。但后来得到周恩来的肯定。周恩来在给中央局的信中说：“这一计划（剑英提出的），原是根据敌情变动而提出的，我们因为坚守原定计划，企图先消灭朱绍良一路，故未采用，这确实是不善于机动的错误。”
在异常残酷紧张的反“围剿”作战期间，叶剑英始终精力充沛，工作极富成效，受到毛泽东、周恩来、朱德的高度赞扬。红军的高级干部们都尊敬地称他为“叶参座”。