抗战爆发后，任八路军参谋长兼驻南京代表，与国民党谈判。举办南岳游击干部训练班，培养抗战军事人才。任中共中央南方局常委，开展统战工作和军事宣传，同顽固派斗争。任中央军委参谋长、兼十八集团军参谋长，击退敌人多次进攻。
1937年7月7日，爆发了卢沟桥事变。第二天，中共中央向全国发出通电，呼吁全中国人民、政府和军队团结起来。筑成民族统一战线的坚固长城，抵抗日本的侵略。
7月12日，叶剑英在西安，根据毛泽东的指示，代表中国共产党和国民党会谈。经过多次谈判和斗争，蒋介石于7月17日在庐山发表谈话，宣称如日本继续进攻，就只有奋起抗战。8月初蒋介石准备在南京召开国防会议，邀请毛泽东、朱德参加。根据叶剑英的建议，中共中央经过研究，决定派周恩来、朱德、叶剑英在会上作了关于抗日“政略与战略”问题的长篇发言，分析了全国抗战形势以及日军侵略的态势，就“战局重点”、“宣传抗战”、“武装民众”、“粮食问题”、“战区工作”等一系列问题提出了精辟的见解。
1937年8月13日，日军大举进攻上海。这时，蒋介石不得不宣布实行全国范围的抗战。国共双方经过多次谈判，终于达成协议，实现了第二次合作。8月20日，中共中央、中央军委将中国工农红军主力改编为国民革命军第八路军。22日，中共中央在陕北洛川召开会议，组成以毛泽东为书记，朱德、周恩来为副书记的11人的中央军委，朱德任总指挥，彭德怀任副总指挥，叶剑英任参谋长。八路军总部正式委派参谋长叶剑英为八路军驻南京的代表，以公开合法的身份进行活动。他坚决贯彻中共中央抗日统一战线的方针政策，既坚持原则性，又掌握灵活性，进行了卓有成效的工作。他利用和国民党蒋介石谈判的机会，同周恩来等一起想方设法，多次交涉，将数百名被关押在南京等地的共产党人和难友营救出狱，使他们又重新走上了各个岗位，为党为人民做出新的贡献。
1937年8月，叶剑英(右五)参加南京国防会议期间，与(右起)朱德、周恩来、黄琪翔、郭秀仪(黄琪翔夫人)、张群合影。在酝酿成立新四军的过程中，叶剑英找叶挺进行了磋商。9月下旬，叶剑英和秦邦宪等一起与国民党代表谈判，商定将南方八省区红军游击队编为一个军，以叶挺为军长，项英为副军长。10月21日，叶剑英和叶挺一起面见蒋介石，就南方各红军游击队抗日问题进行商谈。不久项英、叶挺在武汉经过充分准备，建立了新四军军部。
11月，上海沦陷。日本侵略军大举进攻南京，在这种形势下，叶剑英率领八路军办事处的同志于11月下旬转移到武汉。武汉的局势很不稳定，人心惶惶。叶剑英日夜奔走，广交朋友，主动找国民党的党政军各界人士，商谈救国救民的大事，安定人心。他到许多机关、学校、团体作演讲，在报刊上连续发表文章，宣传贯彻中共中央全面抗战的主张和毛泽东论持久战的思想。他先后同国际友人伊文思、马海德、柯棣华、史沫特莱多次交谈，宣传抗战，争取国际支援。他还及时向国民党转报八路军的战况，宣传八路军、新四军对日作战的战绩。同时他还广泛宣传国民党民在正面战场取得的胜利。为了支援八路军、新四军，叶剑英就中央扩扩充军队的编制员额，请领军需、装备、物资等问题，同国民党当局多次进行谈判，求得解决，并为八路军向山东、河北发展争取合法地位。他向前线战士写慰问信，派出干部到前线加强指导工作。同时，他对国民党顽固派妥协投降和托派分子破坏抗战的行为，进行了有力的驳斥。
1938年9月，日本全面进攻武汉。叶剑英随周恩来于10月下旬组织八路军办事处的工作人员陆续转移至长沙。在蒋介石实行所谓“焦土抗战”、火烧长沙之后，叶剑英等根据中共中央的指示，转移到衡阳。1939年2月，他参与国民党创办南岳游击干部训练班。
举办游击干部训练班，是抗日民族统一战线形成后，中国共产党参加国民党军官训练的一个创举。周恩来和叶剑英研究制定了训练班教育大计划纲，提交蒋介石。蒋介石确定在南岳举办训练班，并邀请中共派干部担任教官。中共中央经过反复酝酿，决定由叶剑英负责。叶剑英先担任训练班副主任(主任为汤恩伯)，后来蒋介石自己兼任训练班主任，汤恩伯任教育长，叶剑英改任副教育长。叶剑英不但参与制定教育计划，组织中共方面派去的教官做好教学工作，还亲自主讲战略、战术、论持久战以及如何做政治工作、群众工作等课程。
叶剑英在南岳游击干部训练班任教，扩大了中共和中共所领导的八路军、新四军在国民党和民众中的影响，赢得了他们的理解和支持。
1939年6月上旬，叶剑英回到重庆，任中共南方局常委，在周恩来领导下，继续进行统战工作，并同国民党顽固派的妥协投降倾向和反共磨擦政策，进行了针锋相对的斗争。
1940年春，国民党顽固派发动的第一次反共高潮被粉碎以后，蒋介石在重庆召开全国参谋长会议，要在全国围攻八路军，制造舆论，进行军事动员，准备发动更大规模的第二次反共高潮。此时，叶剑英胳膊被摔伤，但他带病前去参加了会议。会上气氛很紧张。蒋介石对谁先发言，谁后发言，讲什么内容，都作了精心安排，矛头都对着八路军，诬蔑八路军“游而不击”。叶剑英面对围攻，处之泰然。第三天，他针锋相对地作了《关于作战与磨擦问题》的发言，介绍了中国共产党的战略指导思想和八路军、新四军按照统帅部的抗战命令艰苦奋战所取得的辉煌战绩。他针对国民党顽固派制造的对八路军、新四军的诬蔑，阐明了事实真相，一个一个地揭穿了他们的阴谋和谎言。由于他的发言事实确凿，合情合理，无可辩驳，蒋介石被弄得十分狼狈。叶剑英的发言，在国民党军队中也赢得了广大的同情。会后，叶剑英将会议情况和他的发言报告中共中央，受到毛泽东和其他中央领导人的赞扬。
叶剑英在中共中央南方局期间，曾担任统战工作委员会副主任，并负责军事组工作。每当重要节日和抗战纪念日，叶剑英便组织军事组人员写文章，作报告，接见有关方面负责人，宣传中国共产党的抗日主张。叶剑英除了同国民党代表进行多次谈判外，还经常会见各党派代表人物和社会各界知名人士，接见记者和爱国华侨，发表文章、演讲，宣传中共团结抗日的政策。每当战局或时局有重大变化时，叶剑英便亲自着文，还指示军事组的同志写文，阐述中共及八路军对时局的看法。
当时，军事统战工作有一项重要任务，就是在国民党军队中开展交朋友活动。叶剑英长期以来同国民党的许多人，包括军队中的高级将领有过广泛的交往，经常交谈抗战大计。他在统一战线委员会作了抗战三年来统一战线工作的专题报告，系统地总结了抗战以来统战工作的经验，丰富和发展了毛泽东的统战工作思想。
1940年10月至1941年1月，在蒋介石制造皖南事变前后，叶剑英协同周恩来，根据中共中央的指示，在重庆领导和团结国统区的抗日力量，采取各种方式同国民党顽固派进行斗争。在得到新四军被围的告急电后，叶剑英立即找国民党代表交涉，多次向蒋介石、何应钦、白崇禧等提出抗议，强烈要求制止围攻新四军。事变发生后，叶剑英连夜组织赶写了《新四军皖南部队惨被围歼真相》的传单，广为散发，及时揭露了国民党顽固派的血腥屠杀和欺骗宣传。1941年2月，叶剑英从重庆回到延安，就任中央军委参谋长兼十八集团军参谋长。他好学深思，足智多谋，对中国共产党领导的八路军和新四军等抗日武装的作战和建设，提出了许多重要谋略和意见，成为毛泽东、朱德在军事上的得力助手。
叶剑英一到参谋部，就从政治、思想、军事、作风等方面，加强机关和部门的建设，使之成为中共最高统帅部的灵通耳目和高效率的指挥机构。他从各地送来的战报中不断发现，敌后军民在战略战术上有许多新的发挥和创造，便组织参谋部的同志及时总结上报，并用军委名义转发到各敌后抗日根据地推广实行。他还组织力量收集国内外有关战争情报资料，编辑出版《作战周报》、《国际资料》等，并定期召开作战情况汇报会，向中央军委首长及各战区领导提供情况和经验，分析研究作战部署。
审时度势，精心运筹，是叶剑英多年来从事参谋部领导工作的一大特点。1941年6月，苏德战争爆发后，形势十分严重。叶剑英全面分析研究了当时的局势和日本的国情，认为日军南进的可能性大，因而我们作战指导思想的侧重点，要放在对付日军南下上。他将这一看法整理成书面意见上报给中共中央和中央军委，供决策参考。他的意见被党中央采纳，并被后来的战争进程所证实。
在考虑对日军作战的同时，叶剑英还针对国民党顽固派制造磨擦的阴谋活动，协助毛泽东、朱德等制定反磨擦斗争的方针、政策，取得了胜利。1943年夏，国民党顽固派发动第三次反共高潮，集结四、五十万部队，准备向中国共产党领导的陕甘宁边区根据地大举进攻。当时，八路军主力部队大都已深入敌后对日作战，陕甘宁边区兵力薄弱。在这种情况下，叶剑英经过深思熟虑，建议使用中共掌握的军事情报，公开揭露国民党军队的进攻阴谋，以为退兵之计。中共中央采纳了这一方案，除调部队准备给来犯之敌以迎头痛击外，决定大力开展宣传战。结果，挫败了国民党顽固派包围陕甘宁边区的计划，又一次打退了国民党的反共高潮。
1941年夏，叶剑英受中共中央的委托，先后向延安的中外记者参观团美军观察组介绍八路军、新四军等中共领导的抗日部队在敌后各抗日根据地的作战情况和战绩，有力地驳斥了国民党顽固派的诬蔑。
抗战胜利后，任中共代表，与国民党代表和美国政府代表进行三方谈判，争取有利形势。中共中央撤出延安，任后委书记，迎来北平和平解放。
抗日战争胜利后，蒋介石施展反革命两手，一手是大放和平空气，声言谋求国内和平，邀请毛泽东到重庆谈判；另一手是在和平烟幕的掩护下，加紧制造军事冲突，准备重新挑起内战。
叶剑英(左一)与美国代表饶伯森(中)、国民党代表郑介民(右)在北平军事调处执行部。面对国民党的反革命两手，中国共产党采取了“针锋相对”的革命两手：一方面同蒋介石进行政治谈判，争取实现国内和平；另一方面揭露国民党的内战阴谋，准备反击他们的军事进攻。
1945年12月，叶剑英参加中共出席政协会议的代表团，离开延安抵达重庆，在周恩来领导下，同国民党代表就停止军事冲突等问题进行会谈。1946年1月上旬，国共双方代表达成《关于停止国内军事冲突的协议》和《关于建立军事调处执行部的协议》。
按照协议，中共中央派叶剑英作为中国共产党的代表，与国民党政府代表郑介民和美国政府代表饶伯森进行三方谈判，调处国共之间的军事冲突。
1946年1月上旬，三方委员会和随员由重庆飞往北平，下榻于北京饭店。叶剑英着手建立军调部我方机构，选调干部，成立执行处、交通处、秘书处、新闻处等部门，并设立若干执行小组和交通小组。
一切工作准备就绪后，叶剑英领导我方人员同国民党、美国政府代表进行长时间尖锐复杂的谈判斗争。在谈判中叶剑英坚持有理有节有利的原则，揭露了国民党反动派破坏和平，挑起内战的阴谋，从各方面有力地配合了我党我军同国民党进行的政治和军事的斗争，争取了爱国民主人士的合作和进步舆论界的同情，扩大了反蒋统一战线。通过北平执行部三方的谈判以及派遣各地65个执行小组和交通小组的实地调查和谈判斗争，不仅在一些地区暂时停止了部队军事冲突，解除了敌伪武装，完成了战俘的交换和日俘的遣返，而且保证了广东东江纵队的北撤和中原军区700多伤病员的转移，解决了我方军队一些粮食物资的接济救援，从而为加强根据地建设，应付国民党发动全面内战赢得了准备时间。
随着战争形势的发展，军事调整处的斗争日益尖锐。叶剑英所处的环境越来越艰险，开展工作越来越困难，美方代表饶伯森和国民党代表郑介民于10月份先后撤离北平。在这种情况下，叶剑英奉中共中央之命，也组织我方人员分批撤往解放区。
于1947年2月21日，带领军调部我方最后一批人员，飞回延安，受到总参谋部的热情欢迎。随后，刘少奇代表中共中央设宴款待，对参加军调部我方全体工作人员给予高度赞扬。
1947年春，国民党军在全面进攻解放区的计划失败之后，便集中兵力重点进攻山东解放区和陕甘宁边区。中共中央决定主动撤出延安，在运动中歼灭敌人。同时决定把中央和军委两大机关一分为三：主持中央工作的毛泽东、周恩来等继续留在陕北指挥作战；另组成中央工作委员会，转移到河北省平山县西柏坡村，由刘少奇、朱德等负责进行中央委托的工作；组成中央后方委员会(简称后委)，进驻晋西北地区，由叶剑英任后委书记，负责统筹后方工作。
后委担负着繁重的中央后方保障和参谋工作。叶剑英充分利用驻地固定、电台集中的有利条件，开展通讯和情报工作，及时掌握国内外特别是国民党的动态，整理上报中央，通报各个战区，同时负责沟通中央与全国党政军各方面的通讯联络，成了中央和各地的“耳目”，为保证毛泽东直接指挥陕北作战和全国解放战争，起到了重要保护作用，后委被赞誉为中央的“最佳参谋部”。
随着辽沈、淮海、平津三大战役的胜利，大大加速了解放战争全国胜利的到来。叶剑英离开后委即由党中央委派创办华北军政大学，任校长兼政委，到了1948年底，又被委任北平军事管制委员会主任兼市长。1949年1月3日，北平正式宣告和平解放，叶剑英着手进行全市的接管工作。在完成接管任务之后，立即用主要精力整顿社会治安恢复和发展生产，沟通城乡贸易，使全市和郊区迅速建立起革命秩序，各项工作走上正常运转的轨道。