朱总司令率领八路军总部渡过黄河后，即刻向山西侯马前进，准备从那里乘火车北上。一路上，处处可见从沦陷区逃出来的难民，和从前方败退下来的国民党军队。这时候，华北战场上有70—80万国民党军队，在日军疯狂进攻面前除一部分进行了抵抗外，大部分一触即溃。先于八路军总部开进山西的一一五师副师长聂荣臻后来回忆说：
国民党军队垮得一塌糊涂，真是兵败如山倒！一批又一批的溃兵，用步枪挑着子弹、手榴弹和抢来的包裹、母鸡等等东西，象潮水般地涌下来。他们看到我们要往前线去，感到非常奇怪，向我们的战士散布失败情绪，说日军如何如何厉害。
我们的战士与他们争辩，有的溃兵说：“你们别吹牛皮，上去试试吧！”战士们问：“你们为什么退下来？”他们说：“日本人有飞机坦克，炮弹比我们机关枪的子弹还多，不退下来怎么办！”战士们问：“你们究竟打死了多少敌人？”回答说：“我们还没见日本鬼子的面呢！”又问：“为什么不和敌人拚拚？”他们回答：“找不到长官，没人指挥，打不了哇！”和溃不成军的国民党军队形成鲜明对照，八路军将士军容整齐，纪律严明，日夜兼程奔赴抗日最前线。人民群众看到真正抗日的军队开来了，无不欢欣鼓舞。八路军所到之处，人们扶老携幼夹道欢呼。八路军总部乘火车向北开进，沿途各站都挤满了欢迎的人群。当他们得知那位向人群不停地招手、衣着和别的军人一样、脸色比别人黑一点、像长年辛劳的庄稼汉的长者，就是赫赫有名的朱德总司令时，人们不禁大发感慨：“八路军的总司令不像国民党军队的长官，老百姓是可以亲近的！”这样，八路军和人民群众之间建起了一座紧密联系的桥梁。人们迫切期待八路军早日参战并取得胜利。八路军将士肩负人民群众的重托，也迫切希望与日寇一战，打击其狂妄气焰，鼓舞人民斗志。
日本侵略军占领平津后，继续扩大在华北的侵略战争。9月初，敌人兵分3路，沿平绥、平汉、津浦铁路向南进犯，其中平绥路是敌人的主攻方向。这一路敌人又分成左右两翼：右翼在占领大同后，沿同蒲铁路进犯雁门关；左翼由蔚县、广灵、涞源进攻平型关，而后与右翼会合于雁门关。敌人的企图是，由晋北打开通路，会同沿石太铁路西进的敌人攻占太原，奇取山西，达到占领华北五省的目的。
日本此举使得山西“土皇帝”阎锡山感到他的腹心地区受到威胁，他的根本利益受到侵害。于是，阎锡山在会见刚刚到达山西不久的朱德时，要求八路军尽快上前线，配合他的军队抵御日军的攻势。
对于八路军的作战方法，朱德主张不采取国民党军队那种“节节防御的办法”。他认为，这样摆起来，要想处处防守，结果什么地方都没有防守得住。我们八路军专门打敌人的侧后方。根据这一想法。朱总司令和彭副总司令命令八路军兵分两路迎战日军。一路由贺龙、任弼时率领一二○师，驰援雁门关；另一路由林彪、聂荣臻率领的一一五师，沿同蒲路向平型关急进。
平型关是山西东北部古长城上的重要隘口。关前有一条山路，蜿蜒在群山沟壑之间，通向灵丘、涞源，地势险要。9月23日，阎锡山电告朱德：22日夜间日军忽然奇袭平型关阵地，发生激战，要求八路军配合作战。这时，一一五师日夜兼程已到达平型关东南的上寨镇。朱德、彭德怀立刻电令：“一一五师应即向平型关、灵丘间出动，机动侧击向平型关进攻之敌，但须控制一部于灵丘以南，保障自己之右侧。”同时，电告毛泽东：“灵丘之敌于昨晚迫平型关附近，正在激战中。我一一五师今晚以三个团集结于冉庄，准备配合平型关部队侧击该敌。”一一五师为了打好平型关这一仗，召集了全师干部战前动员会，介绍了敌人行进情况，我军的战斗部署，强调了打好这一仗的重要意义。
进犯平型关的日军属于敌第五师团，也叫板垣师团。这个师团的师团长板垣征四郎，是个有名的“中国通”。他早在1929年就在关东军任参谋，军衔是大佐。1931年“九一八”事变后，日本侵略军在东北组织伪满洲国，代表关东军同溥仪谈判的就是板垣。由于侵略中国有功，卢沟桥事变爆发时，板垣已升任中将师团长了。板垣师团武士道精神很强，在日军里面有些名气。这时候，板垣选择平型关作为进军路线，是因为他清楚这里是山西和河北的交界地带，是个比较薄弱的环节。他自带队进攻华北以来，遇到的都是不战自退的国民党军队，因此气焰很嚣张。他以为共产党的军队不可能很快地渡过黄河，他根本没有估计到在他眼皮底下会有一支严阵以待的八路军队伍。
9月24日，我军前沿部队报告，敌人可能在第二天大举进攻。傍晚，一一五师师长林彪、副师长聂荣臻在研究了各方面汇集的情况后，用电话果断地下达了出击的命令：三四三旅当晚24时出发进入白崖台一线埋伏阵地，三四四旅随后开进。那天夜里，天下起了倾盆大雨。指战员们既无雨衣，又缺御寒的服装，只能任凭阵阵秋雨浇透征衣，在崎岖的山沟里向前行进。经过大半夜行军，部队在拂晓前抢占了通向平型关的汽车路两侧高地。这里是日军开往平型关的必经之地，居高临下，地形很好。战士们忍受着饥饿和寒冷，在瑟瑟秋风中趴在冰凉的阵地上，等待着战斗打响。
9月25日清晨，板垣师团第二十一旅团的辎重和后卫部队进入了一一五师的伏击地。这股敌军共4000多人，走在前面是100余辆汽车，接着是200多辆大车，除了军用物资以外，车上坐满了戴着钢盔的日本兵，再后面是驮着九二式步兵炮的骡马和骑兵。敌人自南下以来，基本没有遇到什么抵抗，所以显示出骄横和得意洋洋的样子，警戒异常疏忽，如入无人之境。
7时整，冲锋号吹响。部队居高临下地向敌人猛烈射击，打乱了其指挥系统。山沟里，汽车撞汽车，人挤人，异常混乱。随即，战士们勇猛地冲向公路，与敌人展开白刃肉搏战。立时，山沟里刀光闪闪，杀声震天。日军士兵经过严格的军国主义训练，顽强地抵抗，但终究抵挡不住我军的猛烈进攻，一部分被歼灭，一部分向西逃窜了。
平型关战斗，我军歼灭敌板垣师团第二十一旅团1000多人，击毁汽车100余辆，大车200多辆，缴获九二式步兵炮1门，炮弹2000多发，机枪20余挺，步枪1000余支，战马50余匹，其它武器辎重甚多。
平型关战斗是八路军第一次同日军作战，是卢沟桥事变以来中国军队对日作战中取得的第一次大捷。捷报传出，举国欢腾。致敬电、慰问电像雪片一样从全国各地飞向八路军总部、中共中央驻地延安以及八路军驻各地的办事机构，连蒋介石也发来了祝捷电。
平型关战斗的胜利沉重地打击了敌人的嚣张气焰，粉碎了日军不可战胜的吹嘘，一扫抗战以来的失败主义空气，极大地鼓舞了中国军民的抗战信心。八路军在华北首战告捷，极大地提高了中国共产党及其领导的人民军队的威望，推动了全国抗日运动的发展。