1941年，抗日战争进入极端困难的相持阶段，日军调集大批兵力，对晋察冀抗日根据地进行规模空前的大“扫荡”。狼牙山，是我军一分区的重要军事基地之一，是守卫晋察冀根据地的东大门，也是敌人进攻我根据地不可逾越的屏障。它既是一分区党政军领导机关和主力部队的常驻地区，又是我军抗击敌人的极好战场。
为了巩固我抗日根据地，粉碎敌人的“扫荡”和封锁、分割、蚕食，保存自己，消灭敌人，一分区部队在人民群众的大力支援下，从1940年春开始，对狼牙山地区进行人工改造，开辟了隐蔽通道，构筑了掩体工事，设置了各种障碍。新开辟的三条环形小道，把神仙桥、阎王鼻子、通天凳等险峻隘口，变成了我们有路可行、敌人望之却步的要卡。在电话通讯联络上，我们还创造了“飞线”，将电话线架设在敌人不易发现的、不易攀登的山峰顶上，把所有高山都互相连接起来，保证了部队指挥畅达，顺利自如地对付敌人，我军还在狼牙山上修筑了很多战备仓库。
日寇视狼牙山根据地为眼中钉，1941年秋，日军调集重兵，对其进行“铁壁合围”。
1941年9月23日拂晓，侵华日军华北方面军乙兵团，由定兴、方顺桥附近分三路纵队西进，对易县北娄山附近的晋察冀第一军分区司令员杨成武指挥的部队开始了围攻。24日清晨，两千五百多名日军在日本侵略军山地指挥官高见的率领下，兵分九路，在飞机、大炮的掩护下，张牙舞爪地向北娄山西部的狼牙山扑去，汉奸赵玉昆也耀武扬威地率领着伪军包围了狼牙山。此时狼牙山上除了邱蔚率领的一团外，还有易县、定兴、徐水和满城四个县的游击队和党政机关人员以及狼牙山周围村庄的群众两万多人。
当时一分区司令部驻扎水泉山南面的张家庄。杨成武司令员从多方面报来的情况分析、判断，25日敌人对狼牙山将发动更为猛烈的进攻，我军一团不能在狼牙山上继续与数倍于我军的日军决战，必须从狼牙山突围，并掩护地方党政机关和群众安全转移。为了避免损失，杨成武司令员命令在狼牙山西南的岭西、上下隘刹、东西武家庄子一带的三团和二十团向管头至甘河一带敌军佯攻，吸引敌军主力南下，给被困在狼牙山的军民闪出突破口，掩护机关和群众安全突围。
时至下午三点左右，三团、二十团按照部署在南边开始佯攻，东北之敌果然中计南下，狼牙山东北角碾子台、沙岭子一线空出了很大的缺口。邱蔚团长抓紧时间，留下七连牵制迷惑敌人，率主力掩护党政机关人员和两万多名群众迅速向北转移。
9月25日拂晓前，转移队伍跳出了狼牙山，转移到碾子台、莲花山以北地区。敌人却认为一团主力部队被他们围住了。拂晓，五百多日伪军在大炮和飞机的掩护下开始向狼牙山发动总攻。七连连长刘福山和指导员蔡展鹏带领全连战士，在民兵的配合下，分兵把口，灵活御敌，在敌人必经之路埋下地雷，从各个方向朝敌人射击，造成漫山遍野都是八路军的假象。在激烈的战斗中，连长负了重伤，他带领的二班和机枪班的同志大都牺牲了。情况危急，指导员找到六班班长马宝玉同志说：“你们在山上掩护，一定要坚持到中午，争取让地方干部、群众走得更远一些，让连队主力安全突出去。然后看情况，能往哪儿撤就往哪儿撤，明天到规定地点集合。”
马宝玉坚定地回答：“指导员放心，我们一定完成任务!”指导员给六班补充了一些弹药，并留下了所有的地雷，接着就带着连队向龙王庙子方向突围。
此刻，六班只剩下班长马宝玉，副班长葛振林，战士胡德林、胡福才、宋学义五位同志。为掩护地方干部、群众和部队安全转移，他们把围攻狼牙山的日军引向了东山口。东山口两面是山，崖高壁陡。山口内有一条小横岭。进东山口翻过小横岭，沿着一条曲折的小道能上棋盘坨。
马宝玉他们站在小横岭上向日军射击。日军上钩，扑向东山口，先头部队踩响了六班事先埋在东山口外的地雷，炸死、炸伤十余人。后面上来的敌人继续向东山口猛扑。马宝玉一边指挥，一边不时回头看山上转移的群众。一直等到山上已没有动静，部队和群众已全部转移，才下令“撤”！
为了给领导机关和人民群众转移争取更充裕的时间，并迷惑敌人，不让其摸清我军和群众转移的走向，马宝玉、葛振林、胡德林、胡福才、宋学义同志主动放弃了退向老君堂追赶部队的计划，边打边退，毅然撤向三面绝壁的棋盘坨顶峰。
每个人都明白他们的选择意味着什么，五个人交换着坚毅的目光，互相鼓励着。在棋盘坨下的牛角壶，他们见日军被远远地甩在后边，便坐下来检查武器。马宝玉边擦枪，边和葛振林商量介绍胡德林、胡福才、宋学义三位战士入党的事。马宝玉见葛振林点头表示同意，便从衣兜里掏出一个小本，往上写了几句，把三位战士叫到跟前说：“我和葛振林是党员（那时在部队党组织还不公开），以前对你们帮助教育不够，几次战斗证明，你们三个都具备了入党的条件，我和葛振林愿当你们的入党介绍人。”他把小本本装进口袋，接下去说：“如果这次战斗中我牺牲了，同志们和领导会在我身上发现你们三位同志入党的介绍信。”
敌人又一次进攻开始了，五百名日伪军穷凶极恶地向牛角壶扑来。副班长葛振林问马宝玉：“鬼子上来了，打不打？”马宝玉眼皮一眨巴忽然站起来说：“打！不打咱来干什么！”
当时要转移还来得及，但他们为了牵制住日军，让我军主力和群众转移得更远些，毅然下定了“打”的决心。
日军进攻前，先用迫击炮轰击。炮火的硝烟未退，便在机枪的掩护下发起更嚣张的攻击。牛角壶有许多大小岩石洞，口小底大。马宝玉他们每打退敌人一次攻击，就钻进石洞，以防日军炮击。他们在牛角壶连续打退敌人四次攻击，杀伤敌军六七十人。
时过中午，敌人发起第五次攻击。这次日军的炮击特别猛烈。炮火引燃了荆棘柴草，山地上一片烟火。葛振林的棉袄烧着了，他连扣子也顾不得解，使劲一扯，把新发的棉袄脱下扔掉。
他们边打边往高处撤，当太阳偏西的时候，已撤到了棋盘坨顶峰的万年灯。敌人攻势没有丝毫减弱，仍然一个劲往上冲。就在这时，他们发现子弹打完了，手榴弹也没有了。忽然，胡福才“哎”了一声，从地上捡起了一颗手榴弹，班长忙一把抢到手，用牙把盖一咬，弦拉出了半截却没扔。他瞅瞅手榴弹，又看看大家，把弦又按了进去。大家明白，这是留给自己用的。
枪炮声停住了，日军爬上那个几次都没有上去的坎子，呀呀乱叫。五勇士站起来，举起石头往下砸，石头滚下去，砸得敌人乱叫，敌人被击退，不一会儿又猛扑上来，为首的鬼子摇晃着膏药旗，哇啦哇啦地乱叫，后面的敌人叫着：“抓活的！抓活的！”马宝玉往前跑了几步一咬牙，把那颗手榴弹甩向爬上来的敌人。“轰”的一声，又有五六个日军被炸翻到山谷里去了。
马宝玉扔出那颗手榴弹，喊了一声“撤”，扭头跑向万年灯。说撤不过是他涌到嘴边的话。万年灯，三面悬崖，从前崖到后崖才五六十步，往哪里撤？
马宝玉一步步向崖边走去，其他同志也跟了过去。马宝玉伸手抓住葛振林的肩膀，一字一句地说：“老葛，我们牺牲了，有价值……无论如何，不能当俘虏！”马宝玉说完，看了看其他三位战士，咬了咬牙，突然盯住提在他手里的那杆新的三八大盖枪，说：“人牺牲了，枪也不能留给敌人！”“呼”的一声，把它扔进了悬崖下边的山谷中，他看了葛振林他们一眼，扭身跑向万年灯边沿那块大山崖，高喊着“打倒日本帝国主义！”“中国共产党万岁！”纵身跳下悬崖。
与此同时，葛振林把他那支枪使劲地往石头上摔，没摔烂，随手扔进山谷，飞身向崖边跑去……胡德林、胡福才、宋学义三位战士，手提着枪，也飞快地向崖边跑去，高呼着口号，跳进大山深谷。
“打倒日本帝国主义！”“中华民族万岁！”气壮山河的口号声回荡在狼牙山群峰峡谷中。
爬上崖头的日军，面对五勇士跳崖处，随着指挥官的口令整整齐齐地排成几列，恭恭敬敬地三鞠躬。这群“皇军武士”，终于发现与其五百之众激战一天的八路军，仅仅只有五人，他们震惊之余，完全被我中华勇士捐躯殉国的牺牲精神折服了！
五勇士跳下悬崖，马宝玉、胡德林、胡福才为国捐躯，壮烈牺牲。葛振林和宋学义被悬崖上的树枝挂住，脊背和腰部负伤，后被游击队救起。
反扫荡结束后，晋察冀军区一分区召开反扫荡祝捷大会。会上，军分区司令员杨成武代表军区党委和聂荣臻司令员宣读了嘉奖令，并号召全军将士向“五勇士”学习。
1942年，晋察冀边区政府为表彰狼牙山五勇士的功勋，把山后甘河北沟改名为“五勇村”。