1939年1月，刘伯承和徐向前、邓小平、陈赓一起商讨反“扫荡”的策略，肯定了陈赓平原打伏击战的想法。2月8日、9日，第六八八团连续袭击威县县城。10日，威县日军一部分乘8辆汽车出城迎战，又遭到第三八六旅骑兵团的突袭，大队长被击毙。日军中队长接替指挥，率部猛追，结果被诱入香城固伏击圈。敌人见地形很不利，附近没有房屋和沟坎可隐蔽，便掉转车头突围。担任封锁任务的新一团事先无法在公路上构筑工事，这时冒着枪林弹雨冲上公路，一面射击一面迫近作业，迅速构筑阻击阵地。敌军尽管想尽一切办法，弃车突围，甚至施放毒气，但最后还是被全歼。
此次战斗，沉重地打击了日军全面“扫荡”计划，迫使其放弃与八路军主力决战的企图。这一时期，刘伯承和徐向前、邓小平，领导冀南军民艰苦斗争，进行较大战斗百余次，毙伤日伪3000人，粉碎了日军控制冀南平原的计划。
进入相持阶段后，刘伯承率领根据地军民，一方面打退国民党顽固派的进攻，另一方面打退日军的疯狂“扫荡”，挥军参加百团大战。1945年8月，太行、太岳、冀南、冀鲁四区合并，成立晋冀鲁豫解放区。
日军对冀南平原进行大“扫荡”，占领了主要据点和交通干线后，就把进攻的重点移向太行山区。这一时期，华北日军实施“治安肃正”，对我进行所谓总合军事、政治、经济、思想、文化的“总力战”，而其在政治上着重于挑拨抗日力量的团结。其目的在于彻底消灭我军，由“治安肃正”进入华北殖民地秩序的建设，以便进攻西安、重庆、昆明。刘伯承等领导华北军民，对敌进行了全面斗争。在军事上，以游击战为主，辅以运动战进行频繁的反“扫荡”，并破击交通线上之敌。刘伯承、邓小平率第一二九师，在“粉碎敌人囚笼政策”的口号下，粉碎敌人大“扫荡”就有10次之多，而破击战则更为激烈。冀南的交通斗争，在1940年全年进行着。在山西，则收复了邯(郸)长(治)公路，破击了白晋铁路。粉碎了日军抢占交通要道，大举进攻西安、重庆、昆明的阴谋。
这一时期，刘伯承、邓小平还指挥所部，开展了反对国民党顽固派搞“磨擦”的斗争。
1939年8月，刘伯承、邓小平命令第三八五旅等，对专搞“磨擦”的张荫梧进攻抗日根据地进行坚决反击，歼其大部，张荫梧只身逃脱。1940年2月，刘伯承、邓小平根据八路军总部部署，指挥所部发起冀南反顽战役，歼灭反共“专家”石友三一部，又在3月至4月的卫东战役中歼石友三等部6000余人，把顽军赶到根据地边沿地区，巩固了冀南、冀鲁豫抗日阵地。
不久，刘伯承指挥磁武涉林战役，又击退国民党第九十七军朱怀冰部的攻击。此后，根据国民党第一战区司令长官卫立煌要求，八路军总部经与国民党军队谈判后，划定了两军边界，我追击部队后撤，并释放全部战俘。这次战役连同东线的卫东战役互相配合，粉碎了国民党顽固派企图联结太行、冀南、鲁西反动势力，隔断八路军南北联系的阴谋，改变了一二九师两面受敌的严重局面。
1940年8月，根据八路军总部统一部署，刘伯承、邓小平率第一二九师等和晋察冀军区一起，发动了以破袭日军交通干线和据点为目标的“百团大战”。
8月20日晚20时，正太路破击战役打响，同蒲、白晋、平汉、津浦、北宁等线铁路和公路干线燃起了战火，各路破袭部队扑向铁路沿线的车站和据点，日军在华北的交通线刹时间陷入瘫痪。八路军先后有100多个团参战，第一二九师参战部队有46个团。经过10个昼夜的大规模破毁，正太路许多地段夷为平地。鉴于日军开始准备反击，刘伯承、邓小平下令部队停止破击，转入反“扫荡”的准备。至此，百团大战第一阶段正太路破击战役胜利结束。9月20日，刘伯承给全师营以上干部作了第一阶段战役总结报告，着重从交通斗争的角度分析了此战役作用。指出敌我在相持阶段中，交通斗争是争取战略优势的主要手段。第一阶段破击战役胜利，坚定了全国军民的抗战决心，振奋了敌占区民众，团结了友军，打击了敌人的南进计划。
9月23日至31日，根据八路军总部统一部署，刘伯承、邓小平率部进行百团大战第二阶段的榆辽战役，拔除榆社至辽县公路沿线的日伪军据点，相机收复榆社、辽县两城。10月上旬，日军开始进行大规模的报复“扫荡”，百团大战进入第三阶段的反“扫荡”作战。对来势汹汹，急欲报复的日军，刘伯承率部在内线抗击，并乘虚袭击敌运输队，迫使日军“扫荡”部队节节撤退。29日，根据八路军总部指示，刘伯承指挥师主力将日军岗崎大队包围在关家垴高地。激战数日，在给敌以大量杀伤后为保存实力，主动撤围。日军合击扑空，又屡遭打击，被迫于12月上旬撤退，至此，整个百团大战胜利结束。
百团大战以后，日军重新集结重兵进攻华北敌后根据地。驻守在中条山、豫北、冀鲁边等地国民党军队，与皖南事变相呼应，加紧向八路军挑衅磨擦，晋冀豫根据地进入了严重困难时期。这时，刘伯承关于“敌进我进”的方针已经考虑成熟。在1940年北方局黎城高级干部会议上，他就明确提出：“现在对‘囚笼’的粉碎，一退再退，退到何处？现在就是敌进我进，打磨盘应摸敌人的屁股。”12月，他主持编写《一二九师百团大战总结》，又专门列出了“敌进我进”一项，并具体说明：“如在根据地内无消灭敌人机会时，小部分部队应积极打击敌人，主力应迂回或转移至敌后积极活动，夺取敌据点，截断敌运输线，并趁敌归巢时打击其一路或二路。”此时的刘伯承已摸熟了日军的“敌退我进”作战原则。因此，八路军不应仅采取过去“敌进我退”方针，而应积极采取“敌进我进”方针，组织小部队挺进敌后，发动群众，开展游击战争，彻底扭转主要依托根据地反“扫荡”、反蚕食的被动局面。虽然，敌进我进的思想刘伯承早在1934年就提出，但那是作为游击战的战术问题提出来的。而此时，这个方针除继续有战术作用外，已经上升到一定战略的地位。这是刘伯承军事思想的一项重要内容。
刘伯承(前排左一)在中共七大上。1941年10月，日军推行了第三次“治安强化”运动，对晋冀豫根据地实行经济封锁，与此相配合，日军自9月开始，对太岳、太行根据地进行大“扫荡”。刘伯承充分估计到这次“扫荡”的严重性，于10月初签发布告，号召根据地党政军民，立即投入反对日军秋季大“扫荡”的斗争，做好空舍清野、开展地雷战、麻雀战，铲除汉奸特务，巩固根据地内部。11月，反“扫荡”胜利结束。1942年2月，日军又对太行、太岳区进行春季“扫荡”。随后，又于5月发起“第二期驻晋日军总进攻”。日军进攻之前，刘伯承就密切注视其动向。他根据各方面敌情指出，敌人判断我们主力是缩入腹地中心作战，他重演敌进我退、诱敌深入的老办法，所以从各方面齐向我腹地中心来一个铁桶大合击。我们的基干军队应该不与合击的敌人作被迫的战斗，而应转移到合击圈外背击敌人，摧击补给线，袭击敌占区据点。此后，刘伯承及李达率师指挥所与直属队前梯队，与合击日军巧妙周旋，并指挥主力在日军“扫荡”开始后迅速转到外线，袭击日军侧后，掩护师指挥所和直属队转移。
1943年，经过精兵简政，生产自救，抗日根据地进入了恢复与再发展时期，刘伯承、邓小平抓住时机，全面深入地贯彻敌进我进方针，组织和派遣大批武工队和小部队挺进敌后，广泛发动群众，开展游击战争，彻底扭转了主要依托根据地反“扫荡”，反蚕食的被动局面。从整个晋冀豫根据地看，恢复和扩展的面积及增加的人口，约占全年恢复扩展和增加总数的3/5，敌进我进的方针取得了具有战略意义的胜利。
1943年9月，晋冀鲁豫区的敌情有所缓和，彭德怀和刘伯承根据中共中央通知，离开华北，前往延安参加整风。在这段时间内，刘伯承一方面注重学习，另一方面注意总结军事和政治上的经验教训。在中共第七次全国代表大会上，刘伯承当选为中央委员。8月，中共中央成立晋冀鲁豫军区，刘伯承任司令员，邓小平任政治委员，下辖太行、太岳、冀南、冀鲁4个军区。这样，以太行山根据地为中心的晋冀鲁豫解放区终于形成，作为该战略区的主要领导人之一，刘伯承无疑作出了重大贡献。