罗荣桓率部开辟晋西南根据地、吕梁山根据地、鲁南根据地等，参与指挥梁山战役、留田突围等，打退了顽敌的进攻，其“翻边战术”更是有力地回击了敌人大“扫荡”，使根据地摆脱了被动局面。
1937年8月10日，罗荣桓任八路军第一一五师政治部主任。一一五师随即开赴晋东北抗日前线，罗荣桓率师政治部和骑兵营等少数部队到达阜平一带发动群众，组织抗日武装，建立了阜平、曲阳等县的抗日民主政权。11月，中共中央决定建立晋察冀军区，一一五师政委聂荣臻留在晋察冀，任司令员兼政委。罗荣桓率领政治部南下，于1938年底到达山西赵城、洪洞一带，与一一五师主力会合，着手开辟晋西南根据地。3月2日，林彪负伤后，由陈光任一一五师代师长，随后罗荣桓任政治委员。3月间，陈光、罗荣桓指挥三四三旅在午城、井沟伏击日军，歼敌千余人，毁敌汽车70余辆，稳定了晋西南的局势。9月间又在汾(阳)离(石)公路两侧三战三捷，歼敌1200余人，开辟了吕梁山抗日根据地。
1938年9月，罗荣桓回延安出席了中共扩大的六届六中全会。他在会上发言，用一一五师午城、井沟战斗和汾离公路战斗为例，说明了坚持游击战的战略方针的正确性。他还针对部队因一度取消政委制，削弱政治机关而造成的政治工作软弱的情况，强调了在国共合作进行抗日的新形势下，加强党的领导、加强政治工作的迫切性。
六中全会决定派部队去山东，罗荣桓继派萧华部和六八五团入鲁之后，12月间，又和陈光率一一五师六八六团以东进支队名义向山东进军。3月2日，进入鲁西，3日晚在樊坝歼灭伪军一个团，鼓舞了山东抗日军民的士气。陈、罗决定由杨勇率第三营留在鲁西，扩大部队，建立政权。随后，陈、罗率六八六团一、二营继续东进，到达肥城地区，与山东纵队第六支队会合。3月12日，罗荣桓在排以上干部会议上提出，东进支队的任务是创建泰(山)西抗日根据地，依山伴(东平)湖，向外发展。
3月下旬，罗荣桓奉中共中央之命，过津浦路，到达中共山东分局驻地沂水县王庄，向山东分局和八路军东纵队的负责干部传达了六中全会精神，着重阐述了统一战线中的独立自主问题。正在此时，传来了国民党顽军在淄川以东的太和镇残杀八路军过路干部，制造太和惨案的消息。这一惨案所以发生，从八路军方面看，有些干部对国民党顽固派只注意团结一面，警惕性不够是重要原因，罗荣桓引导大家结合这一惨案的教训讨论贯彻六中全会独立自主方针问题，使大家的认识得到了很大提高。4月间，八路军山东纵队向顽军反击，歼其一部，收复了太和镇。
4月间，罗荣桓回到泰西。此时，一一五师和山纵六支队互相配合，拔除了敌许多据点，已经控制了东平、汶上、宁阳各县大片地区。敌人将在离济南、泰安很近的八路军的活动视为肺腑之患，于5月间，调集5000余人，配以坦克、火炮，兵分九路，在11日将一一五师机关和部分部队共3000余人合围于肥城以南的陆房地区，陈光指挥部队打退敌人多次进攻，于当晚分散突围。此役八路军以伤亡300余人的代价，毙伤敌大佐联队长以下共1200余人，振奋了山东军民，蒋介石也给八路军总部发来表示慰勉的电报。
但在此役中，因损失了一些骡马辎重，一些干部对指挥员陈光有埋怨情绪。部队遭合围时，罗荣桓不在现场，他返回师部后，劝说大家全面看待此次战斗，把辎重损失看成一次轻装。同时和陈光促膝谈心，一同总结进行平原游击战不同于过去红军山地作战的特点和日军“扫荡”的规律，继续坚持在鲁西的平原游击战。
1939年8月1日，驻在梁山前集的罗荣桓和陈光收到一份情报，说有一股敌人已从汶上出动，有西渡运河向梁山开来的迹象。罗荣桓和陈光一面命令继续严密侦察，一面通知各部队，做好战斗准备。
这股日寇有一个大队，300多人，属于第三十三师团，大队长叫长田敏江，据说同天皇有亲，他将要护送炮兵野尻小队连同两门意大利的大炮到另一支部队去。长田敏江读过《水浒》，又想借护送之机看看水泊梁山。于是，便带上队伍，由汶上县警备队的伪军50多人开路，浩浩荡荡，直奔梁山而来。
罗荣桓根据敌情、我情进行周密的思考。据侦察，汶上这股敌人是孤立的，没有后续部队，也没有其他股敌人策应。梁山周围没敌人据点，稍远一点的东平、济宁、郓城、阳谷，敌人都没有增兵。我方兵力虽只有一个营，但青纱帐已起，便于隐蔽活动。在梁山南面的杨勇独立旅，远不过30里，随时可调来增援。而敌人并不知识我方虚实，我们的攻击可以做到出其不意，具有突然性。罗荣桓判断，这是一个可遇而不可求的歼灭敌人的大好时机。只要我们的动作迅猛果敢，消灭这股敌人是完全可能的。于是，他下定了决心。然后，又同陈光一道到孟林去勘察地形。罗荣桓和陈光登到半山腰，向东南望，只见茫茫一片高粱地和玉米地，像是波浪起伏的绿色大海，一直伸展到天边。近处可以看到从汶上过来的大路，稍远一点，路便消失在高粱、玉米地中。敌人过来时，路两旁的青纱帐是打敌人伏击的好地方。他们把目光再转向西南，只见一里开外的原野上耸立着一座孤零零的山包，像一头卧地的黄牛。这座山叫独山，山周围有些民房，叫独山庄。在独山脚下有几座石灰窑，南面紧靠大路有车马店。这一带很可能会成为战场。
罗荣桓和陈光经过商量，下定决心后，陈光便开始调兵遣将、命令疏散前集和独山庄一带的群众，做好战前的准备工作。
第二天中午12点多钟，敌人过来了，本来陈光命令二连埋伏在大路两旁的青纱帐里，准备打一个伏击。但日寇走了另一条路，一直闯到前集，埋伏在庄里庄外的十连和四连突然开火。二连听到枪声，知道敌人已到前集，立即赶来从敌人屁股后面开枪。前后这么一夹攻，敌人晕头转向了，一下子伤亡40多人，伪军全部打散。
骑在马上的长田敏江挥舞着指挥刀，下令整理好队伍，然后让炮兵朝梁山开炮。轰了半个多小时，八路军一枪未还。长田敏江以为是碰到了游击队，又继续前进，到了梁山的西南角，赶到梁山西边的独立旅一团三营又给以一顿冲杀。于是敌人便退守独山庄，这时天已快黑了。
在下午的战斗过程中，罗荣桓和陈光始终站在后集的山坡上用望远镜观察。当最后证实敌人只有这孤零零的一坨时，他们便下令当晚由师部的三个连和独立旅的两个连从东北、东南、西南三个方向发动攻击。战斗打了半夜，敌人节节败退到那个车马店里，在周围墙上挖了许多枪眼，用密集的火力阻挡我军。这时，天快亮了，八路军久攻不下。有的干部担心天亮之后，敌人援兵赶到，我军将处于不利地位。
1939年，罗荣桓(右一)用缴获的望远镜指挥作战。在这关键时刻，罗荣桓命令一团火速派一个干部到师指挥所来。团政委戴润生赶到，罗荣桓听完他的汇报后说：“敌人是孤军深入，现企图固守待援。但是，郓城、汶上敌人兵力空虚。如果临时抽调，最早要明天中午才能到达。现已有队伍向汶上方向警戒。你们放心打，要集中力量、一鼓作气，争取明天10点以前全歼残敌。”戴告退时，罗荣恒又握着他的手，坚定地说：“俗话说：两强相遇勇者胜，一定要把敌人消灭掉!”戴精神为之一振，立即返回前沿阵地，向指战员们传达了罗荣桓的指示，然后同周海滨团长一道重新调整布置，向敌人发起总攻。
上午9时，敌人被全部歼灭。打扫战场时，在一个凹地里发现了长田敏江的尸体。
梁山战斗的胜利，大大鼓舞了广大群众的抗日热情。战后仅仅半个月，梁山、东平湖之间，就有3000多名青年参加了八路军。
根据中共中央和八路军总部的指示，一一五师师部和六八六团等单位在1939年下半年，相继转移到鲁南地区。
1940年，罗荣桓集中全力经营以抱犊崮山区为中心的鲁南根据地，他提出，要运用六字方针，建立由共产党单独领导的抗日根据地，这六字方针是插、争、挤、打、统、反。插就是插入日伪军和国民军队之间的空隙地带，隐蔽地由边缘伸入到腹地。争就是广泛发动群众，争取团结一切抗日力量。挤就是挤掉消极抗战，积极反共反人民的顽固势力。打就是打击日军和汉奸武装。统就是同国民党军队、特别是驻在鲁南的东北军疏通团结，保持统一战线，反就是反“扫荡”、反磨擦。
运用这一方针，一一五师在鲁南团结了由开明士绅万春圃、孔昭同掌握的武装，并在万、孔请求下，将其编入一一五师。同时，同驻地和一一五师犬牙交错的东北军一一四师搞好联络，并在争取一一四师师长霍守义中立的条件下，挤走了下令向农民自卫军开枪的顽固派费县县长李长胜，解放其据点崮口。二、三月间，陈光、罗荣桓指挥部队北上，攻打位于抱牍崮山区和天宝山区之间的敌军据点白彦。攻克后又将部队撤出白彦，用游击战与敌人周旋，经过三次战斗，歼敌800余人，终于巩固地控制了白彦，并由此进入天宝山区。
鲁南地区的日伪军遭受这一打击后，于4月中旬，集中8000人的兵力，对抱犊崮山区进行春节“扫荡”。陈光、罗荣桓决定，除师部机关和特务团两个营配合地方部队坚持在内线与敌周旋外，其余主力部队均置于外线，从背后袭扰敌人。经过内外线配合战斗，历时一个多月，终于粉碎了敌人的“扫荡”。5月14日，罗荣桓在干部会议上总结了反“扫荡”的经验。他提出，在反“扫荡”时，机关人员除进行本身业务工作外，也要组织游击小组，或训练群众，或担任警戒、侦察，必要时则直接进行战斗。罗荣桓还提出，敌人扫荡山区时，“我们是有办法克服的，我们把主力运动到敌人后方去活动，很容易解决。再过一个月青纱帐起，我们还可以到平原上去活动。”罗荣桓这一思想是他后来提出的“敌进我进”的翻边战术的萌芽。
在一一五师师部同山东分局、山东纵队机关靠拢之后，人多粮少，经济也发生了困难。加之百团大战之后，敌人增兵对抗日根据地实行更大规模的报复性作战，蒋介石也策划对华中新四军的进攻。这时，第一一五师如仍同山东纵队挤在一地，不仅给养不好解决，目标也太大了，陈、罗决定转入山东东南部的滨海地区。滨海擅渔盐之利，一一五师师部驻在滨海，既能解决经济困难，也便于同华中新四军互相呼应。
到滨海地区以后，遵照中共中央关于敌后平原游击战应长期坚持熬时间，不宜过于消耗的指示，陈、罗组织了部队的整训。在军事训练上，他们提出，要结合敌后游击战的实际，搞好技术和战术训练，以在保证战斗任务完成的同时，尽量减少部队的伤亡。在政治工作上，罗荣桓利用整训时间，通过4月的司令部部务会议，1941年8月召开了长达一个多月的一一五师政工会议、1942年3月的连队政治工作会议和教二旅总结工作会议等，总结了抗战4年来一一五师的政治工作经验。
他在强调政治工作是革命战争和革命军队的生命线的同时，十分注意政治和军事的紧密结合，注意政治工作的保证作用。
1941年9月，中共中央书记处和军委决定，山东分局由朱瑞、罗荣桓、黎玉、陈光四人组成，朱瑞为书记。一一五师师部及山纵指挥部靠拢，将山纵及一一五师两军政委员会合组为山东军政委员会，罗荣桓任书记，山东纵队归一一五师首长指挥。
为执行这一决定，10月，陈光、罗荣桓率师部到达山东分局驻地临沂青驼寺，召开了山东军政委员会第一次会议，研究了一一五师和山东纵队统一指挥问题，但未作出决定。会后，各单位分别对秋季反“扫荡”作了布置。
11月初，侵华日军山东司令土桥一次中将纠集了日军3个师团、4个旅团再加上伪军，共5万余人，对沂蒙山区进行扫荡。
5日拂晓，临沂、费县、平邑、蒙阴、沂水、莒县的敌人，分11路，在飞机、坦克掩护下，从四面八方向留田合围。这时，一一五师师部、中共山东分局和山东战时工作推行委员会(相当于省政府)机关共两千余人就住在留田一带，战斗部队只有一个特务营。
上午，敌人已将留田团团围住。最近的离留田七、八里，远的不过10余里，特务营4个连分别把守留田周围的山头、隘口。
下午，在留田东南面一个叫牛家沟的小村庄时，在一间草房，罗荣桓主持了军事会议。罗荣桓分析了敌情，指出：东面，沂河、沐河被敌人严密封锁，敌人预料到我们可能要到滨海，已在沂、沐河之间集结了重兵。如果我们东去，很可能钻进敌人布下的口袋。北面：敌人正疯狂南压，北面的沂鲁山区在国民党军队手中。他们在皖南事变之后，同八路军关系恶化，最近刚刚同山东纵队打了仗。我们如果北上，很可能被日、顽两面夹击。西面：临沂通蒙阴的公路已成为敌人的戒备森严的封锁线，即使我们能越过封锁线进入蒙山，那时也是敌人合击的目标。南面呢，虽然是敌人的大本营，但是敌人估计我们不敢向其大本营前进，既然敌人的兵力都集中到沂蒙山区，其后方必定空虚。罗荣桓主张，先向南突围，跳出敌人包围圈后转而向西，进入蒙山和鲁南的结合部，这个位置比较机动。
罗荣桓的意见乍一听，出人意料之外，仔细琢磨，又非常合情合理，很快得到大家一致赞同。
于是，罗荣桓又把特务营营长陈士清等人叫地图跟前，用手比划出一条行军路线，从留田向南，经张庄、高里，折而向西南，越过临(沂)蒙(阴)公路，到汪沟一带宿营。
罗荣桓等大家把路线记清以后，又详细交待了经过每个地方的注意事项，他对沂蒙山的地形比他对故乡还要熟悉，连哪里有隘口，哪里可以通炮车，都烂熟于心，了如指掌，好像在他脑中有着一个大沙盘。在敌人“扫荡”之前，他曾派出参谋人员仔细勘察了沂蒙山的山峰、河川、道路、隘口，他亲自召集大家对着地图汇报。有一些重要的地方，他亲自去察看。
罗荣桓交代任务之后，又给营的干部做了具体分工。陈营长和教导员带领一、二连作前卫，副教导员带四连居中护卫机关。副营长带三连担任后卫，负责收容，他要求战士的步枪一律压满子弹，上好刺刀，随时准备战斗。他又宣布行军纪律：在跳出合围圈之前，不许说话，不许咳嗽，不许发出任何响声。
太阳落山，河滩里飘荡着雾霭，夜幕悄悄地垂下。