当时，红四军的主力二十八团和三十一团都是由国民革命军脱胎而成的。这些部队虽然经受了大革命的洗礼，但军官中军阀主义习气仍然相当严重。官长打骂士兵，老兵打骂新兵，几乎成为家常便饭。罗荣桓对这种作风非常看不惯，参加秋收起义以来，他从来没打骂过士兵。士兵有了过失，在批评时连重话也很少。他常常说：响鼓不用重锤敲。对下级和士兵，他总是循循善诱，耐心启动诱导。他为了扭转打骂士兵的坏习气，在三营进行了不疲倦的斗争。
罗荣桓不仅大力发扬政治民主，反对打骂士兵，而且十分注意发扬经济民主。在红军初创时期，在生活十分艰苦的条件下，坚持在物质生活上官兵一律平等。他在当连党代表期间对连队伙食抓得很紧，他要求每天的正副采买都由班里轮流选派，正采买由各正、副班长轮流担当，从另一个班选一名战士为副采买，必须两人同行，以便互相监督。他还要求司务长在士兵委员会监督下及时清理、公布账目。凡是发衣服、分伙食尾子和零用钱，他都要求先战士后干部，干部和党员必须要做到吃苦在前，享受在后。
毛泽东在《井冈山的斗争》一文中写道：“红军的物质生活如此菲薄，战斗如此频繁，仍能维持不敝，除党的作用外，就是靠实行军队内部的民主主义。”
坚持实行民主主义，使战士认识到自己就是革命队伍中的主人翁，从而成为自觉的战士，这正是罗荣桓经常考虑、大力抓好的一件主要工作，也正是三营成为拖不垮、打不烂的红色铁军的重要原因。
1929年1月，为了粉碎敌人对井冈山根据地的“会剿”，毛泽东、朱德率领红四军下山，在强大敌人尾追之下，披荆斩棘、爬冰卧雪。走了一千多里路，同追兵打了几十仗。其中有几仗，队伍已被敌人冲散，在摆脱追兵的行进中，又散而复聚……三营在这一严峻的考验之中，不仅绝少开小差的，而且难能可贵地保持了旺盛的战斗情绪。在2月10日旧历新春之际，又英勇顽强地投入了全歼敌军800余人的大柏地战斗。这再一次证明，这是一支拖不垮、打不烂的红色铁军。
红四军进入赣南、闽西以来，攻汀州，占龙岩，克瑞金，开辟了范围日益扩大的赣南闽西根据地，部队发展到4个纵队(相当于团)，罗荣桓任三纵队九支队(即原来的三十一团三营)党代表。
1929年6月，毛泽东离开红四军去闽西指导工作。10月，红四军奉命向北粤北东江地出击。10月25日，打开梅县后又前进到县以南的山区，敌人随即又占领了梅县。10月31日，部队又返回打梅县。罗荣桓率领九支队打进了北门，敌军拼命顽抗，红军攻城部队队形拥挤，又来不及修筑工事，伤亡达600多人。罗荣桓腰部右肋骨下，被子弹打穿，负了重伤。谭政、孙开楚两人冒着弹雨，将他抬下了火线。
12月初，罗荣桓出院归队。这时，到上海向党中央汇报红四军情况的陈毅已经回来。陈毅又到苏家坡去见毛泽东，告诉他，中央已经来信要他回部队，并建议召开一次会议，总结经验，分清是非，统一思想，形成决议，让大家有章可循，按规定办事。于是，毛泽东回到红四军。前委随即决定，近期内召开红四军党的第九次代表大会。
为了给大会作准备，毛泽东召集了一批党代表，用半个多月时间，就各种问题召开了多次座谈会，进行调查研究。罗荣桓自始至终参加了这些会议，并积极反映部队情况。他的关于反对肉刑、反对打骂士兵问题的意见，得到了大家的重视。
12月28日，红四军党的第九次代表大会在福建上杭古田村召开，通过了《中国共产党红军第四军第九次代表大会决议案》，即着名的“古田会议决议”。罗荣桓因为“观念正确，斗争积极”，当选为红四军前委委员。
罗荣桓先任红四军政委、红一军团政治部主任、红八军政治部主任，在肃“AB团”中反对扩大化，“刀下留人”，参加了四次反“围剿”战争，对人民军队的宣传工作起了开创性的作用。
古田会议以后，罗荣桓任第二纵队政治委员，他和纵队司令曾士峨、政治部主任罗瑞卿等为在二纵队贯彻古田会议决议，改变这个纵队落后的面貌而不遗余力地工作。经过几个月的努力，这个纵队各级党组织健全了会议汇报制度，发挥了党支部战斗堡垒作用。原先存在的少数打骂士兵、枪毙逃兵的军阀主义行为和赌钱、抽大烟等流氓行为得以彻底肃清，部队战斗力大大提高。
罗荣桓等人的工作受到前委的赞扬，1930年5月红四军赴上海出席全国红军会议的代表熊寿祺在给中央的报告中写道：“二纵队过去没有很好的上级干部，军事政治都无中心，因此战斗力差于一、三纵队。最近上级干部已另换人，二纵队又复兴起来了。”1930年6月，罗荣桓代理红四军政治委员。1930年8月，总前委正式任命罗荣桓为红四军政委。
红一、三军团会师后去攻长沙，不克。在朱德、毛泽东率领下，部队转移到江西。10月下旬，传来蒋介石调集重兵准备对红军发动“围剿”的消息，毛泽东决定首先进行战略退却，诱敌深入根据地，再选择有利地形和时机，消灭敌人一路。
当部队撤退到宜黄、宁都一带时，各军先后开展了肃清AB团的斗争。这是在红军中开展的第一次肃反斗争。由于党中央的错误指导，对敌情的错误估计，加上没有经验，没有正确的政策和方法，斗争一开始便出现了扩大化的倾向，出现了乱捕乱杀的现象。
部队撤到宁都县境时，军政治部通知十二师师长萧克和政委张赤男说，十二师的宣传队长和一个宣传员是AB团。于是，师里立即将这二人逮捕。提审时，这两人不承认，一用刑法，承认了，又供出了十几个人。再抓，再打，再审。这十几个人又供出几十个。11月底，这个师已抓一百多人。当时前委规定，捕人由各团党委决定，杀人由各师党委决定，毋须向军党委和前委请求报告。红十二师准备杀几十人。
就在准备动手的这一天早晨，萧克感到杀这么多人有问题，便骑马到钓锋军部向罗荣桓政委报告。罗荣桓和红四军军委秘书长黄益善接见了他。听了萧克的报告，罗荣桓明确答复：不能杀那么多人。黄益善支持罗荣桓的意见。
萧克听罗荣桓这么一讲，立即赶到刑场。他没有下马便挥着手喊道：“先不要杀，把‘犯人’押回去!”然后，他向张赤男传达了罗荣桓政委的意见。师党委随即重新研究，结果释放了这一些人。从此，“罗政委刀下留人”的故事便在红军中流传开来。
1931年，林彪和罗荣桓率红四军参加了第一、二、三次反“围剿”。在这几次反“围剿”中，罗荣桓始终将政治工作作为灵魂和生命线，积累了战时工作的丰富经验。每次战斗前，他都要布置战斗动员，组织班排和个人制定杀敌立功计划，召开党团的会议讨论党员团员如何发挥优先锋模范作用。组织宣传员运用标语口号、唱歌等方式做好战时鼓动工作，同时用标语阵前喊话等方式瓦解敌军。
1932年4月，红一军团和红五军团组成东路军入闽作战。罗荣桓任一军团兼东路军政治部主任。4月17日，东路军攻克漳州。
漳州是红军第一次解放的沿海较大的城市，罗荣桓在进城后以主要精力投入严格遵守城市纪律，贯彻保护民族工商业和华侨合法权益的政策，宣传红军宗旨和主张的工作之中，积累了红军城市工作的宝贵经验，扩大了共产党和红军的影响，并吸收了包括一些华侨知识青年在内的几千名新战士。
1933年春，罗荣桓参加了第四次反“围剿”。3月10日，他主持总结了红一军团在第四次反“围剿”中的政治工作，写出书面报告，着重总结了宣传鼓动工作的经验。
在井冈山时期，罗荣桓十分重视宣传工作，曾提着石灰桶到处刷标语，也曾站到方桌上，对赶圩的老乡讲演。红军下井冈山时，连队内配有宣传兵，罗荣桓充分发挥他们的作用，对他们精心培养，将他们作为初级政治干部的来源。古田会议以后，连队建立了列宁室，后来改称为俱乐部，唱歌、文化学习都搞了起来。在罗荣桓的领导下，1931年军团出版了《战士报》，各师都有了油印小报。在红军初创时期沿用的大革命时期的化装演讲很快发展成了活话剧和文明戏，演的戏大都配合当时的中心任务，没有固定的剧本，只规定基本情节，靠演员在台上即兴发挥。这种寓教于乐的宣传方式很受指战员们的欢迎，戏演多了后，便组成了“战士剧社”，并逐步由业余走向专业。
罗荣桓领导的红一军团政治部到第四次反“围剿”期间，所积累的宣传鼓动工作的丰富经验，成为我军政治工作宝库的重要组成部分。
1932年10月，宁都会议之后，毛泽东被红军的“左”倾领导者排斥。1933年4月中旬，罗荣桓被调到江西省军区任政治部主任，6、7月间又调到总政治部任巡视员和动员部长。对于这段历史，毛泽东后来回忆道：“我倒霉时，他也跟着我倒霉。”但是，罗荣桓身处逆境，仍然积极工作，充分发挥一个共产党员的作用。他带着少先队总队长张爱萍等人到兴国、瑞金一带调查研究，总结扩大红军经验。他指出，要扩大红军，必须充分发挥少先队(相当于民兵)、模范少先队(相当于基干民兵)和赤卫军(相当于地方武装)等群众组织的作用，采取逐步升级的办法，其中关键在于抓好模范少先队的工作。平时进行军政学习、野营训练，战时则配合主力红军作战，先参加诸如追击、打扫战场等1936年，罗荣桓(右一)与红军大学同学合影。活动，由易到难，使他们逐步适应战斗生活，再吸收他们成排、成连、成营、成团地参加红军。8月2日，他在《红星报》上发表的《瑞金兴国第一批野营的检查》，体现了上述思想。1933年9月，罗荣桓被任命为扩红突击队总队长，率领突击队到乐安、宜黄进行扩红。在工作中，罗荣桓强调，扩红一定要坚持说服教育，反对强迫命令。要向群众讲清武装保卫红色政权的意义，要优待参加红军者的家属，搞好代耕，罗荣桓总结的这些经验，使人民军队的动员工作后整套做法开始形成。
由于罗荣桓在扩红中做出优异成绩，1934年1月5日，中共中央在《关于扩红军突击月总结的决定》中宣布，将罗荣桓等各突击队领导者的名字“放在各报纸扩大红军突击运动的光荣红版，在各种小册子、会议也报纸上解释、宣传他们的工作经验，教育全党同志。”
在1934年1月召开的中华苏维埃第二次全国代表大会上，他因扩红取得优异成绩再一次受到表扬并获得一枚银质奖章，大会选举他为中华苏维埃共和国第一届执行委员会候补委员。
1934年8月，罗荣桓任红八军团政治部主任，随部队参加长征。八军团番号撤销后，罗荣桓先后任红三军团政治部主任、总政治部巡视员和红一军团政治部副主任，他十分注意用自己忍饥耐寒的模范行为影响和带动部队。
到陕北后，罗荣桓参加了东征，1936年6月入红军大学学习，1937年1月任红军后方政治部主任，7月，调任红一军团政治部工作，他便只身来到红一军团驻地——甘肃省正宁县宫和镇，准备率领部队赴抗日前线。