陈正人在万安暴动中显示出的杰出才干，引起了正奋力开拓井冈山斗争局面的毛泽东的注意。
1928年1月5日，毛泽东率领秋收起义部队由湖南回师井冈山途中，打败了江西敌军刘士毅的部队，攻克了遂川县城。毛泽东立即将在万安县委工作的陈正人调到遂川，希望在他的协助下打开遂川工农革命的局面，为红军向井冈山进发开辟通途。
陈正人回到遂川，在这里他第一次见到了毛泽东，那时，毛泽东在遂川县城是住在工农革命军第1军第1师第1团团部，当时团部就设在城内的一个天主堂内。虽然正是严冬季节，毛泽东却穿着一件灰布的短薄棉袄，灰布军单裤和一双草鞋，陈正人感到非常可亲可敬，这一天也就成了他最幸福的一天。
在毛泽东亲自参加的遂川党员会议上，正式成立了遂川革命史上第一个中共遂川县委，陈正人担任县委书记。当时，毛泽东给陈正人的指示和任务是：集中全力，争取时机，发动由井冈山下的黄坳到大坑、藻林一带的农民群众，推翻农村封建反动统治，建立工农武装，发展党的组织，为创立井冈山南边的根据地而斗争。
陈正人主持遂川县委工作期间，得到了毛泽东经常的关怀和指导。在毛泽东的大力支持下，陈正人着手筹建遂川工农政权工作。在遂川县工农兵苏维埃政府建立之前，毛泽东指示陈正人，要在调查研究的基础上草拟一个“施政纲领”。根据毛泽东的指示，陈正人亲自执笔起草了遂川县工农兵政府《施政大纲》，在政治、军事、经济、土地、生产和人民生活等方面，对人民政权建设作出了明确规定，描绘了根据地建设的美好前景。这份《施政大纲》，内容通俗易懂，大多数内容都能让农民看懂，可以说它是中国有史以来第一部真正代表工农利益的施政大法。毛泽东对这个纲领的草稿进行了多处修改，使之更加完善，曾任中共湘赣边界特委书记的谭震林称之为“相当完整地体现了党在民主革命时期的方针和任务，集中反映了广大人民的要求和愿望，成为井冈山地区和后来赣南、闽西等根据地建设的初步蓝本。”
1928年5月，在宁冈茅坪召开的湘赣边界党的第一次代表大会上，成立了湘赣边界特委，毛泽东任书记，陈正人被选为特委委员。从此，陈正人在毛泽东的直接领导下，成为开创和发展井冈山根据地的主要领导人之一。
6月，蒋介石纠集湖南和江西两省的敌军“会剿”井冈山。为了分散敌人的目标，毛泽东、朱德率领红四军主力，从井冈山出发到赣南闽西开辟新的革命根据地。
10月4日，湘赣边界党的第二次代表大会在宁冈茅坪召开，会议选举谭震林为书记，陈正人为副书记。
红四军主力向赣南转移后，彭德怀率领的红五军、红四军的32团和湘赣边界地方武装留守井冈山，湘赣边区特委的领导人只留下陈正人，在极端艰苦的环境中，他率领群众坚持斗争。
1929年1月，湖南和江西的国民党军分5路向永新、宁冈、遂川等根据地发起猛烈进攻，在当地一位破产的地主分子带路指引下，敌人从黄洋界哨口侧围爬上来，陈正人的后路被切断了。
陈正人奉命坚守八面山哨口，他穿着一件破棉袄，脸上被烟火熏黑了，嗓音也嘶哑了，仍在阵地上坚持火线喊话。敌人的机枪疯狂地往哨口工事扫射，一个个炮弹落在他的附近，震得浑身是土。因敌我力量悬殊太大，奋战三天三夜之后，五大哨口全被敌军突破，一个又一个的红军战士倒在血泊中，伤亡越来越大。
是打是撤？年轻的县委书记面临严峻考验。
无奈之下，他指挥队伍迅速从各哨口集中突围。彭德怀率红五军从遂川方向向赣南突围，陈正人作为特委留下掩护，率领一部分游击队员转移到荆竹山。那时陈正人连一支枪也没有，处境非常困难和危险。敌军见人就杀，见房子就烧，见东西就抢。整个根据地一片白色恐怖。当时已是严冬腊月，天寒地冻，所有的高山都盖上了一层厚厚的积雪。白天陈正人带游击队与敌人周旋，晚上只能睡在狩猎的木棚里，用杉皮当垫被，盖着一条像猪油渣似的棉被，冻得不能入眠，他咬紧牙关坚持着。
陈正人经过了一段极其艰难困苦的斗争时期。由于敌我兵力悬殊，在多次冲击与反冲击之后，陈正人率领的部队被打散了。在井冈山群众的掩护和帮助下，他收拢了被打散的部队，恢复了游击队，率领大家削竹钉，修工事，运弹药，送茶饭，同心协力保卫这个红色根据地。就这样，他和游击队员们在荆竹山熬过了20多天。
经过多次突围之后，陈正人与宁冈中心县委书记兼游击队队长何长工率领的队伍会合了，乘敌军主力调防之机，打了几个主动仗，恢复了井冈山红色根据地，队伍由原来的100多人扩大到1500多人。在陈正人的领导下，井冈山根据地很快打开了新的局面，后来发展成为中央苏区的一翼。
3月14日，中共湘赣边界特委重新成立，特委机关设在永新县的九龙山一带，何长工担任特委委员，陈正人担任特委常委兼秘书长。1929年底，陈正人调离湘赣边界特委，前往安福县任县委书记。
1930年2月，当时的中共中央发布第70号通告，提出“集中进攻中心城市的策略”。这个通告，在对形势的估量和对于党在目前的任务、路线、策略等问题的论述上，都有明显的“左”倾现象。自此以后，中共中央又陆续发布了一系列贯彻“左”倾观点和“左”倾政策的文件，逐步形成了“左”倾冒险主义。6月11日，中共中央政治局在上海召开会议，通过了由李立三起草的《新的革命高潮与一省或几省的首先胜利》的决议案。提出“争取一省与几省首先胜利，无产阶级的伟大斗争，是决定胜负的力量，没有工人阶级的罢工高潮，没有中心城市的武装暴动，决不能有一省与几省的胜利。不特别注意城市工作，想以乡村包围城市，单凭红军来夺取城市，是一种极错误的观念”的错误主张。决议案完全违背了中共“六大”制定的正确路线、方针和政策，提出了一整套“左”倾错误主张。
此时，各级党组织被合并为行委，陈正人由此被调离湘赣边区特委，任北路行委书记。红军第1、3军团攻克吉安后，江西成立了省行委，陈正人又调任省行委宣传部长。国民党反动派调集9个师又1个旅的兵力，向红军节节逼近，发动了对苏区和红军的第1次“围剿”。陈正人在省行委的领导下，积极发动群众参军参战，在地方党组织的密切配合下，集中全力粉碎了敌人的第1次“围剿”。
1930年10月，毛泽东率领红一方面军到江西新余县罗坊主持召开了红一方面军总前委和江西省委联系会议，作为江西地方党的领导人，陈正人也参加了这次会议。在会上，毛泽东正确分析了当时的形势，反对攻打大城市的冒险行径，提出了“诱敌深入”的战略方针。当时，有少数人还坚持攻打大城市的冒险计划，而陈正人坚决支持毛泽东的正确主张。1933年，“左”倾错误的代表在中央苏区批判所谓罗明路线，实际上是批判毛泽东代表的正确路线，他们要陈正人写检查发表声明，遭到他的坚决拒绝。