八一南昌起义爆发，张发奎着手清党，陈毅星夜出逃追赶起义部队。起义失败后，陈毅表示“要当失败时的英雄”。在井冈山陈毅是红四军军委委员。湘南之行失利，陈毅诚恳地作了检讨。
1927年4月中旬，陈毅脱离虎口到达武汉，与中共中央军委取得了联系，军委分配他去中央军事政治学校做党的工作。
中央军事政治学校是广州黄埔军校设在武汉的一个分校，校政实际上由恽代英政治总教官负总责。这样，军校成为中共领导的武装力量。
陈毅到军校后，和政治总教官恽代英、政治部主任施存统组成中共校党委，陈毅任书记。
军校共产党的组织是不公开的，但是很健全，每个大队和分队都有党、团的支部和小组。陈毅到任后，即秘密开展工作，并发展了一批党员。
由于汪精卫集团日趋反动，恽代英、施存统相继离去，陈毅遂领导军校的共产党组织采取应变措施：把一批名声较大，又已公开的党团员转移到叶挺、贺龙部队或回到自己家乡去发动群众、组织武装，把没有暴露身份的党团员尽量隐蔽下来。“七·一五”汪精卫公开“分共”叛变革命后，陈毅曾一度隐蔽在郭化若任连长的炮兵连，后又转移到萧劲任连长的特务连，公开身份是准尉文书，继续和各营、连党组织秘密联系。
7月下旬，军校被张发奎编为第二方面军的教导团。8月2日，教导团随张发奎“东征讨蒋”。4日行到九江时，被张发奎缴械。原来中国共产党已在南昌举行“八一起义”。
当晚，陈毅秘密召集共产党干部开会，商量对策，决定：(一)连夜出发到南昌去找叶、贺军；(二)可以回乡去搞农民运动；(三)没有暴露党员身份的，可以留下。大约有200多人愿意留下，这200多人组织了一个支部，后随张发奎开到广州，成为广州起义的主力军。陈毅身份已经暴露，不能再留在教导团，决定星夜去南昌，同行的有特务连连长萧劲。
8月8日，陈毅和萧劲在抚州追上起义军，见到前委书记周恩来、军事参谋团参谋长刘伯承，陈毅向他们报告了对教导团的布置情况。之后，陈毅被分配到第二十五师七十三团任团指导员，周恩来顾虑陈毅会嫌职务太小，陈毅则爽朗地说：“什么小不小哩!你叫我当连指导员我也干，只要拿武装我就干。”
参加南昌起义的部分干部合影(右一为陈毅)。起义军在宜黄稍作休息后，继续南下，进入广东后，决定以大部攻克潮汕，陈毅随二十五师及第九军教育团留守三河坝地区，由九军副军长朱德指挥。
然而，三河坝分兵把全军最强的叶挺部二十四师与二十五师拆散了。10月2日，敌钱大钧纠集3师之众向三河坝疯狂扑来。起义军给敌以重大杀伤后，为保存有生力量，于4日晨撤出战斗，准备到潮汕与主力会合。当行至饶平(今三饶)城附近时，与从潮汕撤下来的一部分起义部队约200人相遇，方知潮汕已失守，主力部队在汤坑、揭阳一线也已失败。
形势一下子险恶起来。当时，朱德决心继续战斗，陈毅也坚决支持部队转移。10月17日，起义军在武平打退了钱大钧部两个团的进攻。接着，又在溢口石迳岭击溃了当地团防的阻拦，随后，进入了赣南山区。
已是10月天气，山区的气温低，部队还穿着八一起义时发下的单衣短裤，寒冷、饥饿、疲乏、疾病折磨着官兵。官兵们思想混乱，常有人从岔道溜走，不辞而别。
10月下旬到达安远县天心圩时，部队只剩下七八百人了，师团一级的政工干部也走得只剩下陈毅一个人。
不久，部队移至赣粤边境的大庾地区。朱德、陈毅利用粤桂湘军阀混战的间隙，对部队进行了一次比较全面的整顿和整编。
这一次整顿，重点是加强党对部队的领导。首先，由陈毅主持，整顿了党、团组织。重新登记了党团员，把全部五六十名党员组成一个党支部，把一部分党团员分配到各连队，建立了连的指导员。
在整顿党、团组织的同时，陈毅又协助朱德把部队编为一个纵部，下分4个支队(有说4路)。为了隐蔽，采用“国民革命军第五纵队”番号，朱德化名王楷任司令，陈毅任指导员，王尔琢任参谋长。
这次整顿以后，部队中的悲观失望、消极低沉的情绪，开始消散了。这支在南昌起义失败的血泊里挣扎过来的人民武装，终于生存下来了。正如粟裕所说的“可以毫不夸张地说，那时如果不是朱德领导和陈毅同志的协助，这支部队肯定是要垮掉的”。
11月上旬，朱德、陈毅率领起义军转移到湘、粤、赣三省交界处的江西省崇义县西南的上堡、文英、古亭一带地区。在这里活动20天左右，第一次把武装斗争和农民运动结合起来。这是一个很大的进步，是建立农村革命根据地的初步尝试。
1928年元旦过后不久，陈毅和朱德接到中共广东省委指示，要朱、陈率部到英德、清远等地发动群众进行暴动。朱、陈遂率部北上。途中遭到国民党军队阻击，迂回至湖南宜章县境，在当地共产党组织的配合下，于1月12日智取宜章县城，揭开了湘南起义的序幕。宜章一战正式打出了工农革命军第一师的旗帜，朱德任师长，陈毅任党代表，王尔琢任参谋长。
1月下旬，驻粤北的国民党独立第三师师长许克祥，率6个团直奔宜章而来。陈毅和朱德连夜率领部队撤出宜章县城，隐蔽集结在城西南40余公里的山地，在农军配合下，大败许克祥一部，重占宜章城。这是起义军自潮汕失败后，改变战法首次获得的重大成功，并创造了以少胜多的优秀战例。
工农革命军作战的胜利，振奋了湘南人民的斗志，各地农民纷纷揭竿而起。为了发动湘南总暴动，2月初，朱德、陈毅率工农革命军第一师由宜章北上占领了郴州。随后，又分兵协助资兴、永兴、耒阳等县农军，夺取了这几个县的政权。和湘南特委一起将湘南农军编成工农革命军第三、四、七师和两个独立团，共8000余人，并成立了湘南苏维埃政府。与此同时，安仁、茶陵、酃县、桂东、汝城、临武、嘉禾、桂阳、常宁、衡阳等县部分农民，也纷纷举行起义。
湘南起义的胜利，震惊了国民党反动派。3月间，粤、桂、湘军勾结起来，以7个师的强大兵力，分南、北、西三路，向湘南地区进攻。4月初，朱德、陈毅率领部队和农军分两路从耒阳、郴州向井冈山转移，在4月下旬与毛泽东领导的秋收起义部队在井冈山宁冈的砻市胜利会师。
两军会师后，合编为工农革命军第四军(不久改称为红军第四军)，朱德任军长，毛泽东任党代表，下辖第十、十一、十二师，陈毅为第十二师师长。
朱毛两军会师井冈山后，陈毅参加了“打败江西两只羊”指敌师长杨如轩、杨池生。的粉碎敌第二、第三、第四次“进剿”的战斗。5月20日，朱德、陈毅率部撤回宁冈，在宁冈参加中共湘赣边界第一次代表大会。会后召开中共红四军代表大会，因毛泽东已任特委书记，军委书记一职改由陈毅担任。从此，陈毅全力进行红四军党的工作。
6月中旬，在粉碎敌人第四次“进剿”以后，井冈山革命根据地发展到宁冈、永新、莲花3个整县，吉安、安福各一小部，遂川北部，以及酃县东南部，面积达7000余平方公里，人口有50余万，达到全盛时期。毛泽东在《井冈山的斗争》中说：“其原因就在于边界党(地方的党和军队的党)的政策是正确的。”
这时，中共湖南省委在盲动主义影响下，认为湖南反动势力十分动摇，要求红四军主力向以郴县为中心的湘南发展。6月30日，湘赣边界特委、红四军前委、军委和永新县委召开联席会议。会议分析了当时形势，认为红四军主力暂不宜去湘南，继续在湘赣边界建立巩固的根据地，并将这个决定书面报告了湖南省委。
7月间，朱德、陈毅、王尔琢率第二十八、第二十九两团组成的红军大队，于7月12日攻克酃县城。不料，由湘南宜章农军组成的二十九团士兵因家乡观念太重，借口湖南省委有指示去湘南发展，于当晚在酃县城秘密召开士兵委员会，擅自决定次日由酃县去湘南。
朱德、陈毅闻听后，对二十九团士兵的返乡行动予以多方劝阻，向大家晓之以理，但未达目的。陈毅和朱德等只得同意打回湘南，二十八团也一同前往。行军一天多，忽然接到毛泽东派中共茶陵县委书记黄琳(即江华)送来的亲笔信。信中要求部队停止去湘南，急回边区解围。
收到毛泽东的来信后，陈毅和朱德打开地图，看离井冈山有多远，是否可以很快回井冈山。从地图上看来，部队离井冈山近，但实际上因大山阻隔，实在很远。所以回边区已不能解边区之围，不如急打郴州。
7月24日，到达郴州，郴州一战，先胜后败，部队被迫撤出郴州，向资兴转移。二十九团随即自由行动，擅自向宜章方向开进，结果一部在广东乐昌被土匪胡凤璋的部队消灭，一部散在郴州、宜章等地，不知所终。
陈毅和朱德将二十九团剩下的100来人连同军部特务营，一起并入二十八团，称“新二十八团”。随后，派二营和团直机炮连为前卫，向罗霄山脉靠近。
湘南之行的一系列事实，使陈毅深感自己作为前委书记领导不力。此时，他与前委成员们商议决定召开党员代表大会。陈毅在会上检讨了自己此前作为军委书记，对错误倾向制止不力的责任，听取了与会代表的尖锐批评。
这时，毛泽东亲率三十一团三营南下迎接红军大队。8月23日，毛泽东和朱德、陈毅在桂东见面后，即召开了前委扩大会。会议总结了湘南之行的深刻教训，决定部队一起回井冈山，并撤销了前委，另组行动委员会，以毛泽东为书记。会后，红四军兵分两路返回井冈山。
陈毅随朱毛突围下山出击赣南，赣南、闽西局面逐渐打开。红四军内部出现了争论。陈毅赴上海带来了中央的“九月指示”。据此召开的古田会议使红四军进入一个崭新的发展阶段。
1928年入冬以来，湘赣两省敌人就开始策划对井冈山革命根据地举行第三次“会剿”。为了粉碎敌人的“会剿”，红四军前委于1929年1月上旬在宁冈柏露村召开了湘赣边界特委、红四、五军军委等联席会议。会议决定：红五军和红四军第三十二团留守井冈山革命根据地；红四军主力向赣南进军，在外线作战，实行“围魏救赵”的战法，以解井冈山之围。
1929年1月14日，毛泽东、朱德率领红四军军直、第二十八团、第三十一团共约3600人离开井冈山，向赣南出击。
当晚红军一举歼灭大汾守敌一个营，突破封锁线，向大余前进。大余城无敌军设防，红军不费一弹占领大余。红四军占领大余县城后，第二天赣敌第二十一旅、第十五旅等部就追上来了。由于当地无党、无群众组织，无人替红军当侦探报消息，红军事前不知道敌人逼近，仓促应战，遭到重创。
2月9日，红四军到达大柏地时，敌军刘士毅部两个团又尾追到瑞金城，与红军只差一天路程。为了摆脱被动局面，毛泽东、朱德等在大柏地村的王屋祠堂召开干部会议，决定利用大柏地麻子坳的有利地形伏击和消灭这股敌人。2月10日，敌军被引进红军的伏击圈，经20小时激战，终将刘士毅部完全歼灭，这就是有名的大柏地战斗，陈毅当时称赞这次胜利“为红军成立以来最有荣誉之战争”。
大柏地战斗后，红军又乘胜占领宁都城。在宁都筹集到一些款子，然后于2月17日到达吉安东固，与李文林、赖经邦领导的江西红军二、四团会合。
会师之后，鉴于井冈山已失守、“围魏救赵”的计划已不能实现，部队只得撤到闽粤交界处游击。2月25日，毛泽东、朱德率领红四军撤离东固，于3月11日翻越武夷山南麓，进入闽西。
这时，蒋桂战争已揭开序幕。红四军召开前委扩大会议，分析了当时形势，向中央提出：“以赣南、闽西20余县为范围，从游击战术，从发动群众，以至于公开苏维埃政权割据，由此割据区域以与湘赣边界之割据区域相连接”的战略计划，陈毅参与作出这一决定并始终赞成。
4月1日，红四军挥师赣南，在瑞金同由井冈山撤出的红五军会合。会师后，彭德怀、滕代远率红五军返回井冈山地区恢复根据地；红四军主力和江西红军独立第二、四团则在赣南，执行消灭地主武装、发动和组织群众等任务。
不久，陈毅率领一部分队伍到兴国与赣县交界的杰村地区发动群众，帮助兴、赣两县的党组织建立地方政权。
5月上旬，红四军再次入闽，于5月23日攻克龙岩城，26日又占永定。
这时，随着赣南、闽西斗争局面的打开，地方工作的加多，部队的扩大，前委既管军队工作，又管地方工作，就感到兼顾不过来。
但由此而引起一个新问题，即在前委之下还要不要设立红四军军委这一组织。人们的认识就大不一致了，赞成与反对，两种意见各执一端。反对者认为，军队指挥需要集中，在前委下只有红四军一个单位的情况下再设军委，机构重叠，是“分散主义”。赞成者认为，前委管得太多，“权力太集中”，甚至指责前委是“书记专政”，有家长制倾向。在红四军主要领导人毛泽东与朱德之间，也产生了这种分歧。