曾国藩移驻衡州后，苦练旧勇，增募新勇，改定营制，发愤图强，加紧编练湘军。不久，又奉命建立湘军水师，先后在衡州、湘潭设立船厂，征调战船监造人员和水师将领。于是，广西候补道员署浔州知府李孟群、广西候补同知褚汝航、广西候补知县夏銮、湖南岳州营水师守备成名标陆续应调来衡州，杨载福、彭玉麟、鲍超亦由陆改水，充任水师营、哨官。杨载福与鲍超都是绿营出身，家隶军籍，世代为兵。参加湘军时杨载福已擢至千总，鲍超大约仍是士兵。彭玉麟系安徽某巡检司巡检之子，早年丧父，考取秀才而因家贫无力续读，不得不另谋生计。先为一副将掌书记，后又为一富商经营当铺，从而学会技击和经商两套本领。大约自当年九月起，曾国藩开始设立粮台与劝捐局，独自筹办粮饷，其幕府人员也有所增加。陶寿玉管理粮台账目，吴坤修管理军械，郭嵩焘、夏廷樾、黄赞汤、万启琛等为其劝捐筹饷。
二、形成发展期：时间约为咸丰四年初至十一年末，其标志是曾国藩率军东征和曾、胡联手攻陷安庆。
咸丰四年初，曾国藩湘军水陆练成，船炮齐备，开始举兵东征。其陆师十营，营官分别为塔齐布、邹寿章、周凤山、储玫躬、曾国葆、林源恩、朱孙诒、邹世琦、杨名声；水师十营，营官分别为褚汝航、夏銮、胡嘉垣、胡作霖、成名标、诸殿元、杨载福、彭玉麟、邹汉章、龙献琛。罗泽南留防湘南，未随曾国藩出征。王錱已与曾国藩分离，改投骆秉章、左宗棠门下，自带七八营陆师，虽一同出征但不与这二十营之数。
正当曾国藩由衡州进抵长沙，即将举兵东征时，胡林翼来到湖南。胡林翼在贵州任知府期间，以组织团练、镇压当地农民起义颇有名气，两湖大吏一再奏调，均为云贵总督所奏留。后经御史王发桂奏荐和湖广总督吴文镕的奏请，调往湖北，于咸丰四年正月率三百黔勇到达岳州。此时，惊闻吴文镕败死黄州，太平军占领武汉，攻破金口，湖北按察使唐树义军溃自杀。胡林翼进退失据，孤苦无依，只得投到曾国藩麾下。曾国藩将胡奏留湖南，“谓其才胜臣十倍，可倚平寇。”（《胡文忠公年谱》咸丰四年二月。）这样，胡林翼就暂时成为曾国藩的部下属员。此时左宗棠已入湖南巡抚幕，亦以骆秉章的名义奏留胡林翼，遂形成曾、胡、左共同创业的初步格局。
然曾国藩初战不利，一败于岳州，再败于靖港，不仅本人几乎自杀身亡，也使初立不久的湘军发生生存危机，若非湘潭一战取胜，真不知该集团的历史将如何写法。王錱运《湘军志》称，咸丰四年四月庚午，曾国藩自靖港败归省城，“布政使徐有壬、按察使陶恩培会详巡抚，请奏劾侍郎曾国藩，且先罢遣其军，巡抚不可。辛未塔齐布破寇于湘潭，丙子，靖港寇具退走，踞岳州。巡抚、提督上功，而曾国藩请罪。有诏诘责提督鲍起豹，以专阃大员不闻出战，惟会衔奏报，即日免官，以塔齐布署提督。”又说：“方事之急也，布政使徐有壬绕室走达旦，明日，与按察使会详巡抚，请罢遣曾军，语据妄甚。巡抚语有壬：‘且待之。’及克湘潭，国藩犹待罪，俄而得温诏，且超用塔齐布，文武官大惭沮，有壬诣国藩谢。”（王錱运：《湘军志》，岳麓出版社，1983年合刊本，第7页、第25页。）于是，曾国藩对水、陆湘军大加整顿，敢战者增募，溃败者裁撤，加以褚汝航等客将先后战死，王錱与罗泽南对调，迨至湘军再次出征时，陆师仅塔齐布、罗泽南两军，水师仅杨载福、彭玉麟、李孟群三军。次年李孟群亦离水改陆，遂形成塔、罗、杨、彭四大统领支撑湘军的局面。
湘军再出东征，一路风流水顺，两月稍过即攻克湖北省城武昌。咸丰帝大喜过望，立授曾国藩署理湖北巡抚，只为某公一言警悟，旋即收回成命，致令湘军数年受挫，曾、胡陷入困境。太平军将湘军水师分割、重创之后，挥师西进，再占武汉。咸丰五年八月胡林翼自将四千人由江南渡至江北，“思合水师取汉阳，不能进，屯奓山。”太平军来攻，“林翼督军出，士卒要饷出怨言，强之战，未交绥，噪而大奔。林翼愤甚，索马欲赴敌死，圉人见巡抚色恶，反旋马四五转，向空野乃鞭之。马驰不能止，临江乃遇鲍超船。”（《湘军志》，第30页。）经反复冲杀，数次苦战，鲍超始救胡林翼脱险。胡林翼令鲍由水改陆，独领一军，赏其才，亦为报此救命之恩。罗泽南此时尚在江西，见湖口一关牢不可破，长江中段无所作为，遂决心力争上游，率军赴湖北。他致函曾国藩称：“今日之忧不在湖口之难复，而在湖口之难守。贼上踞武汉，下踞金陵，相为犄角。吾出湖口之后，欲攻武汉则虑小孤山贼船乘于下，欲攻安庆则虑武汉贼船尾于上。且湖口逼近江面，为贼必争之地，得湖口必分兵以守，与贼相持于无已，非长策也。为今之计，唯以复武汉为要著。武汉复则从北路以攻蕲、黄，下小池口，金口之水师相联而下，以断贼之粮道，内湖之水师从而会合之。然后，以一军捣江之南，以一军控江之北，顾兹小丑尚能久居此耶！”（《罗忠节公遗集》，第6卷，第34—35页。）又以所部湘勇兵单，要求增添一营，以壮其势而利远征。曾国藩从其议，并拨出原属塔齐布的宝勇三营随行。幕僚刘蓉劝阻道：“公所赖以转战者，塔、罗两军。今塔将军亡，诸将可恃独罗公，又资之远行，脱有急，谁堪使者？”曾国藩说：“吾极知其然。然计东南大局宜如是，今俱困此无益。此军幸克武昌，天下大势犹可为，吾虽困犹荣也！”（《拙尊园丛稿》，第3卷，第5—6页。）罗泽南遂成援鄂之行。当时，罗泽南部约七营三千五百人，加宝勇一千五百人，即有五千之众，全为湘军骨干。援鄂之行非同小可，使曾国藩集团的重心从此移至湖北，数年未能改变。胡林翼得此精兵，局面大为改观，其后夺武汉、取九江、谋安徽，屡建大功，皆赖于此。因而，他对罗泽南仰若天神，毕恭毕敬；对曾国藩感恩图报，有求必应。故薛福成在论及胡林翼发家经过时称：“公名位既与曾公并，且握兵饷权，所以事曾公弥谨，馈鍕源源不绝。湖北既清，乃遣诸将还江西，受曾公节度。”（《庸庵文编》，第4卷，第6页。）从此，湖北兵强马壮，列为全国第一，曾、胡紧密团结，构成该集团的主干（就该集团的主干首脑人物而言，与其所经历的各个时期相适应，大概可勾划为曾——胡、左——曾、胡——曾、左、李——李、左——李、刘这样一条线索，其相应的时间段大约为咸丰元年——五年，咸丰六年——八年，咸丰九年——十一年，同治元年——十一年，同治十二年——光绪十一年，光绪十二年——二十七年。是否有当，仅供参考。）。
与此同时，湘军水师也得到恢复。咸丰四年十二月，湘军水师炮船被太平军封锁在鄱阳湖内之后，停泊江面的大船，又接连遭到太平军和大风的袭击，大部损坏，丧失战斗力，只好退至湖北金口修理。曾国藩所谓“每闻春风之怒号，则寸心欲碎；见贼帆之上驶，则绕屋彷徨”（《曾文正公奏稿》，第5卷，第27页。）即指此而言。其时，胡林翼新任鄂抚，与总督官文关系紧张，且湖北的大部分已落入太平军手中，根本无此财力物力。水师得以迅速恢复，全借江西、湖南之力。江西主要借重粮道邓仁堃的支持，使内湖水师得以存活；湖南则靠骆秉章、左宗棠的全力援助，使外江水师船舶以新，大小齐备，犹如新生。其修造船只的经费、物料、工匠皆出自湖南，日夜督催，如期完成，呈现出两湖一体、胡左无间的局面。
然而，曾国藩的处境却越来越困难。罗泽南走后不久，石达开即率军折回江西，踏破湘军樟树镇大营，顺势夺占江西大部府县，使曾国藩四面封禁，坐困于南康狭小地区。加以清政府的压抑、刁难，复与湖南、江西地方官员不和，致使曾国藩“浩然不欲复问世事”（《曾文正公书札》，第24卷，第26页。），对这场镇压太平天国的战争，态度也越来越消极。他弃军奔丧于先，伸手要权于后，要求得不到满足，则继之躺倒不干。凡此种种，与其理学家的身份确有不符，然亦自有苦衷，尤应得到朋友们的理解和同情。而左宗棠则对之“肆口诋毁，一时哗然和之。”曾国藩“内疚于心，得不寐之疾”（欧阳兆熊：《水窗春呓》，中华书局1984年版，第17页。），二十年后仍对之耿耿于怀，称“我生平以诚自信，彼乃罪我欺，故此心不免耿耿”（《庸闲斋笔记》，第4卷，第28页。），二人“致隙”皆由此而起。在此期间，曾国藩还常常受到其好友郭嵩焘的责备。同治二年他在家书中说：“咸丰三、四、五年间，云仙之扬江、罗、夏、朱而抑鄙人，其书函言词，均使我难堪。”（《曾文正公家书》，同治二年五月廿一日。）其当时的狼狈和伤心，可想而知。
曾国藩乡居期间，该集团的势力有了很大发展，主要是两湖，尤其湖北担当了主角。太平天国领导集团的内江从咸丰六年一直闹到咸丰八年，为清朝军队的反攻提供了可乘之机。湖南派遣刘长佑、萧启江、王錱等增援江西，会同普承尧、刘腾鸿、吴坤修等湖北援军，连连进逼，逐步夺回九江以外的所有府州。而湖北则不仅乘太平天国内讧方酣之机，于咸丰六年十一月攻陷武昌，还乘石达开出走之机，于咸丰八年四月攻陷九江。这样，湖南、湖北、江西也就完全控制在湘军手中，下一个目标就是同太平军争夺安徽了。相比之下，曾国藩则显得颇为可怜。作为前朝重臣、湘军缔造者，征战多年，屡建大功，却连个巡抚也没有混上，与整个集团蒸蒸日上的事业恰成对照。于是，胡林翼、左宗棠、骆秉章便一起努力，力求为他谋个好的出处。首先是胡林翼对其推许最高、同情最深、援助之心最切，在给李续宜的信中称：“涤公忠良第一，然而闲居山中，令人生感。”（《胡林翼未刊往来函稿》，第62页。）早在咸丰七年十月，他就上奏请求令曾国藩前赴九江统率水师，遭到清廷拒绝。咸丰八年三月石达开率军出走，由江西进入浙江。胡林翼又乘机奏请起用曾国藩率军援浙，不久即获旨准。接着，骆秉章、左宗棠亦就此事上奏清廷。曾国藩这次也极为知趣，接到谕旨即匆匆上路，再不提任不任巡抚的事。
咸丰八年七月曾国藩再次出山，无论其人事环境还是个人处世态度，都有了很大改变。他乡居期间，在别人的启发下，曾对以往的做法进行过深刻反思，发觉与人关系不好，原因不只一宗，自己于处事处人之中，亦有不当之处，无非太过倔犟，不够世故圆滑。于是，决心改弦更张，重新做人，搞好与同事诸人，尤其同左宗棠的关系。其好友欧阳兆熊在《一生三变》一文中，对此言之颇详。咸丰七年曾国藩驻军江西，“闻讣奏报后即奔丧回籍，朝议颇不为然。左恪靖在骆文忠幕中，肆口诋毁，一时哗然和之。文正亦内疚于心，得不寐之疾。予荐曹镜初诊之，言其岐黄可医身病，黄老可医心病。盖以黄老讽之也。先是文正与胡文忠书，言及恪靖遇事掣肘，哆口谩骂，有‘欲效王小二过年，永不说话’之语。至八年夺情再起援浙，甫到省，集‘敬胜怠，义胜欲；知其雄，守其雌’十二字，属恪靖为书篆联以见意。交欢如初，不念旧恶。”又说：“此次出山后，一以柔道行之，以至成此巨功。”（《水窗春呓》，第17页。）王闿运也说：“然其再出也”，“谨官守，和众心，以惩补前失。”（《湘军志》，合刊本，第57页。）具体细节或有出入，而曾国藩作风大变却是事实。从此之后，为人处事少了几分急于求成、怨天尤人的情绪，多了几分谦谨、圆滑、世故。他在给曾国荃的家书中说：“兄自问近年得力，唯有一悔字诀。兄昔年自负本领甚大，可屈可伸，可行可藏，又每见得人家不是。自从丁巳、戊午大悔大悟之后，乃知自己全无本领，凡事都见得人家有几分是处。故自戊午至今九载，与四十岁以前迥不相同。大约以能立能达为体，以不怨不尤为用。立者，发奋自强，站得住也。达者，办事圆融，行得通也。吾九年以来，痛戒无恒之弊，看书写字从未间断，选将练兵亦当留心。此皆自强能立功夫。奏疏公牍再三斟酌，无一过当之语、自夸之词。此皆圆融能达功夫。至于怨天本有所不敢，尤人则常不能免，亦皆随时强制而克去之。”（《曾文正公家书》，同治六年正月初二日。）又在给友人的信中说：“国藩昔年锐意讨贼，思虑颇专。而事机未顺，援助过少，拂乱之余，百务俱废，接人应事，恒多怠慢，公牍私书，或未酬答。坐是与时乖舛，动多龃龉。此次再赴军中，消除事求可、功求成之宿见，虚与委蛇，绝去町畦。无不复之缄咨，无不批之禀牍，小物克勤，酬应少周，藉以稍息浮言。”（《曾文正公书札》，第8卷，第41页。）这与理学信条颇不相符，但却于事业有利，做事顺了，名声也好了，令他颇为不解，将之一概归之于天命：“大凡经世百务，机之已至，我一措注，推挽者四出而助之，非必恃权位之重也。机之未至，我极经营，■龁者四出而挠之，不尽由权位之轻也。”（薛福成：《庸庵全集·海外文编》（以下简称《庸庵海外文编》），光绪十三年刊，第4卷，第3页。）后来，他回顾一生经历，愈到老年，愈信命运。所谓“运气口袋之说”（《能静居日记》，同治六年九月初三日。），所谓“不信书，信命运”（《水窗春呓》，第17页。），似皆有感而发，并非全属戏语。同时，两湖、江西大吏，尤其胡林翼也决心助其成功。他们商定，曾国藩此次再出，由湖南出兵，江西、湖北供饷。湖南派出的部队，主要有张运兰的老湘营四千人，萧启江果字营四千人，吴国佐营千余人。行至中途，李续宾感念旧恩，又赠送两营充亲兵，使所部总兵力超过万人。行至江西，曾国藩又专门绕道拜访江西巡抚耆龄。耆龄态度友好，愿与曾国藩合作，保证军饷的供应，其表现虽不如继任赣抚毓科，却比以前的陈启迈、文俊好得多。
曾国藩驻军江西期间，值得一提的有两件事，一是曾国荃率军来投，一是李鸿章入幕。曾国藩兄弟五人，以大排行为序，分别称为老大、老四、老六、老九、季弟，除曾国潢一人留在原籍经理家务外，其余藩、华、荃、葆皆出外带兵打仗。曾国葆最先从长兄带兵，长沙整军后回家闲居。曾国藩坐困江西期间，他三个弟弟皆奉父命出而带兵，以助其一臂之力。曾国华赴湖北求救，普承尧、刘腾鸿、吴坤修一支就是他搬来的救兵。以后，他又投到李续宾军中，参谋军事。曾国葆改名曾贞干，号事恒，再出投军湖北，留于胡林翼帐下。曾国荃则与新任吉安知府黄冕合作，募勇攻打江西吉安，故其所部称吉字营。曾国荃起初同周凤山合军，及周凤山部败溃后即独领全军六七千人。攻陷吉安后，曾国荃即前往抚州，投靠曾国藩。他遣散旧勇，更募新勇，使所部新旧勇总数达五千八百人。此时，张、萧两军已返湖南，吉字营便成为曾国藩手中的主要武装力量。李鸿章是咸丰八年十二月来到曾国藩大营的。曾国藩先令其回籍招募马勇，想让他统带马队，但没有搞成。咸丰九年五月又令李鸿章随曾国荃攻打景德镇，进一步在军事方面加以历练。攻陷景德镇之后，李鸿章又回到曾国藩身边，负责草拟奏、咨、函、札，甚得曾国藩赏识，称“少荃天资于公牍最相近，所拟奏、咨、函、批皆有大过人处，将来建树非凡，或竟青出于蓝，亦未可知。”李鸿章亦向人表示：“从前历佐诸帅，芒无指归，至此如识南针，获益非浅。”（《庸庵笔记》，第1卷，第9页。）可谓气味相投，相得益彰。从此，李鸿章找到了理想的靠山，曾国藩也得到一个亲信和得力助手。