曾国藩至衡州后不久，天地会在何贱苟的领导下，先后攻占常宁、嘉禾，转战蓝山、道州等地。这支起义军并非孤立作战，其不但与正在湖北活动的太平军有往来，且与遍布湘南各县的天地会，实为一体，人数非常多。如其在湘南站稳脚跟，两广的天地会和太平军就会趁机进入湖南。正在组建的湘军不用说也会夭折，甚至会对整个战局产生重大影响。
正因为此，曾国藩随即调兵谴将，以湘军为骨干，加上一部分团练，连续作战，终于在年底将起义军消灭。与此同时，曾国藩吸取前述经验教训，制定营制营规，形成严格的封建隶属关系，强化个人对部队的控制，以三纲五常为核心来教育士兵。
道光三十年（1850年），王錱当时还是湘乡一个青年秀才，就已在当地闻名，好抱打不平。咸丰元年（1851年），他不仅是本县办团练的骨干人员，为湘军最初的3个营官之一，且在衡山、桂东等处抗击农民军时，表现凶狠狡诈，声誉大起。曾国藩移驻衡州后，派他回湘乡招募新营，王錱借此机会擅自扩大数额，招至3000人，并与省中大吏直接挂钩，不听曾的指挥。曾国藩断然将王部逐出湘军，又写信给湖广总督吴文镕大加攻击，使王失去调援湖北、获得进一步发展的机会。从此，王錱便自成一军，先投湘抚骆秉章幕下，听从左宗棠指挥，后逐步扩大至4000人，以战功显赫名噪一时，人们称之为老湘军。
建立水师的倡议，据说是由郭嵩焘提出来的，但江忠源在咸丰三年（1853年）二月以来不断议及此事，且吸取张亮基仓促拼凑的湖北水师、九月覆灭于田家镇的教训，十月又致书曾国藩：“现在贼（太平军）正占据长江天险，只有大造船只，训练水勇，先将江面肃清，才能保江南、江西、安徽、湖南、湖北各省的安全。”这就把水师的战略意义，及自造、自制、自练、自统四项建军大纲一一指明了。这样，建立水师的重任又落到了曾国藩的头上，能领水师作战的，也只有他和罗、王等湘军将领。同月，曾国藩决心创立水师，并先后在衡州、湘潭设厂造船，派人到广州采买洋炮，命杨载福、彭玉麟等为营官，招募水勇。
到咸丰四年（1854年）初，以曾国藩为首的湖南士绅，初步稳定了省内封建秩序，境内武装起义和群众斗争暂时缓解，陆军大小13营已经建成5000余人，水师十营共5000人，加上各种夫役，全军多达1.7万人，船舰近500艘（快蟹、长龙、舢板等大中小战舰300余艘，载运物资的民船百多艘）。此外，还有不属于湘军的罗泽南、李续宾两营，归湘抚节制的王錱一军，共3000人。
建军措施
咸丰三年（1853年），曾国藩用一年的时间以绿营为殷鉴，又不断总结建军过程中的经验教训，及时采取措施，逐渐完善了各项制度，使湘军全新的面貌得以确立。这归纳起来，有以下五个方面：
曾国藩特别重视选拔将领，特别是营官。他用了几个月的时间考虑人选问题，入选者除了应有才干和不怕死、不怕苦、不急功近利外，更须有“忠义血性”。也就是说，他认为人的才德是最为重要的，官阶资历倒在其次；同时，他又认为绿营腐败，已“深入膏肓，牢不可破”，为了杜绝绿营军恶习对湘军的腐蚀，又强调必须“赤地新立”，硬性规定必须全都招募新人，不收一名绿营军，将官更要严加选择。根据以上两点，两年内，被录用的军政骨干人员79人，绿营武弁只有13人，占总数16%。这些人都是平时能吃苦，临阵奋勇，声名较好之人。就籍贯而言湘军具有浓厚地方色彩，除不明者5人外，非湘籍只有15人，占总数19%，湘籍59人，占总数74%。而且，不但将领大多是湖南人，还多为湖南地主士人，湘籍中家庭为地主者44人，个人为士人者40人，分别占湘籍总数74%和68%。
在水师将领中，外籍人口占有一定比例，体现了任人为贤的标准。其中有5人为水师专门人才，如陈辉龙就为实缺水师总兵，其余10人除个别人外，都为在当地有一定的影响、深为士绅赞许的小官吏。如李翰章为知县，官声好，又是曾国藩好朋友的儿子。林源恩为平江知县，官声很好，办团积极，又主动要求参加湘军。罗泽南、王錱等只有生员一类功名，甚至还有不少白丁，同样被委任为营官。与林源恩、王錱、陈辉龙等人毫无差别，这种破格用人的做法，以后其他湘军将也竞相仿行，逐渐形成了湘军特有的用人制度。这种制度“只论事寄轻重，不在品秩尊卑”。所以，有的做到了提镇的官，却仍然当哨官、什长；有的到了副、参、游等职，但仍兼做普通散勇；或是身兼统领与营官。这样，既有利于选拔人才，又有利于将帅以个人亲疏恩怨取舍人员；为他们培养亲信，控制部队，创造了条件。
慎募勇弁。湘军最初三营是湘乡团勇，全是本乡本土农民。后来成立新营，曾国藩先委派营官，再让他们自行招募士兵，每营士兵只服从营官一人，所以战斗力极强，湘军初建时也便于管理。也有例外，如褚汝航在湘潭监造船舰，便是由别人代募，结果所招虽为湘乡农民，却仍不服褚汝航等管束，甚至闹事。于是曾国藩规定了如下的募勇方式，即第一，所募勇弁必须是农民；第二，必须营官自招；第三，营官与勇弁必须有某种同乡关系。
这样，随着湘军的发展，便形成逐层递选制度，先由曾国藩选择将，然后由将选择营官，再由营官选择百长（哨官），以下百长与什长、什长与散勇依次递选。为了保证勇丁必是合格的农民，曾国藩又在《营规》中明确规定：“须择善于耕稼，年轻力壮，朴实而有农夫土气者为上；其油头滑面，有市井气者，有衙门气者，概不收用”；同时，还须有人作保，登记本人的府县、里居、父母、兄弟、妻子、名姓、箕斗，存档备查。
完善营制。湘军初时以360人为一营，后来曾国藩探讨武器配备，认为热兵器小枪抬枪为军中利器，不断予以加强，改善抬枪方法。每哨添加热兵器两队，一营四哨，每哨8队，冷热兵器各4队，另有亲兵6队，合计全营共500人，外加营官1人，哨官4人，实为505人。以后随时有小的改动。另外，各营官有帮办和其他办事人员若干，不在编制之内，其经费开支，由营官在公费银内自行支出。曾国藩非常重视各种武器的配置，刀矛利肉搏，而近、中、远程则可分别用小枪、抬枪和劈山炮，这种配置非常有利于作战。同时，还规定每营有长夫180人，长夫的职责为行军时运输物资武器，扎营后则筑墙挖壕，实为现代辎重兵、工兵的雏形。这样就省去了征用民夫的麻烦，且有利于其他将士休息，可以称得上中国军事史上的一个创造。
水师的配置如下：初时每营500人，其中大型快蟹一船多至45人，中型长龙24人，舢板14人。后来经过实战不断调整大中小各型战舰的比例、人员的配置，如发现内河水系，湖河港汊复杂，大型船笨重，不利灵活作战，终于形成去大减中增小的方针，至咸丰六年，每营长龙8艘，舢板22艘；人数也相应减少。后来又根据实际情况减少了长龙数目。咸丰九年（1859年），继陆、水军之后，湘军又正式建立骑兵，并建立相应的马队营制。各大支湘军骑兵多少无定制，至同治元年（1862年），曾国荃军见于奏报者，就有7营之多。
曾国藩又制定各种条规，对士兵严加控制，要求各营从凌晨到晚间二更，站墙子、看操、点名各两次，每月营官亲自点名看操四五次；同时，还严禁赌博、鸦片、奸淫，对散布谣言，离散军心，擅自结盟，鼓动士兵骚乱的，轻则严究，重则斩首。
厚给粮饷。当时各将帅所招勇营，粮饷充足，正勇月饷有多达五两二钱者。曾国藩认为这样太高，每人减少一两正勇月饷，亲兵护勇稍稍多点。营官月饷五十两，外给公费银一百五十两，用于帮办等人月薪，置办旗帜号衣等费用。剩余的部分自然归入营官私囊。
水师营官、舱长、炮手分别与陆营营官、什长、正勇相同。营官以上之统领，按统营大小分为几等，3000人以上者，每月加银百两；5000人以上者，加二百两。经过这次调整，虽有所减少，但仍然远远高于绿营兵，正勇月饷高于绿营马兵一倍，高于战兵守兵三四倍，农民年收入，更是无法相比。这样，农民入伍的积极性非常高，有不少人甚至出钱贿买入伍，如杨某“冒充官长，在平江招勇数百，不惟不给日食，且先索应募之勇每名钱三百文，始准入册”。
自办后勤。清廷的后勤制度是兵饷分离，统兵将帅只管带兵，至于粮饷，平时由户部按定制拨发，出征则另派大臣主持粮台，办理各种后勤工作。太平军起义后，形势发生了变化，国库空虚，有时无款可拨，粮饷发生问题，只好听任将帅自筹。一般将帅虽不少人自筹军饷，但缺乏通盘考虑，曾国藩一开始依靠抚藩拨款，但不久，特别是到衡州后，决定自己解决粮饷问题，制定相应规章，派人设局劝捐；同时，又自行设厂造船，制造军火武器，甚至还雇用大批民船，与水师同进止，储运部队各种作战和生活物资。这一套自筹军饷，自办后勤的措施，虽然实际情况并不很理想，但却证明曾国藩见识广博，深知当时条件下，像湘军这样的军队，不筹军饷，一味依赖清廷，就不能自立，更不能发展。有了这样的认识，确立了这样的方针，至于具体措施，就可以在实践中逐步探索。
以上这五个方面相互配套，贯彻了曾国藩一开始就提出来的“改弦更张”方针，建立起与绿营完全不同的军队。绿营兵实行世代相袭的制度，往往是父子相继；各级将领，或由军功保荐，或由武科举人进士录用，均按定制，逐级升擢；还有一点就是兵将分离，将领调任，所部兵勇不得随往。即兵有长期驻地，将无长期不变的任所。这样就造成了兵与将的相对分离，不易造成反叛力量。士兵所得种种恩惠被认为是皇上的天恩，而非大帅的私惠。与之相反，湘军之勇为招募制，应募入伍则为勇，出伍仍为民，各级将领都由他的上一级亲自挑选，层层隶属。这就使湘军上自将、下至弁勇视选拔他们的各级头目为恩主，把优厚的粮饷视为恩主的私惠。正如曾国藩所说：“口粮虽然由公家拨给，但兵士却感谢营官将他们挑入军营，就好像是受了营官私人的恩惠一样。”各将领对曾国藩更是严格服从，因为他们多由微官或白丁被破格提拔，甚至多次保荐，而得高官厚禄。此外，曾国藩等大帅还提倡师生、戚友、同族、兄弟同入湘军，同在一军，甚至同在一营的现象非常普遍，如曾国藩之弟弟国葆、国华、国荃，江忠源亲弟忠浚、忠济、忠淑，族弟忠义、忠珀、忠信、忠朝，王錱兄勋，族弟开化、开琳、开来，族叔文瑞等，以及肖启江、启淮，张运兰、桂兰，李续宾、续宜等，都是兄弟同入湘军，同在一军。罗泽南的门生李续宾兄弟、王錱、蒋益澧等10余人，均为湘军营官，且不少为他的部将。还有一些人，入军后通过拜师，结金兰，也成了师生和异姓兄弟。以上种种私人关系，在湘军极为普遍，正是通过这种关系，加强了湘军内部的团结，这也是湘军的一大特点。
曾国藩及其手下各级将领精心维护这种种私人关系，形成层层相属的等级关系。如鲍超最初是被曾国藩提拔，后来得到胡林翼更大的提拔，成为着名的大将；当鲍超因故再回到曾国藩的麾下，而不乐意时，胡林翼立即告诫：“不要有什么不乐意的想法”，要鲍超不要忘了曾国藩最初提拔的恩情，告诫他一定要谨慎侍奉曾国藩。对于那些敢萌“他念”，背离恩主，另找靠山的人，他们则给以毫不留情的打击。如曾国藩就曾毫不留情地开除了王錱。曾国藩对李元度的严厉奏参也同样如此。又如鲍超部个别将领，不愿长期屈居营官，自行投靠河南巡抚，另成一军为分统，曾国藩就加以干涉，并给予处分。
在这样制度下选拔出来的湘军将领，就是依靠这种封建情谊而相互维系的，再加上曾国藩、胡林翼、左宗棠等大帅，权势愈来愈大，他们自然要紧紧依附，争做曾、胡所期望的“义士”，对之忠心不二，以求取得更高的升迁。如咸丰七、八年间（1857～1858年），曾国藩丁忧回籍，李续宾、彭玉麟等不仅向他报告军情，听取指示；还要求胡林翼奏请他速出领军，称湘楚各军就象婴儿盼望慈母一样企盼曾国藩。鲍超不仅在曾、胡生前对之忠心耿耿，甚至在他们死后，每年还要定期祭奠。总之，经过曾国藩的苦心经营，在军队等级森严，制约性极强的上下级关系之下，还有一层淡淡的情谊关系笼照着湘军，那就是同乡、师生、戚友、家族和恩主交叉重叠的私人关系网。湘军的这种特制关系网，最高一层就是曾国藩，整个湘军都服从曾国藩一人，他自然也就成了种种关系和感情的凝聚点。
具备这两套系统的湘军，与绿营完全不相同，排他性很强，惟曾国藩、胡林翼、左宗棠之命是听，他人无法指挥，是兵为将有的军队。咸丰七年（1857年），奉清廷命来江西督办军务的西安将军福兴（旗员），官位虽高于曾国藩，但湘军各级将领对他的指挥不以为然，而得到曾国藩的一片纸，就丝毫不敢耽误。对此不满的福兴在奏报中，虽有所埋怨，但清廷不仅无法增强其权威，反而在胡林翼奏参之后，不得不将福兴调走，起用曾国藩。
可见，清廷对这种情况也无可奈何，湘军几乎成了曾国藩的私人军队。这对于高度重视军权的满族贵族，自然是痛苦的，但也是没有办法的；对于军队向由朝廷严密控制的中央集权制度，更是带有根本性的变动。
湘军集团的壮大
调整与清廷的关系