改世兵制为募兵制。绿营属世兵制，国家立有军籍，父子相承，世代为业。绿营子弟成年即在营习武，称随军余丁，营中遇有空额，便可补名吃粮。所以，绿营一般不从营外招兵，只在余了不足时才自外募补。勇营则全部公开招募。曾国藩在此基础上又进而采取层层选募的办法，即大帅挑选统领，统领挑选分统，分统挑选哨官，哨官挑选什长，什长挑选士兵。这样，“口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠，平日既有恩谊相许，临阵自能患难相顾”。
为了加强湘军内部上下左右的联系，曾国藩特别注重地域原则和私谊。所以，湘军士兵只在湖南招募，又多集中于长沙、宝庆二府，尤以湘乡县最多，军官则多为师生、故旧、亲友、族属。为防止士兵逃跑，湘军还规定应募者必须出具保结，并将其府县里居及父母、兄弟、妻、子姓名详细登计入册，使士兵不敢轻易离营，一旦有人逃走，即可令原籍地方官访拿，向家属通索。
加强各级军官的权力。曾国藩规定，一军之权全付统领，大帅不为遥制；一营之权全付营官，统领不为遥制。这样就大大加强了各级军官的相对独立性，使他们成为所在单位的绝对权威。从此，湘军中也就逐渐形成对内专制跋扈、对外力谋独立的风气。
兵权与饷权合一。八旗、绿营粮饷出自国库，平时由驻防省份的粮道发放，战时由朝廷任命的粮台委员发放，放款缓急及数量多少“粮台委员得以主持”，与带兵将帅无关。湘军粮饷自筹，粮台仅负责粮饷的收交和转运，“无论支发何款”，皆由大帅“亲自裁度”，“不与委员相干”。
提高弁兵的薪饷标准。绿营兵饷分为行粮和坐粮两种标准。
平日薪饷甚低，无以自存。遇有战事则薪饷、赏银数量陡增，又给筹饷造成很大困难。一旦饷银筹措不齐，弁兵即滋闹抗命，贻误大局。所以，曾国藩批评这种粮饷制度是“平日有少粮之名，临事无省费之实，百年受养兵之累，应急无破寇之效”。为除此弊端，他在制定湘军饷章时取消了行粮、坐粮之分，规定每正勇一名每月饷银四两左右，同绿营相比则低于行粮而优于坐粮。这样就大大提高了失意书生和山乡穷苦农民投军的积极性。
加强军事训练和思想政治教育。曾国藩非常重视新募兵勇的训练，明确规定各项训练标准，虽酷暑时节亦不肯少懈，以致被指责为“虐士”。他认为“新募之勇全在立营时认真训练。训有二，训打仗之法，训作人之道。训打仗则专尚严明，须令临阵之际，兵勇畏主将之法令甚于畏贼之枪子；训作人之道则全要心诚，如父母教子，有殷殷望其成立之意，庶人人易于感动”。
曾国藩对士兵和下级军官进行思想政治教育的主要方式是队前讲话，“每逢三、八操演，集诸勇而教之，反复开说至于百语”，“虽不敢云点顽石之头，亦诚欲苦口滴杜鹃之血。”其对高中级军官进行培养教育的主要方式是个别谈话和书信、批札。他在一封奏折中颇为自豪地宣称：“臣昔于诸将来谒，无不立时接见，谆谆训诲，上劝忠勤以报国，下诫骚扰以保民，别后则寄书告诫，颇有师弟督课之象。其于银米子药搬运远近，亦必计算时日，妥为代谋，从不班以虚语。各将士谅其苦衷，颇有家人父子之情。”可以说，这是曾国藩带兵的重要特点，八旗、绿营乃至以往各朝的军队是很少这样做的。
清王朝总结历代统治者的经验，为防止带兵将领和地方督抚拥兵自立，采取了种种防范措施，实行兵饷分离、军政分离，财权与行政权分离，使地方文武官员互相牵制，谁都无力同中央政府对抗。曾国藩通过上述改革，不仅改变了八旗、绿营的军事体制，也彻底改变了军营风气。从此，兵为国有变为兵为将有，军队亦由国家武装力量变成谋取私利的武装集团。这次军事体制的改革也就成为中国近代军阀制度的滥觞。
只有团结的军队，才能有令即行，形成一种气势，气概，无往不胜。曾国藩深恶痛绝的还是八旗绿营内部的涣散，彼此“败不相救”，他在给江忠源的信中说：“国藩每念今日之兵，极可伤恨者，在‘败不相救’四字。彼营出队，此营张目而旁观，哆口而微笑，见其胜，则深妒之，恐其得赏银，恐其获保奏；见其败，则袖手不顾，虽全军覆没，亦无一人出而援手拯敷于生死呼吸之顷者。”
因此，他认为绿营军亟需改革，种种恶习、积习、陋习必须一扫而光，他制定了“别开生面，斩断日月”，“改弦更张，赤地立新”的改革方针，立誓要创建一支崭新的有气势、有气概的军队。这是一支“士卒精强”，“制械精致”的武装，一支可“破釜沉舟，出而图事”的劲旅，一支“诸将一心，万众一气”的队伍。为此他在湘乡守籍时创制了《要齐心》的歌谣：
我境本是安乐乡，只要齐心不可当。一人不破二人帮，一家不及十家强。你家有事我助你，我家有事你来帮。若是人人来帮助，扶起篱笆便是墙。……纵然平日有仇隙，此时也要解开结。纵然平日打官方，此时也要和一场。大家吃杯团圆酒，都是亲戚与朋友。百家合成一条心，千人会缴手一双。
正是由于曾国藩的种种努力，湘军果然成为“齐心相顾，不肯轻弃伴侣”的部队，他们即使平时有仇隙，可一到战场却能同仇敌忾，气势浩荡，死生相顾。这里最重要的，是曾国藩身先士卒，起带头作用，不敢一事懈怠推诿，所以众将士才有呼必应，奋勇杀敌的。只要皇家让于的，就干好，干得出色。
不得避事，这正是曾国藩作为人臣的信条。林则徐也说：“知难而退，此虽保家保身之善谋，然非人臣事君致身之道”敢于当事，勇于承担责任。
鞠躬尽瘁，死而后己，这就是曾国藩作为人臣的最高理想，这就是他为什么在岳州、靖江、湖口三次大败以后投河自尽的原因。表面上是他兵败后无颜见江东父老，内心里却是儒家文化的熏陶所致。他要以死报国，以身全志。《礼记》中说：“国君死社稷，大夫死众，士死制。”大丈夫就是要为忠于职守而献身，元稹曾经说过这样一句话：
——效职无避祸之心，临事有致命之志。
“夫战，勇气也”，所以曾国藩表示：“不带勇则已，带勇则死于金陵，犹不失为志士。”他还以袁简斋的一句诗勉励自己：男儿欲报君恩重，死到沙场是善终。
曾国藩对其幕僚李鸿章说过，人活着就是为了一口气，人活着就是一场很艰难的“久战”。这场久战就是要懂得“夫战，勇气也”的道理，要不时蓄养锐气，善于用气，取得人生久战的胜利。
曾国藩对于作战及人生在世的“勇气”（挺）十分重视。其实，人只要有勇气，有了挺的精神，活得精彩，让人感到惊心动魄，既使失败了，也会给历史留下一段价值的永恒。
他常常讲垓下之战的项羽。
汉高祖四年（公元前203年）八月，楚汉双方达成了鸿沟议和，中分天下，双方罢兵。项羽按照和约的规定，释放了刘邦的父亲和刘邦的妻子吕雉，并撤军东走。
楚军撤走后，刘邦也准备下令撤军西退。这时张良、陈平向刘邦建议说：“现在汉已占领了天下的大半，诸侯皆归附。楚军已疲惫不堪，粮食断绝，这正是天亡楚军之机，不抓紧机会而消灭楚军，就是养虎遗患”。刘邦采纳了张良、陈平的建议，停止撤军西退，而乘项羽东走的机会，撕毁双方共同商定的约言，转而率军紧紧追击项羽军，遂爆发了垓下（今安徽灵壁东）战役。
汉高祖五年十月下旬，固陵之战后，楚汉双方仍对峙于淮阳地区。此时，韩信军已率军南下，以一部兵力引诱楚军出击，双方战于九里山一带。西楚军陷于韩信军伏击中。韩信军之骑兵部队乘机向彭城进攻，一举将彭城击破，汉军接着一一攻克了今江苏北部，安徽北部、河南东部等广大地区，兵锋直趋项羽军之侧背。
项羽军兵败，再失彭城，今苏北、皖北、豫东等广大地区被汉军占领之后，无法稳住局势，只得率军政官吏，携大量贵重物资，向东南方向撤退。此时，项羽军已更加陷入危机之中。十一月，项羽率领近10万军队向垓下地区败走。到达垓下地区后，项羽与大将季布、钟离殊等都认为垓下地区地形险要，可以防守，于是决定构筑营垒，进行防御，以便整顿部队，恢复军力，准备与汉军在垓下地区决战。此时，项羽军的大致态势是：季布军在垓下以西以南地区；钟离殊在垓下以东以北地区；项羽自率主力于垓下周围地区。
韩信军取得九里山大捷、进占彭城后，得知项羽率军向彭城东南方向撤走，于是挥军继续向东南方追击项羽军。这时，楚之大司马周殷叛楚后，率兵进占了楚之六地，接着统率九江兵与将军刘贾向北攻占城父。至此，汉军、齐军、九江军及彭越的梁军等四路大军会师于垓下，构成了对项羽军的包围态势。当时汉军及各诸侯军的关系位置大致为：齐王韩信统率的齐军驻于垓下东北地区；九江王英布指挥的九江兵驻于垓下的西南地区；梁王彭越指挥的梁军驻于垓下的北部地区。
汉方各路大军在完成对项羽军的直接包围后，便加紧准备与项羽军的最后决战，以求彻底歼灭项羽军。韩信为向垓下进攻，做了如下部署，以将军孔熙军为左路，费将军陈贺居右路，韩信自率主力在中路主攻。汉军在韩信统率之下，分路向垓下之楚军进攻，楚军在项羽率领下，奋勇力战，多次击退汉军的进攻，但由于项羽兵力已经有限，无力出击汉军，更难以迫使汉军撤退，终于在汉军多面夹攻之下，退入营垒坚守。韩信军遂以各路大军，把项羽军重重包围。双方虽经不断作战，但汉军尚难以彻底打败楚军，为尽快将楚军击败，张良建议刘邦采取以瓦解楚军斗志为主的“攻心战”。以楚方归顺人员和汉军中善唱歌者，每夜皆唱楚词，楚歌。
项羽兵困垓下，兵少食乏，处境更加险恶。前线坚守营垒的部队，每日黄昏战斗停顿时，就听到四周唱出的楚歌声。士卒听到这种楚国乡土歌声，看到自己目前的处境，极大地影响了战斗意志。早已被汉军收买的项王叔父项伯，力劝项羽夜间巡视军营，以便让项羽听到四周的楚歌声，瓦解项军的斗志。果然，项羽听到这些歌声后，十分吃惊，他说：“难道汉军已经把楚国的地方都拿下来了吗？为何他们中间会有这么多的楚人呢”？项羽面对这种局面甚为忧虑，半夜里在营帐中饮酒解愁。
项羽有一位妃子虞姬，很受宠爱，时常跟随在项王身边。项羽还有一匹白色的好马，名叫骓，是他最得力的战马。项羽连饮酒边悲凉地歌唱：“力大能够拔山啊，气壮盖过了全世，不料时势不利啊，连乌骓马也不济！乌骓马不济了啊，那可叫我怎么办？虞姬啊，虞姬！怎么能对得起你”！项羽接连唱了几遍，虞姬也应和着一同唱。根据《史记正义》引《楚汉春秋》记载，虞姬当时也唱道：“汉兵已略地，四方楚歌声。大王意气尽，贱妾何聊生”？唱罢，即自刎而死，项羽的泪水一行行地涌流，左右的人也都泪流不止，以致互相不能抬头相看，气氛甚为悲壮。
虞姬已死死，项羽悲痛地上马出营，率领部下800精锐骑兵乘夜突围而去。次日天明，汉军才得知项羽已经突围，韩信急令灌婴率领5000骑兵追击。由于项羽突围之先头骑兵急驰而行，后续骑兵未能全部跟上，待项羽渡过淮水之后，仅跟上来百余骑士，项羽行至阴陵，迷失了方向，便向一个老农夫问路，老农夫骗项羽部队说，向左走。项羽于是向左急奔。但走不多远，即陷入了大泽之中，行进艰难，很快被灌婴骑兵追上。项羽又引兵向东突进，至东城（今安徽定远东南50里）地区后，仅剩下28名骑士，而汉军追兵竟有数十骑。项羽此时自料不能逃脱，便对跟随他的骑士说：“我从起兵到现在已经八年。亲身经历过70多次战斗，真是战无不胜，攻无不克，从未打过败仗，因此，做了天下的霸王。不料今天倒被围困在这里，这是天要亡我。并不是我在战争中的错误啊！”项羽接着又强调：今天要决一死战，必须做到三战三胜：溃围（击溃敌人，突出重围）、斩将（杀敌将领）、刈旗（砍倒敌人的旗帜）。
项羽说毕，将自己的28名骑兵分做四队，对着四个方向，汉军骑兵虽然包围了数层，但项羽毫无惧色。项羽说：“吾为公取彼一将”。于是他命令骑兵坚决向敌冲杀，到达山下后，在山东分三处集合。项羽吩咐完毕后，即呼喊冲杀而下，将汉军打得人仰马翻，四处溃散，并斩杀汉军骑将一人。项羽军到达山东三处集合后，汉军再分三队将项羽军团团围住，项羽率兵又驰逐冲杀，斩杀汉将一人，杀死汉军百余人。项羽将自己的兵马又集中起来，结果发现自己仅亡两骑。项羽对众人说：“各位看我打得如何”？众骑兵说：“诚如大王所说的一样”。项羽得胜。乘汉军混乱之际，冲出一条血路，向南疾走，准备渡过长江。项羽到达乌江，乌江亭长撑船靠岸，等待项王上船，亭长对项王说：”江东地方虽然不大，但方圆也有千里。有民众数十万，足够建立霸业。请大王急速渡江，这一带只有我有船，汉军到后将无船渡江”。
项羽笑着对乌江亭长说：“上天要灭亡我。我不能渡江了。当初我带领江东8000子弟渡江西征，现在没有一人生还。纵然是江东父兄谅解我，继续拥我为王，我有什么面目见这些父老？即令是他们不谴责我，我也羞愧难吝。我知道你是忠良之人，我骑的这匹马只有五岁，所向无敌，一日可以行千里，我不忍心杀之，现在赠送给你。”项羽把自己的乌骓马送给乌江亭长后，命令所有骑士均下马步行，以短兵器与汉军骑兵搏斗。项羽一人即杀死汉军将士数百人，自已受伤十多处。
项羽在冲杀间看见汉军中的吕马童，便指着吕马童高声说：“你岂不是我的老部下吗！”吕马童看见项王后，即指给汉将王翳说：“此项王也。”项羽对王翳说：“我知道汉军要出千金得我的头，还要封万户侯，为了使你得到功赏，请把我的头拿去吧。”项羽说罢，便自刎而死。王翳割取了项王之头，汉军其余将领争割项羽尸体，以便回军请功。
历时四年半的楚汉战争，起于刘邦夺占三秦之战，至垓下一战才告结束。刘邦与项羽之间的战争，终于以刘邦彻底胜利和项羽军的覆灭而载入战争史册，留下一个失败的英雄——历史人格不尽的咏叹。