团练是保甲法的遗意，用于防守地方小股盗寇还勉强称职，倘若用来防御强敌就变得无能为力。多少年后，曾国藩的幕僚薛福成在总结曾大帅成功时还非常有感触地说：“有得力之劲军以剿强寇，而以团练辅之，为坚壁清野计则可，专恃团练以剿强寇则不可”。他还指出：不管是决策层还是言官们，都觉得团练可以成功，因为没有筹饷之难，没有募兵之劳，反而能坐享其成，“其说非不美也”。但作为思想家的薛福成却一针见血地指出：“天下事没有实际意义的很少收到成效，而务虚名的多留后患。”他举出三个例证：一个是罗绕典，当时在籍“丁忧”，闻诏后即赴长沙与本省巡抚会办军务；另一个是前刑部尚书陈孚思，在南昌与江西巡抚办军务。这也是清廷最早任命的团练大臣。因为二人与巡抚同在城中，又时间非常短，因此虽然没有收到成效，但也不至于互相倾轧。后来者就不同了。像安徽的吕贤基，以工部侍郎在籍办团练，但当皖北危急时，却无兵又无饷，赤手空拳，最后殉难舒城。
与这些人相比，曾国藩走出一条新路：这条新路也就是打“练”字招牌，将勇改练成军。因此薛福成说：“文正以团练始，不以团练终，且幸其改图之速，所以能成殄寇之奇功，扩勇营之规制也”。
曾国藩属于帮办团练，咸丰帝在接连发下的办团练谕旨中，一再申明办兵原则，也就不能取代正规军：“著各该抚分饬所属，各就地方情形妥筹办理，并出示剀切晓谕，或筑寨浚濠，联村为堡：或严守险隘，密拿奸宄。无事则各安生业，有事则互卫身家。一切经费均归绅耆掌管，不假吏胥之手。所有团练壮丁，亦不得远行征调。”这是镇压白莲教起义故技的重演，妄图以此遏制太平军扩大兵力，“驱民为寇”，因为团练不脱离生产，不拿政府军饷，不离本土本乡；同时，团练还要接受地方大吏的督促和管辖，所以团练大臣则只是帮同办理。
但曾国藩对这样办团练并没有兴趣。他要另立新军。
曾国藩带领湘乡练勇赶到长沙后，就向湖南巡抚张亮基表示了他的以上想法。所谓“英雄所见略同”，张亮基也早有此意，二人于是一拍即合。所以，曾国藩到达省城的第二天就发出了他早已拟好的奏折。
曾国藩通达政务，对清廷政治的运作过程非常清楚。所以，对于回乡之后的第一份奏折，他写得很委婉，第一层讲了自己遵照皇帝谕旨，前往长沙办团练，是“勉竭愚忠，稍分君父之忧”。第二层讲团练虽然好，但今昔不同，由于嘉庆年间是官给发饷，现在需要乡绅自己出钱，弄不好会走向反面。第三层讲长沙现今空虚，必须练兵才能缓急可恃。最后则抛出自己的练兵计划，他说：自军兴以来二年有余，时日不为不久，糜饷不为不多，调集大兵不为不众，而往往见贼逃溃，未闻有与之鏖战一场者；往往从后尾追，未闻有与之拦头一战者：其所用兵器，皆以大炮、鸟枪远远轰击，未闻有短兵相接以枪靶与之交锋者。其故何哉？皆由所用之兵未经训练，无胆无艺，故所向退怯也。今欲改弦更张，总宜以练兵为务。臣拟现在训练章程，宜参访前明戚继光、近人傅鼐成法，但求其精，不求其多；但求有济，不求速效。诚能实力操练，于土匪足资剿捕，即于省城防守，亦不无裨益。臣与抚臣熟商，意见相同。
清廷急于平定太平天国，所以只要对此有利，就都开了绿灯。所以咸丰帝令其“悉心办理，以资防剿。”曾国藩的练兵计划获准通过。
曾国藩的政治眼光确实比清政府还有同时代的官僚们高出许多。他看到了问题所在。他的计划通过后，给朱孙诒的信中说，“去冬之出，奉命以团练为名，近来不谈此二字，每告人曰乡村宜团不宜练，城厢宜练不宜团。如此立说，明知有日就解散之弊，然解散之弊尚少，若一意操切行之，则新进生事者持札四出，讹索逼勒，无所不至，功无尺寸而弊重邱山，亦良可深虑也。”在给张亮基的信中更直截了当地说：“惟团练终成虚语，毫无实裨，万一土匪窃发，乡里小民仍如鱼听鸣榔，鸟惊虚弦……难可遽镇也。”他还在批给手下人的批牍中，将本来并没有二致的“团练”一词，“谬加区别”，一分为二。他说：“团练”二字须分看。团，团也就是甲之法，清查户口，不许容留匪人，一言尽之矣；练，则简兵请师，制械造旗，花费非常多，所以乡民不肯举行。本部堂每与各州县道及，宜乡间团而不练，城厢练而不团，庶几有益而易行。”
曾国藩是文章高手，更是通达时变的人。他改造“团练”，让他与当时的四五十位团练大臣分道扬镳。而且，因为“改图之速”，所以“立竿见影”。当然，艰辛的过程又非三言二语可以道破。
北宋刘书在《刘子·兵术》中说：“万人离心，不如百人同力。”宋人许洞也说：“和于国，然后可以出军；和于军，然后可以出阵；和于阵，然后可以出战。”曾国藩不仅是从理论上，而且从以往的经验和教训中，意识到一个群体团结的重要性。
他在给林源思的信中说道：现在大营所调之兵，东抽一百，西拨五十；卒与卒不和，将与将不和；彼营败走，此营不救；此营败走，彼营不救；此营欲行，彼营顾止。离心离德，断不足以灭剧贼而成大功。
曾国藩非常痛恨的还是八旗绿营彼此“败不相救”，他在给江忠源的信中说：“国藩每念今日之兵，极可伤恨者，在‘败不相救’四字。彼营出队，此营张目而旁观，哆口而微笑。见其胜，则深妒之，恐其得赏银，恐其获保奏；见其败，则袖手不顾，虽全军覆没，亦无一人出而援手拯救于生死呼吸之顷者。”关于这一点，早在衡阳练军的时候他就已经充分意识到了，他说：今欲扫除更张，非万众一心不可。
所以，他觉得绿营军的种种恶习、积习、陋习必须一扫而光，他制定了“别开生面，斩断日月”、“改弦更张，赤地立新”的方针，立誓要创建一支崭新的军队。为了他新建团体的“纯”，曾国藩招募湘勇、组建湘军时，决定一个绿营兵也不要，他怕“一根鱼腥一锅汤”，怕勇丁染上官兵习气。这是一支“士卒精强”，“制械精致”的武装，一支可“破釜沉舟，出而图事”的劲旅，一支“诸将一心，万众一气”的队伍。
对于这事，他为自己所要编练的湘军确定了最基本的建军标准。用他自己的话说，这支军队必须要能够做到：呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救。太平军有誓不相弃之死党，吾官兵亦当有誓不相弃之死党。只有如此，才能血战数次，渐新吾民之耳目而夺逆贼之魂魄。
这是一个相当高的建军标准。为了达到这个标准，他从招募勇丁、挑选军官、还有军官对勇丁的控制等各个方面提出了具体的要求。同时，还创制了《要齐心》的歌谣：
我境本是安乐乡，只要齐心不可当。
一人不破二人帮，一家不及十家强。
你家有事我助你，我家有事你来帮。
若是人人来帮助，扶起篱笆便是墙。
纵然平日有仇隙，此时也要解开结。
纵然平日打官方，此时也要和一场。
大家吃杯团圆酒，都是亲戚与朋友。
百家合成一条心，千人合做手一双。
勤劳
【原文】
练兵之道，必须官弁昼夜从事，乃可渐几于熟，如鸡伏卵，如炉炼丹，未可须臾稍离。
天下事未有不由艰苦中得来，而可大可久者也。
百种弊端，皆由懒生。懒则弛缓，弛缓则治人不严，而趣功不敏。一处弛则百处懒矣。
治军之道，以勤为先。身勤则强，逸则病；家勤则兴，懒则衰；国勤则治，怠则乱；军勤则胜，惰则败。惰者暮气也，常常提其朝气为要。
治军以勤字为先，由阅历而知其不可易。未有平日不早起，而临敌忽能早起者；未有平日不习劳，而临敌忽能习劳者；未有来日不能忍饥耐寒，而临敌忽能忍饥耐寒者。吾辈当共习勤劳，始之以愧厉，继之以痛惩。
自古圣贤豪杰，文人才士，其志事不同，而其豁达光明之胸，大略相同。吾辈既办军务，系处功利场中，宜刻刻勤劳，如农之力穑，如贾之趋利，如篙工之下滩，早作夜思，以求有济。而治事之外，此中却须有一假冲融气象，二者并进，则勤劳而以恬淡出之，最有意味。
用兵最戒骄气惰气，作人之道，亦惟骄惰二字误之最甚。扶危救难之英雄，以习为劳苦为第一义。
带兵之道，廉、明、勤三者，缺一不可。廉则银钱不苟，自有以服兵勇之心；明则是非不淆，赏罚公道；勤则营务整顿，在下之人自不敢懒惰废弛。此三者，明字不可强而至，廉字、勤字则勉强做得到的。
该将官阶日大，责任日重，须常记勤恕廉明四字，勤以治事，恕以待人，廉以服众，明以应务，四字兼全，可为名将，可为好官。不论文武大小，到处皆行得通。勤、恕、廉三字，皆可勉强做得到，惟明字甚不易学，必凡事精细考究，多看，多做，多问，多想，然后渐做成个明字。故求明之诀，仍不外从勤字下功夫。该将立志成名，四字中又惟勤字最要紧也。勉之！勉之！无忘！无忘！
——引自《曾文正公全集》
【今译】
练兵之道，必须是官兵昼夜苦练，才能越来越熟练，就像母鸡孵小鸡，火炉炼金丹一样，一刻也不能停歇。
天下的事情，没有不经过艰难困苦，就可以壮大、长久的。所有的弊端，都是从懒惰产生的。懒惰，就会迟缓；迟缓，治人就不严，处世就不迅速，一个地方迟缓，就会处处懒惰。
治军的方法，首先是要勤。身体勤劳，就会健康，贪图安逸则会生病；全家勤劳则家业兴盛，懒惰则衰败；全国勤劳则天下大治，懈怠便会大乱；全军勤劳则获胜利，懒惰便会失败。懒惰，就是沉沉的暮气，应当常常以鼓舞军队的朝气为重要任务。
治军以“勤”字为先，从我的经历中就可以证明这是不变的真理。没有平时不早起，而临敌时忽然能早起的人；没有平时不习惯劳苦，而临敌时忽然能习惯劳苦的人；没有平时不能忍饥耐寒，而临敌时忽然能够忍饥耐寒的人。我们都应当习惯勤劳，开始时要使人有惭愧之心并惕励，继之以痛加惩戒。
自古以来的圣贤豪杰，文人才士，他们的志向不同，但豁达光明的心胸却大致一样。我们既然办理军务，就是处在功利场中，应当时时勤劳，就如农民忙于农事，如商人去追求利益，如划船的人下河滩，白天工作，晚上琢磨，以追求成功。而处理具体事务以外应辅之以冲和的气象，这两者同时并进，那么勤劳中辅以恬淡，这是最具意味的。
用兵最忌的是骄和惰，这两个字对做人造成的危害也最大。作为挽救危局的英雄，应该把习于劳苦作为首要任务。
带兵之道，廉、明、勤这三个字，缺一不可。廉洁了，就不会贪图银钱，士兵们自然心服；见识高明，就不会混淆是非，实施赏罚也会公道；勤劳则军务整肃，下面的士兵自然不敢懒惰误事。这三个字中，明不能强求，廉和勤则是可以靠个人努力而达到的。
将官的职位越高，责任也越大，必须常常牢记勤、恕、廉、明这四个字，勤于处事，宽于待人，以廉明服众，聪明应对，这四个字兼备了，既可成名将，也可成好官。无论是文官武官，大官小官，只要具备这四个字，就什么地方都能行得通。勤恕廉这三个字，每个人通过努力都可以做到，只是明字学起来不太容易，必须对每件事都精细考察，多看、多做、多问、多想，才能渐渐具备这个明字。所以，想要找到明的诀窍，仍然离不开个勤字。作为将领须立志成名，在这四个字中就必须特别注重这个勤字，千万要记住不忘。
脱胎换骨，打造湘军
为避免士兵离营，甚至有意拖欠军钿，或扣下大多数的银存入公所，等士斗遣散或假归时进行核算，酌发部分规银以免川资，其余部分由粮台发一印票，至湖南后路粮台付清。
第一是千磨百折。曾国藩经常说，造物主对大功大名是非常吝惜的，“必千磨百折，艰难拂乱而后予之”。他饱尝的人间苦难，比神怪人物唐僧取经路上的八十一难还要多。他自己说“平生受挫受辱之时多矣，无一次不打脱牙和血吞。”素来傲视群伦、挟“帝王之术”而又以霸才自诩的王恺运在观览曾国藩的奏疏时，也感其“悲苦，令人泣下”，当读到“闻春风之怒号，则寸心欲碎；见贼船之上驶，则绕屋彷徨”时，发出“《出师表》无此沉痛”的慨叹。
曾国藩的磨难不仅是个人的，也是时代的。因为他走的不是爱新觉罗家族给他铺就的路。他以“在籍侍郎”的身份办团练，然而他没有像其他团练大臣那样，他要“赤地立军”。这是他的成功的原因，也是他历经磨折的由来。薛福成作为他的四大弟子之一，道出了这番道理。他说当时团练大臣虽有几十位之多，但或者有名无实，或者以身殉国，或者闻敌即逃，只有曾国藩走出了团练的框框，“是文正以团练始，不以团练终，且幸其改图之速，所以能成殄寇之奇功，扩勇营之规制也”他还说曾国藩虽以团练发轫，“然惟早变其实，并变其名，所以能有成功，否则前事可睹矣”(《叙团练大臣》)。因为曾国藩打造了湘军这条船，而且湘军出征时间不长就把武汉打了下来。他的突出表现让倚食国家饷禄的正规部队汗颜多多。
然而湘军这条船实在造得太大、太显眼，磨折也就接连不断。直到40多岁时，他还说自己是“命薄福浅之人”，不足以当大任。特别是每当关键时刻，总有大的突发事情降临到他的身上，为此他说“事机不顺，似天在磨折”，这或许是他后来总结的成大功大名“人天各占一半”的由来。
第二是厚饷养兵。曾国藩深刻明白，打仗是要死人的，特别是战时状态。所以他在组建湘军时，采取厚饷养兵、用其死力的办法。在确定一名勇丁的月饷时，他找来几位勇丁，对他们在家务农一年的收入情况进行了调查，有人回答自己一年的收入大约有十多两银子。
他又对现行的绿营饷章进行了认真的计算，尽管绿营兵的月饷不多，但加上打仗时所发的行粮，每月也达到白银四两多。他觉得，当兵的应该比种田的收入多三四倍，这样算来，每月就得发给他们白银四两上下。这个数字也正好略低于绿营月饷和行粮的总和，一旦朝廷询问起来也有个说法，不至于授人以口实。他拿定了主意，湘军正勇的月饷被定为白银四两二钱。
清朝的绿营兵平时每月饷银马兵二两，战兵一两五钱，守兵一两，清朝初年还可维持生活，但200年一贯制，绿营兵饷连养家糊口都成问题，哪还有什么战斗力！江忠源等人募勇时，规定每人每月饷银四两五钱，已是绿营兵的近三倍。湘军比此还要高。然而，曾国藩讲究“技巧”，把绿营的行粮也加在一起统算，表面上湘军饷银不高多少，其实绿营兵很难发足饷，往往发到二三成。至于行粮，就不能保证了。也就是说，他算绿营兵时用的是“虚数”，他发给湘军的是实数。可见曾国藩还是动了相当心思的。