王鑫是曾国藩的同乡，罗泽南的学生，湘勇最初的倡导者。在平定湖南各地的土匪时，王鑫表现突出得到湖南巡抚骆秉章的赏识，支持他粮饷军火，让他招满3000人。王鑫招募成军后，不受曾国藩的节制，独立指挥。1857年8月，王鑫病死于江西乐安，由张运兰接替，后归蒋益澧接替，再后由刘松山、刘锦棠负责。左宗棠到江西后，这支湘军划给他管，1862年由江西进入浙江。这是老湘营。
曾国藩到省城帮办团练，提出办一大团的思路。1853年8月移驻衡阳，招募水陆两师。第二年正月，曾军成立，有陆军5000人，分为大小13营，以塔齐布、周凤山、储褚躬、林源恩、邹世琦、杨名声、曾国葆统之，派塔齐布作先锋；水师5000人，分10营，由成名标、诸殿元、杨载福（后改岳斌）、彭玉麟、邹汉章、龙献琛、褚汝航、夏銮、胡嘉垣、胡作霖统之，派褚汝航作总统。拥有船只包括拖罟1只，快蟹10只，长龙50只，三板艇150只，改造钓钩船120只，租用辎重船100多只。拥有来自两广、湖南提供以及自己购买的大炮570尊；设立粮台，带米12000石，煤18000石，盐40000斤，油30000斤，军队所需的东西，要用的工匠，携带随行；加上后勤人员，总计人数17000人。
曾国藩组织的军队主要特点是：
第一，是集团。曾军出征后，罗泽兰、刘长佑等都归他调度；王鑫单独成军，后来王鑫死于江西，其军也归入曾国藩。曾国藩用人不分畛域，不止用湖南人，所以加入他集团的外籍人不少，像李鸿章兄弟、鲍超、沈葆桢、闫敬铭等等，只要是进入这个集团，为这个集团效力的就是湘军。
第二，组织结构合理。他的营制是先进的制度，战斗部队与后勤保障相结合，这是自古未有的。一个营500人，其中后勤人员180人。春秋战国时期，士兵要自己做饭吃。孙膑就是利用这一点，采用减炤的办法迷惑庞涓，打败了强大的魏国军队。曾军对外只有专门的后勤人员才可以去采购，减少了军队与百姓的接触，体现了“行军以不扰民”遵旨，也可以确保在很大程度上不扰民与少扰民，有利于军民关系的融洽。曾国藩还改变了之前军队单纯依靠国家提供粮饷的做法，由地方政府与民间“集资”来供他打仗，打到哪里吃到哪里。在湖南吃湖南，到湖北吃湖北，到江西吃江西，到江苏吃江苏、广东。到哪里吃哪里，必须作出成绩，没有成绩别人不会给你吃。
第三，精神教育与技能培训相结合。自古以来，打仗就是打仗，没有哪一支军队是为了一个思想去打仗的。曾国藩改变了这种历史状况，他用儒家的思想来教育湘勇，使湘军广大将士明白了为什么而战的问题。明白了为什么而战，战斗意志随之增强，战斗力随之提高。然而，光有思想、有主义还是不行的。作为一个务实的领导者，还要让自己的追随者、自己的士兵具有真本事。曾国藩最强调士卒的训练。他将训练、筹饷、选将作为三大治军要务，坚决反对未经训练的新兵上战场，认为“新集之卒，不足以当大敌”；挑选勇不难，难的是训练；要求新兵必须训练两个月后，才可以使用，对那些训练不合格的要严格淘汰。为了让湘勇明白训练的目的与作用，曾国藩还专门写了通俗易懂的《见喻新募乡勇》，说：
原是要你们学些武艺，好去与贼人打仗、拚命。你们平日如不早将武艺学得精熟，将来遇贼打仗，你不能杀他，他便杀你；你若退缩，又难逃国法。课课见学的武艺，原是保护你们自己性命的。若是学得武艺精熟，大胆上前，未必即死；一经退后，断不得生。……于今要你们学习拳棍，是操练你们的筋力；要你们学习枪法，是操练你们的手脚；要你们跑坡跳坑，是操练你们的步履；要你们学习刀、矛、钯、叉，是操练你们的技艺；要你们看旗帜、听号令，是操练你们的耳目；要你们每日演阵，住则同住，行则同行，要快大家快，要慢大家慢，要上前大家上前，要退后大家退后，是操练你们的行伍，要你们齐心。你们若是操得筋力强健，手足伶俐，步履便捷，技艺纯熟，耳目精明，而又大家齐心，胆便大了。一遇贼匪，放炮的放炮，放枪的放枪，刀、矛、钯、叉一齐上前，见一个杀一个，见十个杀十个，那怕他千军万马，不难一战成功。
虽说是讲一些训练的道理，却也可以看出曾国藩对湘勇教育的良苦用心。训练有明确的目标：
一练纵步上一丈高之屋，欄步越一丈宽之沟，以便踹破贼营；一练手抛火球能至二十丈以外；一练脚系沙袋，每日能行百里；一练每十人一队，皆习戚氏之鸳鸯阵、三才阵，以求行伍之乱；一练鸟枪、抬枪，必须打靶较准。
按照这个要求，简直是培养特种兵。难度大，要求高，要做到绝非易事，做到了则绝非平庸。为了将训练落到实处，他还规定自己或手下亲自去看操。同时制定了训练的奖励措施。曾国藩将思想教育、训练等等融为一体的做法，真正达到了他培养“艰难百战之卒”的目的。
第四，感情投入与物质鼓励相结合。湘军有一个特点，那就是亲戚带亲戚，乡邻带乡邻，朋友帮朋友。一个将领选定后，他所募的勇都是自己的亲朋好友与乡里乡亲，平时就有感情，一到战场更是抱成团。这就好比是一个家族制企业，用自己人放心；和现代企业制度下的用人截然不同。曾国藩对自己的追随者，组织的主体人员有很深的了解，他分析湘勇的优缺点时指出：
湘勇佳处有二：一则性质尚驯，可以理喻情感；一则齐心相顾，不肯轻弃伴侣。其不佳处亦有二：一则乡思极切，无长征久战之志；二则体质薄脆，不耐劳苦，动多疾病。
湘勇的优点是讲感情，讲团结；缺点是思乡心切，体质差，不耐久战。有这两个缺点，所以更需要团结，需要互相帮助。不团结，是国家军队的致命缺点，曾国藩深刻吸取了这一教训，从一开始组织军队，就注重团结。他的态度是：“大局所在，只论地形之要害，不得顾友朋之私谊，即君父谕旨所指示，亦有时而不敢尽泥也。”
牵涉到军队团结的问题，就不能讲面子。开始他和王鑫一起募兵，自筹粮饷，不依赖湖南政府，后来王鑫得到骆秉章支持，不听曾国藩调遣，曾国藩毅然不带他出兵。讲感情，也不忘讲物质激励。作为领导者来说，运用工资作为手段，激励追随者与员工是非常重要的。湘军采取的是高薪聘任制。不仅将领高薪，一般士兵也是高薪。士兵每月4两多，营官每月300两，统领带5000人，每月3600两。这样高的工资，是国家军队以前所没有的。出省还要加钱。抚恤费也高。当时二品京官年薪500两。古人说：“夫鱼食其饵，乃牵于缗；人食其禄，乃服于君。故以饵取鱼，鱼可杀；以禄取人，人可竭；以家取国，国可拔；以国取天下，天下可毕。”（万卷出版公司，2008年版《六韬?三略》第004页）这么高的工资，对于濒临崩溃的湖南农村经济下的人们来说，应该是颇具吸引力的。有的人在战争中发了财，过上了好生活。曾国藩后来感叹说：湖南人要像以前那样靠带兵打仗发财很难了。高工资正是凝聚湘军的重要措施。
不断更新的湘军
很多领导者最大的麻烦、最感头痛的是：随着组织的发展壮大，队伍越来越大，人多成为组织的巨大包袱，却苦于没有办法解决。中国的机构改革自武则天以后，从来没有改出伟大的成就出来，原因就是没有好的措施。曾国藩找到了一个解决机构臃肿、人员庞大的问题，保证了湘军的“常新之气”。这种办法，就是淘汰制度。所谓淘汰，就是将不合格的勇从自己的组织中剔除出去，发给路费，打发他们回家。淘汰是曾国藩制胜的杀手锏，是提升军队战斗力的有力武器。
精挑细捡，从源头上堵。对于勇的挑选曾国藩是非常讲究的，要求做到“须择其精而又精者”，他曾经嘱托彭洋中给他在邵阳招募一个亲兵营，共需360人，但彭只招募了100多人，曾国藩说：“但求其精，不必取盈三百六十之数，若买菜求益也。”宁缺毋滥，是其挑选勇的基本准则。有一次他看见荫翁招募的600名邵阳勇，一个个“身材坚实，技艺矫健，不特远过湘勇，抑超乎岷老新宁诸勇之上”。看到这么好的勇，曾国藩就想挖到身边来当亲兵。可是荫翁不给。没有办法只好从其他的160人中挑选，最后只选了103人。曾国藩选勇有“五不”：城市人不选，标兵不选，浮滑者不选，体弱者不选，逃兵（勇）不选。一味到穷乡僻壤、深山老林中去寻找那些朴实、有家产的老实农民。他们吃苦耐劳，诚实可爱，尊敬统领，忠诚组织，团结互救，名利淡泊。有了这样一支军队，还怕打不赢仗？
察看实验，从训练与实战中选。第一道关过了之后，不一定就可以真正成为一名勇，还要看操练，还要经得起实战。他认为：
前此为赴鄂救援之行，不妨仓卒成军，近日为东下讨贼之计，必须简练慎出。若不教之豕，仍同灞上儿戏之军哉!故此行不可不精选，不可不久练。
简练慎出，就是要对已经招募的士卒再一次挑选。1853年10月有湘勇5500人，曾国藩认为太多，必须“严汰慎选”。这5500湘勇，有的是从援救江西回来的，有的在镇压湖南土匪中立过战功，应该算是老兵了，但是曾国藩还是要求淘选，可见其对士卒素质的重视。湘军行军打仗时间一久，这样那样的问题也就出现了。“历岁稍久，亦未免沾染习气。”沾染了习气怎么办？“凡官气重、心窍多者，在所必斥。”淘汰就是“斥”的一种。王鑫死后。老湘营由张凯章负责，张凯章刻的关防印信为“统领老湘营”，吴翔冈不服从他的指挥，嘲笑他的关防。曾国藩认为这是不团结的表现，批评吴翔冈，最后撤调了吴一军。李元度徽州之战失败后，他招募的平江勇经过淘选后由左宗棠管带。
统领换人，撤销机构，另起炉灶。统领由于身体健康，或者牺牲、病故等原因，退出指挥机关，他所统领的军队怎么办？是不是立即安排一个新的统领接班呢？政府军队的做法是这样的，但是湘军却不完全是这样的。为了保证士卒对新的统领的依赖、服从，必须撤销旧的编制，由新统领重新招募。士卒还是那些士卒，当然有一部分被淘汰了，但却是新的统领的士卒，与旧的统领没有关系了。
在不断淘汰湘勇的同时，曾国藩还注重输入新的血液。经过大战或者疾病后，军队减员现象很严重，需要经常增加兵员，这就需要统领回家乡募兵。曾国荃在攻下漕运、进驻雨花台后，曾经回家募兵，扩充了实力。1862年开辟上海战场与浙江战场，他组织了淮军、左军。新军的成立，大大增加了湘军的战斗力，为其事业的成功插上了腾飞的翅膀。