曾国藩认为，用兵打仗，首先要明确的就是赏罚的原则，在确定了赏罚的原则后，就要根据这些原则来严格执行，而不论当事人是亲是疏，只有这样，才有利于军队的建设，才能保证军队打胜仗。"赏功罚过、分明据实"是曾国藩治军的重要原则，他对己对下都严格要求，尤其是立下的军令，更要求必须做到，他认为"视委员之尤不职者，撤参一二员，将司役之尤不良将，痛惩一二辈"，那么"自然人知做慎，可望振兴。"曾国藩认为，对于战功突出者，应给予封典。他在一道奏折中说道："军营中出现空缺，按照先例都由军中人员提拔补充。微臣军中多是兵勇出身，营中无空缺可补。所有官至参、游、都、守、千、把等，均未补有实缺。文职由道、府以至佐杂，也没有通过选举补缺。不久接到胡林翼来函咨询：布政司衔罗泽南、盐运司衔李续宾因战功卓著，请给予二品、三品封典。臣奉旨特地允准在案。义查臣军水陆各营中打仗勇猛者，不乏其人。微臣恳请皇上天恩，批准照罗泽南、李续宾的先例，容许微臣选择那些尤其突出者。给予封典。那些曾经告假回原籍的，一概不准给予。现在营中的士卒，都知道战场上无勇不得为孝，即使在家中的父兄，也必互相训令告诫，鼓励他们杀贼立功，这样足以杜绝兵勇纷纷告假回家的陋习，这对于鼓励从军打仗，实在是大有裨益。"曾国藩认为，对于那些沉迷于安乐的人，则应撤去勇号。他在奏折中写道：
"负责统领水师右营的副将邓万林，原属彭玉麟部下，随军征战多年，还算得力，论功升迁，保荐至二品官职。然而，器量小的人容易自满，他逐渐沉迷于安乐，营中事务荒废懈怠。近日将他调往太湖水师，令他负责驾驶"快蟹一号"前往上海，他总是以索要所欠薪粮为由任意刁难，不服从调遣。如果对他稍加迁就，恐怕这种风气一滋长，就会引发其他各营的仿效。应当请示圣旨，将邓万林降为都司，归部候选，并撤去他的勇号，不准留在营中，以示惩戒。"曾国藩认为，赏罚要据实，并且要注意不论亲疏，都应适用于同样的规则。
赏罚据实，不仅是指赏罚的依据，而且也指赏罚的内容。也就是说，赏什么，必须根据对象的才能和需要；罚什么，必须根据损失的性质和大小，以及对象的可能。例如，某人只有勇力，而少智能，你赏他做官，则为不妥：而在他穷困时，赏他钱财，则正是雪中送炭。再如，某人贪污造成集体损失，仅罚其劳役，就显得很不足；而在罚其劳役的同时罚没赃款，以弥补损失，就显得更为合理。
曾国藩认为，劳苦功高，办事一片赤心者必用。曾国藩说："舍沅弟荷蒙挚爱，有加无已。弟昨观其布置尚属周密，士心亦固结奋发，足慰垂念。
惟地大贼多，兵力尚嫌单薄，统辖二万余人，无一智勇兼全者相助，此等巨任，岂一手一足之烈？沅意欲得金逸亭为之辅，曾具通禀一次。弟因系官、严新劾之人，又希庵、义渠均有违言，故前此未遽允许。今沅弟追求帮手，而遍询雪琴、萧、毛，皆称逸亭昔在湘军劳苦功多，赤心任事。废弃固属可惜，即置之河南等省，亦恐用违其才。敬求阁下与南、意两公密商设法，致逸亭于沅弟左右，或令其告假回籍为名，先过沅营小住，彼此相安，再行八奏。
苟有益于沅，希帅必无芥蒂，即各处亦不为已甚也。"曾国藩认为，有过必罚。李元度是曾国藩的"辛苦久从之将"，曾国藩自称与李"情谊之厚始终不渝"。在靖港、九江、樟树镇屡战屡败的艰难岁月中，他一再得到李元度的有力支持。但李元度丢失徽州以后，仍被曾国藩弹劾而去职。一八六○年，太平军攻徽州。徽州是祁门老营的屏障，微州得失关系重大，李元度领兵往救。因其擅长文学，不精于兵，曾国藩恐其有失，特与其约法三章一再告诫定要守住徽州，不得轻易接仗。然而，当太平军李世贤部来攻时，李元度却违反曾国藩"坚壁固守"的指令，出城接仗，结果一败涂地，丢失灰州。曾国藩悔恨交加，为严肃军纪，决定具疏弹劾他。一班文武参佐群起反对，有人甚至指责他背离恩义，有失恢宏。李鸿章也"率一幕人往争"，但曾国藩仍不为所动。像李元度这样与他交情深厚，且有过大功的将领一旦违反军令，他也丝毫不予姑息。这一轰动事件传出后，众将为之凛然，益知军法无情，不容苟且。
曾国藩坚持赏罚分明、不论亲疏的原则，其中一个很重要的原因是，他认为只有这样，才能建设出一流的军队，才能保证军队拥有一流的战斗力。
在总结岳州、靖港、湘潭之败的原因时，曾国藩发现，除了军队训练尚且不精等客观原因外，更主要的问题是军队里赏罚不明，缺乏严格的纪律。
曾国藩看到了问题的所在，立即设法加以解决。他从明赏罚、严军纪做起，在长沙南门外的妙高峰展开了认真的整军运动。他对各营在此次作战中的表现进行了调查，发现在岳州之战中，敢于对抗太平军的，只有彭玉麟一营；
湘潭之战中，敢战者只有塔齐布、杨载福两营，其他各营都是望风而逃。即使是这数营敢战之勇，在打过胜仗之后，也只知道抢分太平军留下来的财物，全不回到长沙，还有一些直接跑回了湘乡。甚至还有人将战船开入湘乡内河，各自登岸逃归，听任战船漂流河中。彭玉麟战后为有功水手发放功牌，水手们见到忽然得到的项戴，便说明自己原来在花名册上的名字是伪造的，是为将来逃走作准备的。
曾国藩对此十分气愤，他决定对溃散的各营全部裁撤，各营的勇丁也不许别的营重新招募。曾国藩的弟弟曾国葆之营也在被裁之列。曾国藩的父亲写信为小儿子求'隋，希望曾国藩能再给他一次机会，但曾国藩坚决不肯。
经过整顿之后，湘军水陆原来的一万七干多人，只剩下了五千人左右。
在大量裁撤的同时，曾国藩又让在这次作战中涌现出来的几位有带兵和指挥能力的营官增募新勇。塔齐布所统领的部队，包括原带的抚标中军和新带的提标各营在内，官兵总数达到了六七千人。罗泽南一军增加到了一千人，其他彭玉麟、杨载福等军中也都有较大规模的扩充。曾国藩还从两广奏调水师弁兵来湖南，结果广西知府李孟群募水勇一千名、广东总兵陈辉龙率水师官兵四百人先后来到湖南，使湘军水师的力量有了明显的增强。在总的规模上，湘军水陆师人数达到了一万九干人以上，还不包括长夫等非战斗人员。
对于新招募的勇丁，曾国藩强调绝不允许滥竽充数。他对湘军营官也明确表示，今后不论是谁，打胜仗就可以升官发财，打败仗则立刻滚蛋。
通过两个月的长沙整顿训练，湘军的弱点得到了很大的克服，战斗力有了明显的提高。湘军以后之所以能战，与这次整顿有很大的关系。曾国藩自己对长沙整军也评价很高，认为是建军成功的第一步。