当太平军进攻庐州时，江忠源已经危在旦夕了，曾国藩还是拒绝出征，仅仅只派刘长佑和江忠睿率领1000名新勇士由陆路赶去支援。结果江、吴二人先后兵败自杀。这对曾国藩是个沉重的打击。江忠源在曾国藩诸门生中，办团练最早，最有实战经验，同时也任职最高，最得清政府的信任。曾国藩曾打算练勇万人交江忠源指挥，完成镇压太平天国革命的重任，而自己只在后方办理练兵筹饷等事。没想到还没有到出征的时候江忠源就毙命，这无异于砍去曾国藩的左膀右臂，使他明知自己不善带兵而又不得不亲自出征。吴文镕的死对曾国藩打击更甚，吴文镕任湖广总督，既是曾国藩的老师，又是他强有力的后台。若吴文镕仍然还活着的话，处处有人帮他说话，也许不至于让曾国藩陷入后来那样的政治困境之中。从这里可以看出吴文镕对曾国藩的帮助有多重要。
可以看出来，曾国藩一再坚持不轻易出省作战的方针是正确的，虽然说他赢得了充分的时间来做准备，为他以后军事胜利打下了基础，但是同时他也付出了很大的代价。这是曾国藩不同一般历史人物的地方。曾国藩深通天道盈缩、洪荒变换的道理，他常常告诫诸将说：宁可好几个月不开一仗，绝不可以开仗而毫无安排、准备和算计。凡是用兵的道理，本来力量强而故意显示给敌人以懦弱的多半会打胜仗，本来力量弱小而故意显示给敌人以强大的多半会打败仗；敌人向我进攻，一定要仔细考察衡量而后应战的多半会打胜仗；随意而没有仔细考究衡量，轻率地发兵向敌人进攻的多半会打败仗。兵者是不得已而用之的，应常常存留着一颗不敢为先之心，必须让对方打第二下，我才打第一下。与强悍敌人交手，总要以能看出敌人的漏洞和毛病为第一重要的道理。如果在敌方完全没有漏洞、毛病，而我方贸然前进，那么在我方必有漏洞和毛病，被对方看出来了。不要乘自己有急躁情绪的时候，不要为大家的议论所动摇，自然能够瞄准敌方可破的漏洞。他的这种军事计谋不但值得我们今天的人去研究，而且为我们留下了一笔不朽的“财产”。
1854年初，湘军组成陆军十三营，水师十营，共一万七千多人，会集湘潭，准备同年正式出师与太平军作战。曾国藩以自己的名义，发出了一道檄文，诬称太平天国为“粤匪”，说他出来镇压革命，不仅是为了保卫清王朝，而且是为了保卫整个的旧传统。他号召一切“读书识字者”要为维护以孔孟为代表的名教而战。
曾国藩实践了自己所说的诺言。1854年他率领湘军在湖南、湖北对太平军进行疯狂的反扑。12月，湘军进围九江，形势对太平天国很不利，曾国藩得意忘形地叫嚷：“肃清江面，直捣金陵”。为了扭转这种被动局面，太平天国派石达开等率军西援，在湖口、九江战役中，痛歼湘军水师。开始，湘军初战，连败于岳州（今湖南岳阳）、靖港，曾国藩为此愤不欲生，投水自杀，被其左右救起。后重整军实，复占岳州，攻陷湖北省城武昌，奉诏署湖北巡抚。此后用兵更为谨慎。旋因朝廷恐其于地方势大，又被解署任，以后长期只以侍郎虚衔领兵。1855年2月11日，太平军放火焚毁停泊在江面的湘军大船百余艘，夺得曾国藩座船，曾国藩在走投无路的情况下，投水自杀，被喽罗救起，仓促逃入南昌，陷入到太平军的包围之中，使他“呼救无人”，“梦魂屡惊”。
次年9月，督其弟曾国荃攻陷安庆。11月，加太子少保衔，奉命统辖江苏、安徽、江西、浙江四省军务。向朝廷举荐左宗棠督办浙江军务、李鸿章出任江苏巡抚。1862年，以安庆为大本营，命令曾国荃部沿江东下，直逼天京；命左宗棠部自江西进攻浙江；命李鸿章部自上海进攻苏南，对太平天国实行战略包围。10月，湘军与李秀成等部数十万太平军在天京城外激战，持续围困天京。至1864年7月，终于攻破天京城池，完成对太平天国起义的镇压。朝廷褒功，封曾国藩为一等毅勇侯，加太子太傅，赏双眼花翎。
1865年5月，曾国藩奉命督办直隶（约今河北）、山东、河南三省军务，镇压捻军。他驻营徐州，先后采取重点设防、凭河筑墙、查办民圩的方略，欲在黄河、淮河之间，运河以西，沙河、贾鲁河以东的区域歼灭捻军，因师久无功，次年冬清廷改派李鸿章接替，命其回两江总督本任。1867年，调任直隶总督。1870年6月21日，天津发生教案，天津数千名群众因不满法国天主教堂拐骗人口、虐杀婴儿，群集在法国天主教堂前面，怒斥侵略者的残暴罪行。法国领事丰大业认为官方没有认真弹压，持枪行凶，他在街上碰到天津知县刘杰，又向他开枪射击，当场击死刘杰仆人一人，激起群众更大的义愤，群众当场殴毙丰大业，放火烧毁教堂。事件发生后，英、美、法等国联合提出抗议，并出动军舰逞威。曾国藩回天津后，按照他向来媚外方针，奉命前往查办，屈从法国势力，处决、遣戍官民数十人，先后有二十名中国人，无辜惨遭杀戮，二十五人充军（天津地方官也被革职充军）。曾国藩的卖国行径，引起全国朝野的唾骂，连他的湖南同乡，也把他在湖广会馆夸耀其功名的匾额砸烂焚毁，他自己则在人人皆说可杀的责骂声中可耻地死去。并受到社会舆论谴责。9月，还任两江总督。
曾国藩主张采用外国军火，主张“师夷智以造炮制船”。在1860年6月，由于江南大营的溃败，对湘军一贯怀有猜忌的咸丰帝，不得不谕令当时唯一能和太平军较量的汉族地主实力派曾国藩署理两江总督，8月改为实授，并命他为钦差大臣，督办江南事务。慈禧、奕上台后，又于1861年底命曾国藩督办江、浙、皖、赣四省军务，四省巡抚、提督悉归节制。这样，曾国藩集团一跃而成为地主阶级当权势力中最大的实力派，并逐步取得了西方列强的好感和支持。1862年春，清政府宣布对东南地方官“借助”外国侵略军进剿太平军，“不为遥制”，曾国藩也认为帝国主义“有德于我”，“目下情势，舍借助洋兵，亦实别无良策”。他决心向外国侵略者献媚取怜，与他们携起手来，共同镇压太平天国。1862年初，他保荐左宗棠为浙江巡抚，带兵入浙，保荐李鸿章为江苏巡抚，率淮军去上海，让他们放手与侵略军合作，协同夹击太平军；曾国藩自己则坐镇安庆，派他的胞弟曾国荃率领湘军主力由皖北东下，进逼天京。
1863年，造成“黄鹄”号轮船，并派容闳赴美国购买机器。1864年春，太平天国在江浙的基地大部分的地方都丧失，同时，天京各城门也被湘军合围。7月19日，天京陷落，“湘军一破城，见人即杀，见屋即烧，子女玉帛扫数入于湘军”。湘军中从上到下，每一个人置备一个大竹筐，抢到钱财就往竹筐里装。曾国藩听说后眉飞色舞，以为这些都是应该做的，同时他还嫌自己抢得不够。由于残杀人民有功，曾国藩的湘军在十几年中，有大量人员被保举升官到三品以上，其中提督总兵也有很多。
太平天国失败以后，太平军在江北的剩余部与捻军汇合在一块儿，声势大振，清廷命令曾国藩督办直隶、山东、河南三省军务。曾国藩带领湘军二万，淮军六万，配备洋枪洋炮，北上“剿捻”，他的方针是“重迎剿，不重尾追”，并提出“重点设防”等计划，妄图把捻军阻击在运河、沙河地区，使捻军没有地方可以逃，然后加以消灭。但是捻军突破了曾国藩的防线，胜利进入山东，使曾国藩的战略计划全部落空。曾国藩因失算被免职，由李鸿章接代。1865年至1866年，与李鸿章在上海创办江南制造总局等军事工业。后来为积极筹措经费，派遣学童赴美留学，成为清末兴办洋务事业的首创者。
曾国藩毕生服膺程朱理学，又主张吸取各家之长，认为义理、考据、经济、辞章四者不可缺一，但他却始终将理学放在首要地位。他在古文、诗词方面也很有造诣，被奉为桐城派后期领袖。1872年3月曾国藩在南京病卒。赠太傅，谥文正。后人辑其所著诗、文、奏章、批牍等为《曾文正公全集》。
公元1864年，曾国藩指挥他的湘军攻克天京，历时14年、势力遍布18省、攻克城池600余座的轰轰烈烈的中国最大的一次农民起义——太平天国运动宣告失败。曾国藩也作为近代最具有影响力的人物之一而被载入史册。
曾国藩确实是有史以来最有争议的人物，拥护他的人称之为“中兴名臣”，恨他的人骂之“千古民贼”；众说纷纭的背后，则完全是浓厚阶级色彩在作怪。对历史的研究，只有能淡化主体阶级的偏向性，我们才能得到客观公正的结论。
为自己为国家奋斗了一生的曾国藩在活着的时候封侯拜相，整个家族的荣华，死后没有留下什么财产田地、金银珍宝，留给子孙后代的，是一楼富厚的藏书、一道著名的遗嘱。他认真思考了很长一段时间，把自己一生所得到的经验归纳为四条，并将它端端正正地写下来，要儿子悬挂中堂，每日诵读，恪遵不易，并且一代一代传下去。
1872年的二月初四这一天，是一个令曾国藩悲痛的日子。15年前的二月初四，他的父亲去世了，这天，他拜过父亲的牌位，让儿子纪泽扶他去花园散步。他对纪泽说：“我这辈子打了不少仗，打仗是件最害人的事，造孽，我曾家后世再也不要出带兵打仗的人了。”父子俩拉着家常，不知不觉走进一片竹林。忽然，一阵大风吹过，曾国藩连呼“脚麻”，便倒在儿子身上。等到曾国藩的儿子把他扶进屋子里的时候，他已经不能说话了。他用手指指桌子：那是他早已写好的遗嘱。曾纪泽双手把纸展开，以颤抖的声音念道：
余通籍三十余年，官至极品，而学业一无所成，德行一无可许，老人徒伤，不胜悚惶惭赧。今将永别，特立四条以教汝兄弟。
一曰慎独则心安。自修之道，莫难于养心；养心之难，又在慎独。能慎独，则内省不疚，可以对天地质鬼神。人无一内愧之事，则天君泰然，此心常快足宽平，是人生第一自强之道，第一寻乐之方，守身之先务也。
二曰主敬则身强。内而专静统一，外而整齐严肃，敬之工夫也；出门如见大宾，使民为承大祭，敬之气象也；修己以安百姓，笃恭而天下平，敬之效验也。聪明睿智，皆由此出。庄敬日强，安肆日偷。若人无众寡，事无大小，一一恭敬，不敢懈慢，则身体之强健，又何疑乎？
三曰求仁则人悦。凡人之生，皆得天地之理以成性，得天地之气以成形，我与民物，其大本乃同出一源。若但知私己而不知仁民爱物，是于大本一源之道已悖而失之矣。至于尊官厚禄，高居人上，则有拯民溺救民饥之责。读书学古，粗知大义，即有觉后知觉后觉之责。孔门教人，莫大于求仁，而其最初者，莫要于欲立立人、欲达达人数语。立人达人之人，人有不悦而归之者乎？
四曰习劳则神钦。人一日所着之衣所进之食，与日所行之事所用之力相称，则旁人韪之，鬼神许之，以为彼自食其力也。若农夫织妇终岁勤动，以成数石之粟数尺之布，而富贵之家终岁逸乐，不营一业，而食必珍馐，衣必锦绣，酣豢高眠，一呼百诺，此天下最不平之事，鬼神所不许也，其能久乎？古之圣君贤相，盖无时不以勤劳自励。为一身计，则必操习技艺，磨炼筋骨，困知勉行，操心危虑，而后可以增智慧而长才识。为天下计，则必己饥己溺，一夫不荻，引为余辜。大禹、墨子皆极俭以奉身而极勤以救民。勤则寿，逸则夭；勤则有材而见用，逸则无劳而见弃；勤则博济斯民而神祇钦仰，逸则无补于人而神鬼不钦。
——此四条为余数十年人世之得，汝兄弟记之行之，并传之于子子孙孙。则余曾家可长盛不衰，代有人才。
等到儿子念完后，曾国藩努力把手伸起，指了指自己的胸口，纪泽纪鸿明白父母的意思，一齐说：“我们一定把父亲的教导牢记在心！”曾国藩脸上露出一丝浅笑，便溘然长逝了。
曾国藩的遗嘱对子孙们有深远的影响。曾家后裔恪遵遗言，没有一个带兵打仗的。曾纪泽在曾国藩死后才承荫出仕，从事外交；曾纪鸿一生不仕，专研数学；孙子曾广钧虽中进士，长守翰林；曾孙、玄孙辈中大都出国留学，没有一个人涉足军界、政界，全部从事教育、科学、文化工作，不少成为著名专家学者。