曾国藩认为，现实情况是复杂的，可能会出现各种各样的艰难，为了最终的胜利，就应该迁就，以保大局，也就是要采取委曲求全的办法。曾国藩在一八五八年六月被命再出与太平军作战的过程中，就有许多委曲求全的经历。正是因为这种顾全大局，坚定地朝着既定目标进发的努力，他才取得了最终的胜利。
一八五八年六月，曾国藩再次出山，继续在江西领导湘军作战。此时，清军的作战前途，仍是艰困重重。石达开所部太平军，转战东南各省，使清军疲于奔命。李秀成活跃于江、浙、皖、赣，陈玉成则驰驱于江北皖、鄂地区，给以清军重创。湘军在江西，虽有守土却敌之功，但与各地乡团矛盾重重，常常被团丁伏击截杀，竟至数十数百地被消灭。又逢疫疠流行，营中军士纷纷病倒。所以曾国藩重至江西以后，深感诸多问题非常棘手。九月间，安徽传来败讯，李续宾、曾国华于三河镇被陈玉成击败，全军覆没，湘军官兵阵亡六干余人。
这支军队是湘军的精锐劲旅，被歼以后，全军为之震动。景德镇一带的湘军也连连失利，幸赖曾国藩与胡林翼等竭力挽救，大局才得稳定。
而这时的曾国藩，忽而奉命援浙，继又改令赴闽，未几又着筹援安徽。
及石达开有由湘八蜀之势，朝旨又令前赴四川夔州扼守，同时更着分兵协防湖南、安徽，并留兵防守江西。朝令夕改，杂乱无章，几使曾国藩无所适从。
他自知因无固定地盘，只好由人摆布，精神极度苦恼。
一八六。年三月，江南大营再度大溃，和春、张国梁皆战死。苏州、常州接着也落入太平军之手，巡抚徐有壬死之。杭州又被李秀成攻破。东南全局糜烂，清廷环顾内外，除曾国藩之外，已经没有可望支撑残局的人。万般无奈，只好起用曾国藩署理两江总督。至此，曾国藩才开始掌握地方实权，有了自己的地盘，不再寄人篱下，可以放手作军事布置了。
这年十一月，曾国藩仍被太平军三路包围于祁门，一度对外音讯断绝。
江西供应祁门大营的粮道，也因为浮梁的失守而被截断，曾国藩急得晚上不能入睡。幸得部将刘松山等击败太平军于羊栈岭，接着左宗棠在景德镇、德兴、婺源等处也连破太平军，后路粮道复通，祁门大营才得转危为安。这时有人劝曾国藩放弃由皖南山路进攻的计划，改由长江进兵。如此既不必进出险地，又可与水师相呼应，或者暂时退八江西，徐图再举。曾国藩怕稍露退意，会动摇军心，所以坚持原定作战计划，由休宁进取徽州。
一八六一年三月，正当曾国藩调动九千大军，分两路进攻徽州时，唐义训一军攻势顿挫，景德镇重被太平军夺去，曾国藩大军粮道又断，再度陷于重重包围之中。当时徽州附近的太平军，足有两三万之众，约三倍于曾军。
曾国藩见势不利，退守休宁。
太平军乘胜追击，曾国藩连退祁门，浩然长叹，挥笔作遗书，已经做殉难尽忠的准备了。这时又亏左宗棠大破李世贤于乐平，续于景德镇、都阳一带连战皆捷，祁门后路饷道复通，才解除重围。
一八六一年八月，曾国荃攻下安庆，长江千里，已全归湘军把握。曾国藩分兵三路，直指江浙地区，准备给日渐衰微的太平军最后致命一击。可是曾国藩所遭遇的困难，仍是纷至沓来。先是最能与他合作无间的湖北巡抚胡林翼积劳病死，顿使曾国藩失去一个最有力的伙伴，未免平添后顾之忧。曾国藩为之彻夜不睡，而三路东向的大军，只有曾国荃一军，因为是亲弟弟，始终听命于他。其余李鸿章与左宗棠两路，都时时表现不合作的态度，使曾国藩伤透脑筋。
李鸿章与曾国藩是师生关系，李之组成淮军，完全秉承曾国藩的指示，初期淮军的营制营规，全部仿照湘军。并且曾国藩拨部分湘军官兵，交与李鸿章统带，以助成军。李鸿章可说是曾国藩一手培植起来的。然而到了上海之后，李鸿章稍能立脚，就想脱离曾国藩的约束，自立门户了。曾国藩遣他招募淮勇赴上海，主要目的之一，是让他掌握上海丰富的税收，支持湘军的粮饷。不料李鸿章从一八六三年起，对于曾国藩兄弟索饷要求，便常借口种种困难而大打折扣，彼此闹得很不愉快。
左宗棠也是曾国藩一手提拔起来的。左在湖南遭控告，几乎被判重罪，曾国藩曾出大力营救。案件化解之后，曾国藩又将左罗至军中，让他担任重要工作。随即命左宗棠统军独当一面，对太平军作战。及左宗棠到了浙江，立下战功之后，渐渐地也和曾国藩大唱反调了。一八六四年，左宗棠竟公然与曾国藩绝交，从此互不往来，甚至常常当着宾客僚属的面，谩骂曾国藩，使听话人都感到受不了。
另一个由曾国藩培植起来的江西巡抚沈葆桢为了与曾国藩争夺江西的漕折和厘金，也翻脸成仇，奏章弹劾几乎使曾国藩下不了台。
曾国荃围攻金陵的军队，虽未发生不听指挥的问题，然而屯兵城下日久，师老兵疲，军饷不继，军心士气日渐涣散，也使曾国藩忧心忡忡，日夜焦灼。
一八六三年到一八六四年，金陵城外的湘军，因为粮饷缺乏，每天喝稀饭度日，几个月不发饷，更是常事。曾国荃对那些家乡子弟兵，也感到难以约束。甚至发生他们把营官捆绑起来，勒发欠饷的暴行。曾国荃拿不出粮饷来解决问题，自感无颜面对部属，只好置之不问，心中焦虑，渐渐忧急成病。消息传到安庆，曾国藩～面担心弟弟的病体不能支持，军纪败坏的围城湘军，随时有叛变崩溃的可能；一面还要承受来自清廷的猜疑、言官的谤劾、僚属的离心等等打击。当时湘军的缺饷，不仅限于金陵的曾国荃军，其余各部也很严重。
大营所设祁门粮台，竟遭驻守附近的两营湘军自行抢劫一空。曾国藩身体素来孱弱，至此郁气中结，旧疾新病，一齐并发，饭后呕吐、牙痛、头脑晕眩、手脚抽筋，痛不可忍，至于不能工作，只好奏请给假调养。
一八六四年春夏间，清廷朝野对于曾国荃能否攻下金陵，十分怀疑，纷纷主张让李鸿章的淮军前往助攻，甚至在江北的富明阿，也想前来分一杯羹。
曾国荃认为自己拼死拼活，苦战多年，围攻金陵也近两年，太平军只剩孤城一座，外援断绝，城破已是指日可待的事。这时让他人来捡现成便宜，分去一分"克复伪都"的大功，实在心有不甘。
还有一事，也使曾国藩十分难堪：金陵城破之后，曾国藩根据曾国荃报告，曾向清廷奏报，城内太平军，或擒斩，或自尽，或追杀，无一漏网。幼主洪福瑱则死于乱军之中。不料几个月之后，江西巡抚沈葆桢却奏报擒获自金陵逃出的幼主洪福瑱、干王洪仁玕、恤王洪仁政及照王黄文英等一干太平天国高级领袖；据供同时逃出金陵的，不下数干人。
这一来，已足以证明曾国藩从前的奏报，是虚伪不实的了，至少应负"失察"之过。要不是有克复金陵、荡平大乱的大功，这"饰词入奏，铺张战绩"的欺罔罪名，曾国藩兄弟是逃不了的。虽然清廷不便明显地加罪，而来自各处的冷讽热嘲，也是够使人难堪的。第二年，起居注官蔡寿祺竟引此事弹劾曾国藩，是否出于清廷的授意，不得而知：但蔡寿祺以一个小小的起居注官，居然敢弹劾功业正盛的总督大臣，倘非"见风使舵"，是难以想象的。如此则清朝朝廷对于曾国藩的信任程度，已足可使人怀疑了。