田家镇大捷之后，曾国藩及湘军跌入了战争的谷底。这个时候，太平军在翼王石达开的统率下进行了第二次西征。曾国藩从田家镇继续挥师东进，踌躇满志地迎战。两军的主力聚集在长江江西段一带，都摆出了决战的架势。曾国藩全力进攻九江未果，只好掉转方向，把主攻目标对准湖口，想凭借水师的优势拿下湖口，再攻九江。可是，老天爷彷佛是要故意为难曾国藩，他在这次战争中，遭受到了最为惨烈的失败。
从春天到夏天的那段时间里，太平军的进攻连连得手，湘军连战连败，形势急转直下：1855年4月，太平军秦日纲、陈玉成部攻下了武昌，湖北巡抚陶恩培情急之下自杀身亡；8月，湘军悍将塔齐布久攻九江不下，忧愤而死；紧接着，胡林翼又在汉阳附近遭遇败绩……那段日子里，曾国藩困守在鄱阳湖边南昌和南康两府的狭小地区，文报不通，联系中断，即使传来的，也是一些不好的消息。
此时，连家书和奏折都很难送出去的曾国藩的处境已极为危险。他不得不在家书中频繁地使用暗语，甚至，用蜡丸将家书密封起来，派人化装送出。即使如此，曾国藩的信差还是有好几次被太平军俘获，遭到杀身之祸。
每天，曾国藩所看到的，都是鄱阳湖中单调的情景：一望无际的沼泽地，一只又一只野鸭钻入水中；或者，几只大胆的麻雀在残缺的芦苇当中飞来飞去；间或草丛中有一些动静，仔细看去，原来是水蛇在苔藓上静悄悄地滑行，然后游离于枯树上发出沙沙的声响……到处都是风声鹤唳，空气紧张得令人窒息，仿佛随时都可以杀声震天、刀光剑影……曾国藩后来在回顾这一段经历时写道：“方其战争之际，炮震肉飞，血瀑石壁，士饥将困，窘若拘囚，群疑众侮，积泪涨江，以夺此一关而不可得，何其苦也。”湖湘大儒王湘绮撰写《湘军志》，阅读当时文件时，朦胧之中好像见到曾国藩的窘状：“闻春风之怒号，则寸心欲碎；见贼船之上驶，则绕屋彷徨。”那正是曾国藩当时境况的真实写照。
战局并没有随着时间的推移而有任何转机。到了1856年，战局进一步恶化，太平军在江西的军事形势发展到最高峰，他们控制了十三府中的八府五十四州县。3月，湘军周凤山部在江西樟树镇大败，南部大门洞开，曾国藩不得不离开湖口，亲赴南昌收集溃勇，调集水陆各军全力防守省城。4月，更恶劣的消息不断传来：先是太平军大破朝廷绿营江北大营；然后，一则消息如晴天霹雳般传来，让曾国藩捶胸顿足——湘军将领罗泽南在武昌身亡！罗泽南算是曾国藩的嫡传弟子了。本来，罗泽南一直在湖北战场。曾国藩江西战败之时，给罗泽南写了一信，让他火速调兵来江西救援。罗泽南收到曾国藩的信后，立即救援江西，走到一半时，因武昌被围，湖北形势急迫，罗泽南又不得不掉转方向回湖北解救。武昌被太平军攻下之后，罗泽南火急火燎，决定不顾一切将武昌城夺回。攻城之时，武昌大雾弥漫，城内太平军敢死队一下子涌出，对攻城部队一顿乱砍乱杀，湘军不明形势，乱作一团。罗泽南左额中弹，三天之后不治而亡。听到罗泽南的死讯，曾国藩泪流满面，这是一个名将啊！德高望重，智勇双全。在湘军中，罗泽南与彭玉麟是曾国藩最欣赏的。这两个人无论是人品还是才学，都堪称三湘翘楚。罗泽南还曾是曾国荃的老师。虽然罗泽南一直不太愿意离开湖南作战，但因敬重曾国藩，还是跟曾国藩出了湖南。从湘军组建开始，罗泽南几乎就没有打过一次败仗，即使是在曾国藩“屡败屡战”之际，罗泽南也是无坚不摧，屡战屡克：“罗泽南破贼于城陵矶”、“罗泽南率师北渡”、“罗泽南克通城县”、“泽南破贼于贵溪”……只要罗泽南出马，总能转危为安……用罗泽南换回一个武昌城，实在是大大的损失，曾国藩不由得号啕大哭。
曾国藩以团练大臣的身份创建湘军，又用了很多乡绅读书人带兵打仗，无论怎么说，都被当时一些官员视为越轨行为。由于长时间在军事上没有起色，曾国藩和湘军遭遇了组建之后的低谷。屡屡受挫的情况下，明枪暗箭不断向他袭来。当然，让曾国藩感到最伤脑筋的，还是来自于朝中的压力——那些遗老遗少们不断向咸丰上奏折说他的坏话，说他如此一个迂腐的书生，哪里懂得打仗呢？只是以打仗之名，沽名钓誉，甚至心怀不轨。身心俱疲的曾国藩陷入了进退维艰的地步。
塔死罗走困江西
我们再回过头来看看太平天国这边。太平军在石达开的率领下，于湖口九江袭击湘军水师大获成功之后，全军上下极受鼓舞。鉴于这种情况，太平军便决定兵分三路沿长江上行，逐步夺回失去的重要城镇。并且发动战略性反攻，打击湘军的军事后方，重新夺回长江航线的控制权。
这样，太平军在石达开的指挥下，兵分三路溯江而上。东路人马由小池口向北进发，接连攻下黄梅、广济，将湖广总督杨霈一直追到汉口，中路由九江逆水西上，沿途攻占蕲州、黄州，直捣武汉。西路由富池口出发，经兴国拊攻武昌之背。
咸丰五年（1855年）2月23日，太平军重新占领汉阳，并对武昌发起进攻。这一下清政府立时慌了手脚，急忙下令曾国藩派兵回师助剿，援救武昌。曾国藩遂派胡林翼、彭玉麟等人率领湘勇水陆两路先后回师援鄂。
经过一个多月的苦战，4月3日，太平军终于第三次攻克武昌，此次为首的将领是韦俊。接着，太平军控制了湖北省的大部分地区，使湘军的后方极不稳定。这时，曾国藩更加相信去年（1854年）9月份攻占武昌后不待后方巩固，经济恢复就立即挥师东下的战略方针是错误的。但此时的曾国藩也害怕如果立即退兵回攻武汉，会引起士气低落，军心动摇。所以，他宁可顿兵坚城，被动挨打，也不肯撤出江西回争武汉。这就势必造成了坐困江西的局面。
在攻克武昌的过程中，湖北巡抚陶恩培被击毙城中，总督杨霈仓皇逃出城去。这一消息传到京城之后，朝野震动。咸丰皇帝龙颜大怒，立即撤了杨霈的职，任命荆州将军官文为湖广总督，胡林翼为湖北巡抚。
太平军重占武昌后，从武昌到江宁，长江两岸的重要集镇，全部又由太平军控制。江面上，挂着绣龙杏黄绸缎蜈蚣旗的太平军战船来往航行，畅通无阻，太平天国鼎盛的时期到来了。
起初，湘军陆师在江西约有一二万人左右。分别由塔齐布、罗泽南、李元度统领。塔齐布手下的人最多，约有六千五百人。罗泽南次之，约带领三千五百人。李元度手中的人最少，只有平江勇二千人左右。这李元度本来是曾国藩的一个幕僚，眼睛深度近视，从来没有带兵打过仗。由于曾国藩湖口惨败之后，手下无人，李元度便自告奋勇要率领二千人马，前去彭玉麟内湖水师的驻地南康府与水军相互依护。曾国藩由于无人可用，便答应了他的请求。但这支队伍人数不多，战斗力也不强。曾国藩在江西主要依靠的还是’塔齐布、罗泽南两部。
湖口惨败以后，曾国藩又不愿回师武汉。无奈之中，只得继续围攻九江。他认为只要湘军能够坚持连续攻城，九江定可不日而下。于是集中优势兵力，加紧攻城，昼夜苦战。而太平军守将林启荣仿佛看穿了曾国藩的心思一样，只是构筑工事，坚守不出，硬是把一座九江城守得铜墙铁壁一般，使曾国藩的一切手段都无法得逞。
就在曾国藩为九江战事一筹莫展的时候，更大的打击随之而来。由于久攻九江不下，塔齐布于8月3日呕血而死。
塔齐布盛年溘然去世，这对于曾国藩来说是不能想象的事。正是曾国藩将塔齐布由一名都司衔署理抚标中营守备，仅一年多时间内，便迅速提升为湖南水陆提督。塔齐布知恩图报，尽心尽力为曾国藩打了几场漂亮仗，为湘勇大壮声威。曾国藩不能没有塔齐布，他需要塔齐布为自己带兵打仗。
他更需要他为自己制造一个满汉亲密无间的形象，以消除朝野内外的各种猜忌、嫉妒以及形形色色的流言蜚语。如今在这江西战局进退维谷，晦暗不明的时候塔齐布竟然长逝了。这对曾国藩的打击无疑是很大的。
就在这时，太平军又由湖北回师江西，很快攻占义宁并全歼了曾国藩向南昌派去的援兵。江西省城大为震动。曾国藩急派罗泽南前去援救义宁，以阻止太平军由鄂返赣。
罗泽南见江西战场无所作为，就想带领一支人马到湖北去建功立业。
于是他多次和曾国藩商量，要回师武汉。他认为争取整个战局主动权的关键不在于能否攻下九江、湖口两镇。太平军上控武汉，下据江宁。九江是其中游要塞，太平军必然拼死据守。即使一时被湘军攻克，太平军也要尽力夺回。况且湘军永远无法摆脱在江西被动挨打的局面。要想改变目前的不利形势，唯一正确的补救办法是立即由他带领一部分主力西撤，巩固湘军的后方。
对于罗泽南的分析，曾国藩不能不佩服他的眼光独到，深谋远虑。但就曾国藩目前的处境来说，他实在不愿意让罗泽南走。塔齐布已死，罗泽南再一走，曾国藩失掉了两个最得力的助手。这无疑是砍去了他的左膀右臂。但曾国藩必定还是有军事头脑的，在处境极为不利的情况下，仍然着眼大局，冷静地分析局势，为湘军的长远利益着想。因此，虽然曾国藩极不愿意，但还是忍痛割爱，让罗泽南率领他的部下回援武昌。
塔齐布死了，罗泽南现在又走了，曾国藩心里感到一种从未有过的空虚，一连几天都是心绪不宁。如此一来，曾国藩手中所剩的仅有塔齐布死后留下的由周凤山带领的五千余兵马，李元度的平江勇及困在内湖的一部分水师。
罗泽南领兵西进过程中，连攻数镇，直逼武昌城下。这时湖北巡抚胡林翼正在为战事苦恼。由于他手中没有一支能征善战的军队，所以连吃败仗。
现在罗泽南率兵来援，无异于雪中送炭。于是对罗泽南委以重用，极力笼络。这样，胡林翼以罗泽南的这支军队为骨干，仿照湘军那样，不断从各地招募勇丁扩军的同时，还对原先的绿营兵加以整顿，逐渐将他们淘汰掉。这样，湖北的军事力量逐渐强大起来，成为长江上下兵力最强的一个省份。
与湖北的情形正好相反，曾国藩在江西的处境日益狼狈起来，太平天国在湖北的军事形势稳定之后，石达开便留韦俊在武昌据守。自己率部回师江西，乘江西军事力量较弱的时机，加大攻势。从1855年11月起，石达开就联合天地会各路义军，接连攻下瑞州、临江、袁州等一系列州府，最后发兵围攻吉安。曾国藩见状，只得从九江撤围，调周凤山前去援救吉安。当时吉安形势危急，南昌也是兵力空虚，曾国藩是既怕省城有失，又怕太平军再陷吉安。因此，名为派周凤山援助吉安，其实是派他驻兵樟树镇不动，观望形势。石达开趁周凤山举棋不定、犹疑不决的时候，一举攻破了吉安府城，接着又连锅端了周凤山的樟树镇大营。周凤山大败而逃，湘军纷纷溃入南昌城内。一时间江西官场舆论哗然，纷纷指责曾国藩、周凤山调军无能，指挥不当。
樟树镇大败清军之后，石达开又乘胜追击，直逼南昌城。曾国藩此时被困在城内，焦急万分，甚至连与外界的联系都已中断。曾国藩写封家书都得用蜡丸隐语，化装潜行，其处境就可想而知了。太平军围住南昌，曾国藩昼夜不能安睡，被搅得焦头烂额。最后，不得不上书朝廷请求派罗泽南前来解围。然而他万万没有想到，就在他的这封求援文书发出不到十天，他昔日的部下因为在围攻武昌过程中被太平军击中头部，医治无效而死。
面对这种情况，曾国藩处于绝望的顶点。
塔死罗走，屡受挫败，坐困江西，曾国藩与他的湘军似乎真地到了山穷水尽的地步。他在给皇帝的奏折中诉说当时的情形是：“每闻春风之怒号，则寸心欲碎；见贼帆之上驶，则绕屋彷徨。”
重整旗鼓练水师
饱尝尽丧水师之痛的曾国藩，每每看到蜷缩在岸边的东倒西歪的长龙、快蟹，再想起被锁在鄱阳湖中的舢板，心中总是痛苦不已。
水师是曾国藩的命根子。在一定程度上，曾国藩觉得水师比陆师更亲近。因为水师的将领都是由他一手提拔上来的。在曾国藩的内心深处，他实际上是把水师视为自己的嫡系部队。现在水师遭此重创，曾国藩决不会让它就此一蹶不振。
为重振水师，他命令在湖北新堤的造船厂，要不分昼夜，不惜任何代价尽快为他修复旧船、赶造新船。上次派彭玉麟回师湖北，其实际目的也是派彭玉麟到金口修复船只，另外让他到湖南去招募新勇，扩充水军。对于那多条被困在鄱阳湖内的舢板，他更是心急如焚。因为这些舢板没有辎重大船随行，不但无法冲出鄱阳湖，甚至连自身的生存都出现了很大困难。为了解决这一问题，曾国藩亲自跑到江西省城南昌，与巡抚陈启迈商量，央求他为湘军造长龙船三十号，交给内湖水师使用。经过一番努力，到1855年7月份，湘军的外江水师又扩充到十营五千人。基本上恢复了原来的规模。同时，内湖水师也扩充到八营四千人，供给吃饭问题也基本得到解决。曾国藩急忙令彭玉麟化装成商贩，经过太平军的控制区，与内湖水师取得联系。然后由他带领这支队伍驻扎在南康府，伺机冲出湖口，与外江水师会合。
这期间，江内水师也增加了战船，解决了供应和军饷。开赴湖口，攻击湖卡07月，湖内水师统领萧捷三在湖口战死。曾国藩调彭玉麟从湖北赶往江西。彭玉麟此时正在湖南省亲，闻命启程，扮作商人穿越太平军控制的地区，步行数百里赶到江西南康府接任水师统领任。自此以后，湘军水师正式分为内湖水师和外江水师，分别由彭玉麟和杨载福统带，成了湘军水师的定制。
为适应湘军的水战，太平军也在九江设立船厂，制造战船。至咸丰六年三月（1856年5月），已经制造了数百条战船。这样的发展形势让曾国藩感到不安。他怕太平军水师过于强大，自己无法对付。于是命令杨载福侍机歼灭之。太平军水师因为是初建，很难抵挡湘军的攻击，所以他们避开了外江水师的力量。杨载福选了三百名死士冲入太平军水师营中，把他们的船只全部烧毁，长江水域又全部为湘军水师控制。曾国藩的努力终于没有徒劳。
经过此番调整，湘军的实力更加雄厚。水师力量的加强是明显的，陆师力量留在江西由曾国藩直接指挥的部队比原来减弱了一些。但罗泽南部开赴湖北，胡林翼以这支湘军为主体不断扩充，使这支部队的力量不亚于曾国藩亲自指挥的陆师。胡林翼原为曾国藩的部下，他的军队主力是曾国藩的部队，他与曾国藩关系密切，在“中兴名将”中地位与曾国藩相埒（lia），被人称之为“曾胡”。他们的部队一在长江上游，一在长江中游，相互照应，互为犄角，成为太平军的两个死对头和主要敌人。他们在以后鄂、皖、赣、湘数省的作战中相应契合，成为了太平军失败的主要原因。
军无薪饷马无草