胜败者兵家之常事，况且与湘潭大捷相比，靖港的失利只能算是小败。曾国藩只是一丁忧在籍的侍郎，并非有守土之责的封疆大吏，打了败仗，大不了降级革职，何至于以死谢罪呢？究其原因，不外乎三点。一是失望。一年多来苦心孤诣，试图练成一支百战艰难、视死如归的劲旅，不想一战即溃，对他是个沉重的精神打击。二是愧恨。自己不能在籍守制，已是不孝；不懂军事，却“辄以讨贼自任”，接受力所不能及的使命，致使丧师辱国，“上负圣主重任之意，下负两湖士民水火倒悬之望”。三是愤懑。靖港之战，曾国藩带赴出战的水陆军仅一千八百余人，战败后溃散约一半，且有天气因素，算不上大败亏输。但这一败，省城平时有积怨于他的官绅们却一哄而起，群起而攻之。曾国藩晚年曾忆及当年在湖南之困境。
起义之初，群疑众谤。左季高以吾劝陶少云(即左宗棠之婿)家捐赀缓颊未允，以至仇隙，骆吁门(即骆秉章，字吁门)从而和之。泊舟郭外，骆拜客至临舟，而惜跬步不见过。藩司陶庆培(后任鄂抚殉难)、臬司徐有壬以吾有靖港之挫，遽详骆抚请参奏。黄昌岐及吾部下之人出入城门，恒被谯诃，甚至有挞逐者。
自己尽全力于公事，不惜得罪人，但偶有挫败，却“为通省官绅所鄙夷”，群起攻讦唾骂之，一愤。他之所以不回省城，而是驻于城外的妙高峰，十有八九是激于此愤。老父竹亭公已经65岁，不仅支持他墨绖从戎，而且“日日以家书勉臣尽心王事，无以身家为念。凡贮备干粮，制造军械，臣父亦亲自经理，今臣曾未出境，自取覆败，尤大负臣父荩忠之责”。打了败仗，无颜于父老，二愤。“臣自去岁以来，日夜以讨贼为心。曾书檄文一道，刊刻张贴。今事无一成，贻笑天下；而臣之心，虽死不甘。”三愤。
曾国藩是位儒者，而儒者心中必有道德之自律，所谓“行己有耻”是也。其私淑之宗师顾亭林亦云：“人之不廉而至于悖礼犯义，其原皆生于无耻也。故士大夫之无耻，是渭国耻。”上述之失望、愧恨与愤懑，交织纠结而成一种强烈的、挥之不去的羞耻感。“公言古人用兵，先明功罪赏罚，今时事艰难，吾以义声倡导乡人，诸君从我于危亡之地，非有所利也，故于法亦有所难施。”曾国藩不忍处置部下，但战败的责任仍得有人来负，故在得知湘潭大捷的消息后，他仍不能释怀，在上折请罪的同时，草拟了两道遗折，打算一同发往北京，以死谢罪。
那么为何他又没死成呢？据左宗棠说，是曾麟书的来信救了他。四月五日，湘军大胜、克复湘潭的消息传到长沙，当日早晨，左宗棠出城去看曾国藩，并送交曾父的家信。其信中说：
其晨，余(左氏自称)缒城出，省公舟中，(公)则气息仅属，所著军襦沾染泥沙，痕迹犹在。责公事尚可为，速死非义。公嗔目不语，但索口书所存炮械、火药、丸弹、军械之数，嘱余代为检点而已。时太公(指曾父)在家，寓书长沙，饬公有云：吾儿此出，以杀贼报国，非直(只)为桑梓也。兵事时有利钝，出湖南境而战死，是皆死所(意谓；死在哪里都是死得其所)；若死于湖南，吾不哭尔也。闻者肃然起敬，而亦见公平素自处之诚。后此沿江而下，破贼所据坚城巨垒，克复金陵，大捷不喜，偶挫不忧，皆此志也。
父亲责之以大义，作为孝子的曾国藩不能不听从。而接到湘潭大获全胜的奏报，咸丰则大喜过望。自与太平军作战以来，清军还从没有打过一次歼敌两万的胜仗，整日处在忧危之中的皇帝，想必精神一振。见到曾氏自请处分，把靖港之败看很那么严重，咸丰觉得他未免书呆子气，便在上谕中挖苦道：“此奏太不明白，岂已昏聩耶？汝罪固大，总须听朕处分。岂有自定一拿问之罪，殊觉可笑！想汝是时心操如悬旌，漫无定见也。”捷报由巡抚骆秉章领衔，曾国藩与湖南提督鲍起豹会衔，可皇帝心里清楚，打了胜仗的塔齐布，是曾国藩极力举荐的将领；获胜的水师也是曾国藩一手编练而成，没有曾国藩打底，便不可能有这场大捷。骆秉章、鲍起豹，不过是因人成事而已。尤其是鲍起豹，本为一省最高军事长官，却总蹲在省城，从未见到其出城作战，咸丰早就对他起了疑心。经过一番查问了解后，皇帝此番赏罚分明，对曾国藩“加恩免其治罪，即行革职，仍赶紧督勇剿贼，戴罪自效”。这个处分很轻，湘军仍由曾国藩负责，只要以后打几次胜仗，很容易官复原职。而鲍起豹“自贼蹿湖南以来，并未带兵出省，叠次奏报军务，仅止列衔会奏。提督有统辖全省官兵之责，似此株守无能，实属大负委任。鲍起豹著即革职，所有湖南提督印务，即著塔齐布暂行署理”。鲍氏是实实在在的革职，被他一直视为眼中钉的部下所取代。
靖港之战使湘军元气大伤，尤其是水师几乎溃不成军。要想继续与太平军作战，必须重整旗鼓。
水师是湘军的命脉，在长江流域作战，攻克南京，扑灭太平军，没有强大的水师根本是梦想。所以，曾国藩首先要重振水师。外江水师已被派往援救武汉，留在鄱阳湖内的120多只快船处境十分困难，曾国藩先要救活湖内水师。他专程跑到南昌，求助于江西巡抚陈启迈，请求为湖内水师增造长龙大船30号，就地招募水勇、供给饷械。然后又为重整江上水师努力奔走，他上奏咸丰，请他下旨地方，让湖南省为他添造战船，招募水勇。自己派员到湖北新堤、湖南岳州大力修造战船。到咸丰五年四月(1855年5月)，湖南的新船百余号首先造好，运至金口；九汀江面上损坏的战船亦告修复。6月，杨载福在岳州也造成大批战船，开赴金口。其规模较原来的大船队伍还要整齐，力量也大得多。
这期间，江内水师也增加了战船、解决了供应和军饷。开赴湖口，攻击湖卡。7月，湖内水师统领萧捷三在湖口战死，曾国藩调彭玉麟从湖北赶往江西。彭玉麟此时正在湖南省亲，闻命启程，扮作商人穿越太平军控制的地区，步行数百里赶到江西南康府接任水师统领任。自此以后，湘军水师正式分为内湖水师和外江水师，分别由彭玉麟和杨载福统带，成了湘军水师的定制。
太平军为适应湘军的水战，便在九江设立船厂，制造战船。至咸丰六年三月(1856年5月)，制造战船数百条。曾国藩生怕太平军水师强大，命令杨载福侍机歼灭之。太平军水师难抵湘军外江水师的力量，避而不战。杨选300死士冲入太平军水师营中，把他们的船只全部烧毁，长江水域又全部为湘军水师控制，曾国藩的努力终于没有徒劳。
曾国藩恢复陆师的努力就不像整顿水师那么容易了。
湘军的陆师主要是塔齐布、罗泽南、李元度几部。塔部力量最强，增达万余人，罗泽南部约是塔部的一半。李元度的力量最弱，只有4营2000余人马，李是曾国藩的幕僚，一身文人习气，治军不严，训练无方，战斗力很差。所以，湘军陆师劲旅，主要是塔齐布、罗泽南两部。
湖口战后，咸丰帝仍逼令曾国藩围攻九江，曾国藩便集中塔、罗两部日夜进攻。岂料林启荣对九江的守卫十分坚忍，无论曾国藩如何攻打，九江仍坚如磐石，岿然不动。湘军士卒损伤惨重，一无进展。当此困难之时，罗泽南向曾国藩提出了放弃九江、争夺武汉的战略计划。他认为长江沿岸数城，武汉为首，九江只是腰部，只有占据武汉，控制其首，才是夺取长江流域的正确方案。坚持围攻九江，即使攻取，武汉在太平军之手，敌人顺流而下，终难坚守。