正当彭玉麟奉曾国藩之命来到江西统领湘军内湖水师，配合陆师艰难转战各地之时，太平天国内部发生了分裂，使其元气大伤，给予湘军以战略反攻的机会。就湖北方面的形势而言，在胡林翼和李续宾的统一指挥下，湘军乘机攻占武汉，并经黄州、大冶、兴国而移兵支援江西，于1857年年初进抵九江城外；就江西方面的形势而言，由于彭玉麟的到来，湘军水师战斗力有所加强，水陆密切配合，很快形成对瑞州、临江、吉安的围攻之势。
彭玉麟、杨载福等水师开始配合陆师，发起对湖口和九江的攻击战。
1857年10月2日，湘军水陆配合攻占小池口之后，彭玉麟约清杨载福会攻湖口，将水师分为三路以进。起初，湘军水师受到太平军强烈炮火的轰击，几次冲锋均无结果，反而损伤战船十余只。此时，有人劝彭玉麟不要强攻冒进以减少伤亡，有人更提出明确的反对意见，认为驱赶士卒出入炮火中，徒死无益，不符兵法。彭玉麟则流着眼泪动情地对众人说：湘军水陆用兵已有5年，精锐忠勇之士为国捐躯以千数计，湖南、江西等省人民饱受战祸之苦，失去性命者不计其数，每当我想到此，恨不能即刻以死相报，从而“此险不破，万不令将士独死，亦不能使怯者独生！”众人感奋不已，誓将性命置之度外。彭玉麟则身先士卒，“鼓棹赴之”，终于冲破太平军严密防线，与外江水师船队合为一体。随即，李续宾等湘军陆师从城背山猛冲而下接应夹攻，太平军伤亡惨重，余部纷纷后撤，彭玉麟乘胜夺占湖口的重要军事据点——小姑山。经过两昼夜的激烈战斗，湘军终在10月26日重新占领湖口，使九江太平军失去了一个重要军事屏障。
彭玉麟等攻占湖口之后，立即水陆配合，乘胜合围九江。此处系太平军著名将领林启荣尽心经营达6年之久的坚垒，但天京内讧后太平天国势力削弱，且饷粮方面得不到及时的补充供给，士兵生活异常艰苦，武器弹药也相当缺乏；相反，湘军由于占据战略主动地位，在半年多时间里逐渐加强了实力，从而在1858年5月中旬发起了对九江的总攻击。尽管林启荣等太平军广大将士英勇抗战，终因寡不敌众，1.7万余人全部阵亡。
九江的战略地位十分显要。就太平军而言，它是安徽、江西两省的门户，既被损失，使得江西的军事形势更加紧张，而且太平天国的另一重要军事据点安庆也就呈现出极大的危险；就湘军而言，攻占九江之后，既可以水面为依托，在陆师的配合下发挥水师的重要作用，为实力经营湖北、肃清长江以及收复江西失地打下了坚实的基础，为最终合围安庆提供了有利的条件。
1861年8月中旬，由陈玉成回援安庆，虽曾一度攻破湘军重围，但最终因彭玉麟等湘军水师截断了援城通道，粮饷无法按期运进，致使城内太平军饥寒交迫，战斗力大大削弱。不过几天时间，湘军水陆各师乘安庆城内太平军粮饷无以为继之际，以地雷轰倒北门城垣，越壕入城。可怜已经精疲力竭的1.6万余太平军将士，最终奋起血战之后全部战死。湘军攻下安庆之后，随即入城进行了残忍的报复性烧杀。这一点，就连彭玉麟本人也感叹不已。
1864年7月19日，曾国荃率湘军攻陷天京，但彭玉麟等水师尽力扫清江路的作用是不可低估的。在彭玉麟会同曾国藩、李鸿章、曾国荃奏报金陵被克复的消息后，清廷特意赏给彭玉麟一等轻车都尉世职并加太子太保衔；曾国藩多次在奏折和书信中对彭玉麟在攻克金陵过程中的功绩予以肯定和赞扬。
就彭玉麟本人来说，经历千辛万苦终于成就大功，但在欣喜之余却又自然而然地产生了厌弃功名、解甲归田的念头。他在《喜收复金陵二首》的长诗中很明显地流露出这种心境：“血战长江十五年，一朝拨乱见青天。三吴城郭收新版，六代江山复旧阡……书生喜了出山愿，敢乞残骸旧种田。”
促成彭玉麟厌弃军政生活的原因，还在于当时他对湘军的残忍以及战争给人民造成的无数灾难开始产生了反感。曾国荃的湘军陆师在攻下金陵之后，随即实行残酷的烧、杀、淫、掠之举。对此，彭玉麟较为不满，认为曾国荃身为统帅，应负有不可推卸之责。所以，他曾在书信中要求曾国藩大义灭亲，把曾国荃抓杀以谢天下。
曾国藩当然不会同意彭玉麟的请求，认为“舍弟并无管、蔡叛逆之逆，不知何以应诛？”曾国藩恳请彭玉麟不要急于引退，在辅助他稳定地方秩序，裁撤湘军的同时，为创立《长江水师章程》而尽责尽力。于是，彭玉麟一边就医治病，一边察看长江各地情形，着手草拟《长江水师章程》。
最终，这个《长江水师章程》共计议定事宜30条，营制24条。其事宜包括：长江水师提督衙署建于太平府、立行署于岳州，提督有单衔奏事的权力；长江共立六标，分设太平、岳州、汉阳、湖口、瓜州、狼山各地，共辖24营；长江与各省水面设防各有专责，即长江水师主要负责主流江防，不负责各省所属江河湖汊的防务；副将、参将、游击之官设立衙署，以稍离城市闹区为宜，都司以下之官不设立衙署；24营共置战船774只，都司于本船之外另有打仗舢板之船，兵数1.2万余人；自提督至千把总各官以次分别配置书吏一至四人不等；长江水师兵丁粮额“暂从其优”，等到军务大定之后酌情稍减。此外，还就饷项出入报销、哨官出缺遴补、设弹药局、建船厂、操练技艺等事，都作了明文规定。
创设这个《长江水师章程》就中国来说，是前无古人之举。它可谓中国现代海军的雏形。