1851年1月，太平天国起义爆发了。太平军席卷广西、湖南、湖北、安徽，势如破竹，直至定都南京，大清王朝处于极度的风雨飘摇之中。清廷不断颁诏令各地“勤王”，但昔日威震天下的八旗和绿营兵因为长期养尊处优，日益衰朽，根本不能打仗。清朝最高统治集团不得不动员各地汉族地主豪绅，凭借其在本乡本土的封建政治、经济和宗族势力，“结寨团练”，与官军一起对付太平军，并为此在南北一些省份任命了一大批在籍官吏为督办团练大臣。
咸丰四年（1854年），曾国藩治兵衡湘间，博求奇士，有人推荐彭玉麟，谓其胆略过人，足堪倚任。当时，彭玉麟正居母丧，不想出去闹腾，恰巧曾国藩也居母丧，便对彭玉麟说：“乡里藉藉，父子且不相保，能长守丘墓乎？”这话倒是在理，使彭玉麟大为感奋，遂决意留在湘军效劳。
彭玉麟应召入曾国藩幕府后，除了起草有关文稿之外，主要负责编练水师的工作。经过几个月紧张艰苦的努力，湘军水师于1854年春正式建成：拥有辎重炮船120只，辎重民船100只，士兵5000人，分为10营，由彭玉麟、杨载福、成名标、诸殿元、邹汉章、龙献琛、褚汝航、夏銮、胡嘉垣、胡作霖分别担任各营统领。据有关史料记载，当时湘军水师10营营官中有9人系新提拔之武员，唯彭玉麟是文员，故曾国藩特别倚重他，如军事进止方略均与他预先商议筹谋。如《清史稿》记载：“其九营多武员，白事悉倚玉麟，隐主全军，草创规制多所赞画。”湘军有别于八旗、绿营的地方虽然很多，但有彭玉麟这样的人统率水师，确是最为重要之处。
太平军自1854年4月上旬重新夺占岳州后，石贞祥、林绍璋都遵照石达开的指示，乘胜挥师南进，于4月中旬攻占距长沙城北仅50里的靖港，下旬石贞祥部驻靖港；林绍璋则率部又先后攻占宁乡、湘潭，对长沙形成了一种北、西、南三面的包围。与此同时，在太平军势力的影响之下，湖南及两广各地的会党势力重新活跃起来。面对这种危殆局势，湖南地方统治集团乱了阵脚，曾国藩召集湘军各路将领商议进止方略，以图迅速扭转危局。
在当时，许多人主张先夺回靖港，曾国藩从援助湖北着想，也认为如能击败靖港太平军，便可沿江北上援助武汉，不主张先攻湘潭而遭受退避自保的指责。但左宗棠、陈士杰等人则主张先取湘潭，才能争取主动权。最后，曾国藩召集水师10营营官征求意见，众皆推举彭玉麟为首，主持攻击湘潭的具体计划。大约在4月26日，彭玉麟统率湘军水师五营及一部分陆师，由湘江面上进击湘潭。
此时，太平军林绍璋部在湘潭城北修建木城、木栅，用以阻遏敌军于陆路反扑；同时又收船只数百，编为水营，用以扼守江面。当彭玉麟率湘军水师驶抵湘潭城外江面之时，湘军陆师塔齐布、周凤山部已先期自宁乡进军到达湘潭，与太平军接战互有胜负。彭玉麟自进抵湘潭城外时，见到湘军水师有备，“连樯十里”，必定有一场恶战。但他忧虑的还在于太平军水营战船上堆有许多财物，一旦获胜，水勇势必贪图掳获之物而丧失最终取胜的战斗力，所以他经过深思熟虑，决定亲率一营攻“中屯”，即现今湘潭沿江第十二总地方，适时纵火将船只与财物一齐焚毁，其他诸营则从首尾前往进击。
27日，彭玉麟统率的湘军水师与太平军水营在湘江江面上展开了激战。一时间，湘江水面上下数里间炮火纷飞，杀声震天，战斗持续了两昼夜之久。由于太平军水营战船多系临时编练而成的民船，不仅速度慢，而且旋转不迅速，故被湘军水师抢据上游，趁江面大风之势纵火焚烧，伤亡惨重。林绍璋不得不率全部于29日迅速集中残留之船只，趁风上驶，于30日抵达下摄司，又遭到彭玉麟部湘军水师的追截，最终弃船登陆，仍由间道折回城内。
5月1日黎明，当太平军从西北城垣沿梯而下准备突围时，又遭到早有准备的湘军水陆各军的猛攻，城门被砍开。太平军一面迎战，一面设法分道突围。林绍璋率太平军主力由湘江西岸回靖港，经湘阴、岳州东下；另一部分太平军则退防渌口、醴陵后，转道江西折回湖北通城。
湘潭之役，对于敌对双方来说，都是关键性的一役。就湘军而言，此役不仅为曾国藩在湖北败绩作了弥补，使省城长沙转危为安，更重要的是，湘军由此变被动为主动，得以水陆乘胜而下湖北，继而推进到江西。就太平军而言，此役不仅令西征军士气大减，而且失去了一个全歼湘军、巩固西线的大好机会，西征军从此不得不转入战略退却阶段。
湘潭之役湘军的胜利，彭玉麟功不可没，曾国藩极为赏识。
太平军西征军自湘潭之役受挫后，尽数退守湘北和鄂南地区以求发展。然而，这些地区属港汊纵横之地，尤其是百里洞庭湖的广阔水面适合于水战。曾国藩清醒地认识到，要尽快援救武汉就必须首先扫清湘北水面，而要扫清水面，非水师不能竟其功，所以他在湘潭之役后对湘军水师进行了一段短暂的实力整顿。他的基本方针是：凡是溃散之勇兵坚决不许重归营伍，溃散之后而又归来的营官、哨长也一概不予起用。经过整顿，湘军水陆各师仅留下5000多人。在这个基础上，曾国藩授命彭玉麟等人按照要求招募新勇补充各营，同时调回罗泽南、李续宾等部至长沙。
经过整顿补充起来的湘军水陆共计万余人，进行了认真的技艺操练和精神训导，纪律性和实战能力得到了大大的加强。
与此同时，曾国藩又奏准广东登州镇总兵陈辉龙率所部水勇400人、炮100尊，广西升用遭员李孟群率所部水勇1000人，另有广西保升同知夏銮所部、广西保升道员褚汝航所部共2000多人，一齐汇集到长沙，与湘军水陆各师合作一起，共有2万多人，势力迅速增强。为了补充湘军的战船装备，又在衡阳、湘潭、长沙分设船厂，除了修理旧船之外，续造新船60多只，“皆精坚可爱，比去年者好得三倍”。
一切准备就绪后，曾国藩于1854年7月上旬分遣湘军水陆各师进击湘北重镇岳州。彭玉麟与杨载福等奉令先率所部打前阵，塔布齐、罗泽南部陆师掩护其他各水营依湘江东下。湘军水师先头部队抵达岳州后，由彭玉麟部从君山、杨载福部从雷公湖，张两翼形成包抄之势，但太平军据南津要地不主动出战。后经湘军水师以小船入港，引得太平军水营主力出港迎战，彭玉麟、杨载福即率湘军水师主力猛扑，烧太平军水营船只100余艘、夺获小船数十只，迫使太平军不得不于当天晚上撤出南津据点。
过了5天，太平军组织反攻，再度被湘军水师击败，退据雷鼓台严阵以待。随后湘军水师进攻受挫，正拟于傍晚时分撤退时，杨载福对彭玉麟说，敌军有十倍于我之兵船，要想攻此坚垒，非冒死出奇不可，即自乘三版船冒着炮火直趋而进，彭玉麟亦紧随其后，虽其右肘中弹，疼痛异常，但他在此时已杀红了眼，不顾一切冲入太平军船队，放火先烧其坐船，使得太平军阵脚顿乱，溃散而去。
8月上旬，湘军水师后续部队开至，陈辉龙等自恃船多械足，又因多次交战获胜养成一种骄气，在未作详尽谋划的情况下，统率所部及夏銮、褚汝航所部水勇轻进由太平军秋官正丞相曾天养镇守的重要战略要地城陵矶。正当湘军水师船队开至城陵矶时，突然风势大作，两广兵勇之船遂被大风横吹而下，相互拥挤一团，无法伸展开来。太平军水营战船趁机四面包抄，击毙陈辉龙、褚汝航、夏銮等人，毁其船数十艘。
彭玉麟等先是坐江观战，继则率船冲入救援，不仅无法挽回失败的结果，反而仅得单船而返。自此之后，曾国藩不再要求朝廷援派外省水师统领，而将湘军水师交由彭玉麟、杨载福全权统辖。
8月11日，太平军水营统帅曾天养经过仔细分析敌我双方形势，决定率全军将士3000人舍舟登陆，准备据险安营。然而，就在此时由塔齐布率领的湘军陆师尽数开至，两军展开了激战。由于曾天养部太平军未及立稳脚跟，广大将士从心理上和军需供给上均未做好准备，加之塔齐布为清军悍将，又有彭玉麟等水师的协同作战，其结果太平军大败，损失将士800余人，主帅曾天养力战阵亡，余部不得不退守武昌。至此，岳州及湘北湘鄂通道被湘军占据。
岳州所属地区各战役获胜，奠定了湘军进援湖北的基础。这其中湘军水师所起的作用是不可低估的。传统的忠君观念和治国平天下的人生信念，不时驱使着彭玉麟出生入死。
1854年9月下旬，彭玉麟等湘军水师在曾国藩的亲自指挥下，挥师东进，攻占了太平军把守的武汉三镇。武汉地处长江中游，九省通衢，地理位置十分重要。湘军夺下武汉，顺江东下，便可与清军夹击南京了。
太平军自失武汉之后，遵照东王杨秀清的指令，由燕王秦日纲前往田家镇（湖北武穴境内）全权主持布防，黄再兴、石凤魁则被锁拿赴天京。同时，杨秀清还给秦日纲送去木牌五座，用以加强抵御能力。经过20余天的紧张准备，秦日纲对田家镇一带军事防御做了三方面的工作：一是在田家镇到蕲州长江北岸40里地方，沿岸构筑土城，多安炮位；二是自田家镇横过半壁山江面，横置铁锁两道，相距十数丈，在铁锁之下又排列小划数十支，以枪炮加以保护；三是在地势险峻的半壁山上建立5个营垒，引湖水为壕沟。正因为做了这样严密的防御措施，所以当湘军前来进犯时，两军在田家镇进行了长达10天的恶战。
湘军自攻占武汉后，兵分三路水陆东进。罗泽南、塔齐布部陆师于1854年11月20日开始，在田家镇对岸的半壁山下与太平军秦日纲部首先交战，结果太平军失利，被迫退守山上。23日，由于韦志俊、石镇仑、韦以德率援军赶到，遂与秦日纲联合反攻，鏖战竟日，石镇仑、韦以德力战身亡，半壁山被湘军陆军占据。与此同时，彭玉麟和杨载福率领的湘军水师，则在蕲州与太平军陈玉成部展开激烈的争夺战。因陈玉成在此处布防严密，使得湘军水师屡攻不得其果，无法按预定计划速围田家镇。
11月27日，曾国藩在彭玉麟等人的建议下，采取了避开蕲州，绕越太平军北上舟城，顺流直进田家镇的战略，配合已在半壁山获胜的湘军陆师，全力攻击太平军拦江铁索这一难关。彭玉麟与杨载福、罗泽南、塔齐布根据侦察而得的实际情况，进行了仔细的分析后，决定将湘军水师分为四队，而各队攻击的具体任务有侧重：第一队担负着毁坏太平军拦江铁索，其船只尽数卸去大炮装置，士兵手持大斧，船上装有碳炉，并遵彭玉麟指令，目不仰视，顺流疾进至太平军筏下，砍断锁缆后任务即算完成；第二队负责攻击太平军战船，拟由彭玉麟亲自率领作为第一队的后援，并以其密集炮火掩护第一队行动；第三队在第一队将铁索砍断后，由杨载福率领迅速开船冲向下游，纵火焚烧太平军船只；第四队则担负守卫后方辎重船队、防止太平军突然袭击的任务。
12月2日半夜时分，湘军陆师向半壁山太平军发起攻击，水师第一队皆系小队迅速冲至太平军筏下，彭玉麟率领第二队立即集中炮火加以掩护攻击，将太平军护索小船击沉。此时，由铁工出身的湘军水师哨官孙昌凯指挥士兵鼓吹早已点燃的火炉，并用巨锅盛油脂置于船上，将铁锁环链烧熔砍断，太平军将士惊愕不已，纷纷后撤。早已安排就绪的杨载福则率湘军水师第二队抢先赶至武穴，截断太平军船队的归路，然后溯江而上，与彭玉麟部形成上下夹击之势，于是太平军大批船只被纵火焚毁而尽，士兵伤亡惨重。次日，秦日纲、韦志俊率太平军余部自田家镇退往黄梅，23日又退据宿松、太湖等处。与此同时，驻守蕲州的陈玉成、曾凤传闻田家镇败绩，亦率部弃城东撤。
此次田家镇一役，对于太平军与湘军来说，关系均十分重要。就太平军而言，从此失掉了九江、安庆赖以依靠的屏障。
曾国藩终于松了一口气，可以向清廷交代了。他上书清廷，叙述湘军水师的战斗场面，请求表彰彭玉麟，“应请记名以知府用，并赏加勇号”，“杨载福彻底追贼，劳苦无比，应请记名以副将用，仍加总兵衔”。