1861年（咸丰十一年）3月上旬，正当黄文金部在西路败退之际，东路的李秀成大军则自广信进攻抚州、建昌，深入到了江西腹地；太平军侍王李世贤部于3月12日从皖南休宁出发，占领婺源，准备绕道江西，与左宗棠军再次争夺祁门这条湘军的生命线，并伺机回攻祁门。于是，左宗棠一面派王开琳、罗近秋率部迎击，而自统大军赶赴婺源。途中听说李部已由中云进入乐平，急忙于3月22日回至景德镇。同日，王开琳、罗近秋中伏败归。
李世贤是李秀成族弟，身材高大魁梧，脸膛棱角分明，初为太平军裨将，“累岁不得迁”，到了陈玉成掌管军事，拔为总制，独领一军，隶属李秀成。1858年（咸丰八年），湘军名将李续宾陷桐城，太平军弃舒城退走三河。李续宾分三路攻击之。李世贤以三河为屯粮地，纠合张洛行陈玉成军，自庐郡至金牛镇，连营数十里，抄清军后路。那几天，恰逢大雾，迷不见人。李世贤道：“李续宾善战，今大雾，天助我也。”他来不及约等陈玉成部，便率部进攻。清军左路先溃，中右两路复被袭，将士死者大半。这时，陈玉成军至，复以断其归路，这样一来，李续宾之军溃败不可止。续宾叹曰：“今败矣！”于月夜率数百骑突围，被太平军所杀。李续宾，大小六百余战，无不胜，太平军过去都很怕他。此次败亡，李世贤之名大振，天王洪秀全奖其功，封为侍王。
左宗棠闻讯后，立即派部前往婺源迎堵，被太平军击败。太平军乘胜攻击，1861年（咸丰十一年）4月9日，李世贤大军由乐平奇袭景德镇，城破，总兵陈大富投水死。李世贤留李尚扬驻守景德镇，而自引军还攻祁门，将其四面包围。此战，左宗棠也领教了李世贤的厉害。落败之后，左宗棠只得急急忙忙地于4月10日率部从金鱼桥退守乐平。
景德镇失守，祁门湘军的生命线被切断，曾国藩所部的3万人候粮30日都不至，军心动摇，随时都可能出现哗变，形势非常危急。这一次，曾国藩在绝境中又想到了自杀。他自认为无计逃脱，慌忙写了一篇遗嘱：
此次之险，倍于上次李秀成过祈门而不敢攻祁门之险。此次在祁门军中，李世贤勇猛日逼，局势甚危，又断我粮道，将祁门之军尽困孤城之中，我已决计与祁门将士一同去死，死在一起乃终生大幸……
曾国藩在遗书中，他竭尽讨好部下、同僚将领，以拉拢收买人心。遗嘱写好后，他不便直接拿给左右人看，于是又写下书函一封，递于在祁门城楼上指挥抵御的幕僚欧阳兆熊。这欧阳兆熊一见同一城之中还以书信叙述，当下便打开来看，只见书信全是纵论生死之道的话。欧阳兆熊顿时吓得脸色灰白。这信告诉他：曾帅要自杀了！欧阳兆熊立即抓过一匹快马，策马赶到曾国藩的官邸。他不顾一切冲进去，不见曾国藩在房内，于是大声呼叫，左右上百人慌忙满院子去找。终于在庭院的一个拐角处，看到曾国藩已在一段树枝上挂了白布一条，且结已打好。见有人脚步响，曾国藩正踩着板凳往上爬呢！欧阳兆熊大哭大叫着跑上前去，拦腰把曾国藩抱定，然后命令左右抬至房中。曾国藩假装哭叫，定要去死，否则无颜面对朝廷。众人上去劝说，才逐渐平静下来。欧阳兆熊又想起遗书的事，在曾国藩帐中到处翻找，终于找出来了。他当众向将士一读，许多人感动得流下泪来，纷纷表示：坚决保卫大帅！坚决保卫湘军！坚决保卫朝廷！
但是，太平军侍王李世贤可没有理会曾国藩的自杀事件，他在截断祁门大军的生命线之后，一面派李尚扬驻守景德镇，而自己则一面率军进攻祁门。左宗棠听说景德镇失守，急忙于4月10日从金鱼桥退守乐平。
4月14日，李尚扬进攻乐平。为了保住湘军祁门大营，左宗棠果断下令对李世贤部的太平军实施“牵制”作战，以减轻祁门湘军的压力。左宗棠军主动迎战，败李尚扬部于马家桥、桃岭。李世贤闻讯之后，果然放弃了对祁门的攻势，大举南下。左宗棠则率军节节阻击，逐渐后退。4月21日，李世贤大军攻抵乐平城下。左宗棠一面凭借深壕高垒坚守乐平，伺机反攻；一面又从长畈引水塞堰，造成大片沼泽，以限制太平军的骑兵行动。
4月22日，双方展开激烈的战斗。太平军逼近壕墙，左宗棠指挥楚军发射排枪，以密集的火力阻挡太平军前进。太平军屡却屡前，奋勇环攻，左军也拼死抵抗，毫不退却。次日，太平军调整部署，继续攻击。
当年，李世贤大胜李续宾，利用了大雾天“迷不见人”而一举得逞；22日夜间，天气骤变，左宗棠在帐前彻夜不眠，思虑再三，遂用“以其人之道，还治其人之身”，决计利用风雨交加的恶劣气象，虚张声势，以攻为守，以少胜多，出奇制胜。
4月23日，待李世贤中伏后，左宗棠督王开化、刘典、王开琳等三路越壕并出，鼓噪冲击。时值风狂雨急，畈水骤涨。李世贤军由于没有准备，仓皇迎敌，被楚军打得大败狂奔，人马自相践踏，被击杀及溺死、踏亡着达五千多人。败军向东溃退，楚军奋力追击。
“这个骑黄骠马的头领便是李世贤，赶快追！”王开化命令部下。
李世贤狠狠策马飞奔，到一个山岭的拐弯处，硬将一员小个子士卒的衣服剥下来披上，丢掉头盔，继续狂奔，终于逃脱。他这次易服而逃的狼狈相远超过曹操割须弃袍。
祁门恶战之际，鲍超的援军亦至，楚军声威更大，驻守景德镇的太平军也急忙溃退，该要地重新落入楚军之手。
左宗棠率军追击，李世贤由德兴直入广信（今上饶），纠合各镇兵折入浙西。
左宗棠乐平保卫战的胜利，稳定了赣东北的局势，巩固了曾国藩祁门大营的后路，使曾得以拔营移驻东流，增援安庆。
1861年（咸丰十一年）5月11日，曾国藩上奏清廷，请将左宗棠改为帮办军务，在奏稿中，曾国藩用了一句“以数千新集之众，破十倍凶悍之贼”，并指出了在运筹指挥方面的“因地利以审敌情，蓄机势以作士气”是“深明将略”，已经高出了“时贤”——当代英雄豪杰，即比他与胡林翼都高明。
清廷接受了曾国藩的建议，于5月26日发布谕旨：
命候补三品京堂左宗棠帮办两江总督曾国藩军务。6月又授太常寺卿。
之后，左军继续驻防景德镇。至7月上旬，他自率4000人移驻皖南婺源。11月初，又称屯赣东广信。他的部队到这时已经扩充至7000余人，成为镇压太平天国革命的一支举足轻重的军事力量。