1861年（咸丰十一年）5月24日，皖南太平军右军主将刘官芳部由池州攻占建德，分军入江西鄱阳境枧田街，距景德镇60里。左宗棠闻警，于6月初急从广信回军驰援。6月14日返抵景德镇。太平军撤退，左宗棠遣王开琳等率老湘营并左、右两营由桃树店横出截击。6月24日邀击于桐树岭，大败太平军。乘胜追击入皖，29日占领建德。张运兰军也先后攻陷黟县、徽州。曾国藩考虑到后路空虚，又鉴于婺源为皖、浙、赣三省要冲，于是咨商左宗棠分军移驻婺源，以便一面与张运兰等约会夹击正由福建汀州北上的太平军赖裕新部，一面谋划保徽州兼保婺源、饶、景的策略。
7月8日、9日，左宗棠饬王开琳老湘营2500人及守备方雪昌新募500人留守景德镇，而自己亲率五营，四总哨及桂勇、马队等营4000人移驻婺源。这时，浙江形势日趋紧急。5月初，太平军李世贤部由江西广信东入浙江，克常山、江山、寿昌，并于5月25、27、28三日内连下龙游、汤溪及金华府县三城，宁波、绍兴告急。
清政府于6月25日发布谕旨，要调左宗棠军克日启程，应援浙江。曾国藩接旨后，即奏称：左宗棠业已移驻婺源，“臣暂驻江滨照料北岸，其徽岭内外及饶州、广信各属战守事宜，均赖左宗棠就近维持”；且“自鲍超北渡之后，南岸仅恃左宗棠一军纵横策应七百余里，若并无此支活兵，则张运兰等孤悬岭内，粮路仍有必断之日，徽郡终无能守之理”。
因此，“欲求保徽之方，更无援浙之力”。请求等待湖北、江西攻剿得手，或安庆克复之后，有兵可分时，再与左宗棠一起援浙。清廷权衡形势轻重，只得同意曾国藩的请求。
左宗棠驻军婺源，历时近3个月之久。时值酷暑炎蒸，疾疫繁兴，战事频繁，困苦难言。
当时，军中的士卒、长夫，患疟疾的人几乎过半，因此死亡的人数也很多。左宗棠本人在这段时间里也曾染病，“贱躯忽寒热混杂，头痛身热，殆不可支”。于是在婺源一面休整队伍，增补营员；一面筹备战守，迎击来攻的太平军。7月30日，太平军赖裕新部由浙江常山挺进江西德兴的白沙关；次日，前队入驻德兴的九都新建地方，距婺源仅40里；8月1日，后队复大至。左宗棠派王开化、崔大光、张声恒等率2500人迎战。8月2日，在新建击败太平军，乘胜直捣白沙关。太平军伤亡千余人，余部折回浙江开化。继后，李秀成部又由抚州攻扑广信府及玉山、广丰县城。鲍超率军尾追，左宗棠亦由婺源南下德兴。李秀成部分两路撤入浙江境内，9月25日，一路由玉山占领常山，一路出广丰入江山。10月2日，左宗棠进驻广信，策应各方。此后，江西、皖南转趋平静，战事主要在两个方面进行：在北面，主要集中在天京外围，包括太平天国的苏福省；在南面，则逐步转入浙江境内。
战争之最深厚伟力存在于民众之中。凡是得到人民群众拥护的队伍，就有了胜利之本。且看左宗棠在家书中所反映出来的受民众爱戴的情况：
到婺源半月打一胜仗。此间士民感服不已，以十年来未睹官军之威也。婺源为朱子（按：朱熹）阙里，本朝名儒江慎修先生永、汪双池先生绂均守朱子之学者，故家遗俗风流未歇，士秀民愿，与他处异，唯文弱殊甚。
婺源士民送万民伞与旗牌者纷至沓来，今乘杨麓生彤寿归家之便付回。
正当左宗棠在婺源处于水深火热之中时，国内也发生了几件大事。使这位久经沙场的硬汉子如五脏俱焚。
1861年8月22日（咸丰十一年七月十五日），咸丰帝病逝于承德行官。他是于前一年英法联军侵入北京之前，逃往承德的。他死后由年仅6岁的载淳即位，改元同治，慈安、慈禧两宫太后垂帘听政，实际则由同治帝生母慈禧掌权。11月2日，载淳的生母慈禧太后就联络恭亲王奕等人，发动了一次宫廷政变：由于以肃顺为首的八位“赞襄政务王大臣”反对太后听政，分别被处死、流放、免职，而由道光帝第六子恭亲王奕当政。自此，慈禧太后执掌清王朝最高统治权力达40余年。
1861年9月5日，长期被包围的安庆终于被曾国藩军攻下，这是湘军的一次重大胜利，太平军的重大挫折。太平军西上武汉的通道受阻，曾军解除了后顾之忧，又能抽出包围安庆的军力，增援对天京的进攻。从此，太平军形势日蹙一日，开始走下坡路了。
1861年9月30日，左宗棠的“一生知己”胡林翼在武昌病逝。他病危时致信左宗棠，与他诀别，勉励他和曾国藩继续未竟的事业。左宗棠得信后，急忙派人专程去看望，并送药物给他。使者看到胡林翼“血尽嗽急，肤削骨峙”，显然是患了肺结核或肺癌，这在当时都是不治之症。胡林翼是湘军三统帅之一，足智多谋，富有政治头脑。他的死是湘军集团的重大损失，对左宗棠也是一个重大打击。他在军中，不能前去吊丧，写了一篇情真意挚的祭文。
祭文开头谈到与生俱来的两家交情，而后谈到在京师初遇，以及多年来的交往情形。现在人已仙逝，我不能随你而去，以头触床，哭干眼泪。我失去了一生真知己，也失去了事业上的一个最忠实的伙伴，只有长叹涕零。祭文结尾说：
悠悠我思，不宁惟是，交公弱年，哭公暮齿。自公元亡，无与为善，孰拯我穷？孰救我偏？我忧可诉？我喜何告？我苦何怜？我死何吊？追维畴昔，历三十年，一言一笑，愈思愈研……有酒如兹，有泪如丝，尽此一哀，公其鉴兹。
的确，30年的交情萦怀于心，如今挚友永逝，左宗棠似乎更觉得孤独寂寞了。他在是年《与李希庵书》云：“祭润公文一首附览，不自知其词之哀也。”曾国藩对这篇祭润帅文，百读不厌，愈读愈妙，在复左宗棠的信札中谓“哀婉之情，雄深之气，而达以恢弘之气。”可见，曾国藩对胡林翼的死也是不胜伤感。