安庆自1853年6月为太平军占领后，是仅次于天京（今南京）的政治、军事中心。1858年5月九江失陷后，又成为天京上游唯一的重要屏障，一旦有失，湘军便可直窥天京。1860年夏，正当太平军二破清军江南大营和东征苏州、常州之际，湘军统帅曾国藩和湖北巡抚胡林翼统率湘、鄂军水陆师五万余，自湖北大举入皖，连陷太湖、潜山、石牌（今怀宁），直逼安庆。道员曾国荃率湘军陆师万余人相继进扎安庆北面的集贤关，与提督杨载福部湘军水师四千余人担任围城任务；副都统多隆阿、按察使李续宜率湘鄂军二万人驻扎桐城西南挂车河、青草塥，阻击太平军援军。6月20日，杨载福水师攻陷安庆东路要地枞阳镇（今枞阳县），安庆被合围。
是年秋，曾国荃督军在安庆城外掘长壕两道，前壕围城，后壕拒援。时安庆由受天安叶芸来、谢天义张朝爵率二万余人驻守。太平军二破清军江南大营后，天王洪秀全等决定俟东征苏，即沿长江上取湖北，迫使湘军回撤以解安庆之围09月下旬，洪秀全从江、浙战场调集兵力，分五路由大江南北并进，其部署为：英王陈玉成率军从长江北岸西进，经皖北人鄂东；忠王李秀成率军从长江南岸西进，经皖南、江西入鄂东南；辅王杨辅清、定南主将黄文金率军沿长江南岸趋赣北；侍王李世贤率军经皖南人赣东；右军主将刘官芳率军攻祁门曾国藩大营。五路中，陈玉成、李秀成为主力，取钳形攻势，预定于次年春会师武汉，以调动围攻安庆之敌。其他三路主要是牵制皖南和江西湘军，并伺机歼敌。
按兵不动拒北援
历史总是在关键时刻出现让人意想不到的问题。正当曾国藩大权在握，以为可以一展夙愿，顺利攻克安庆，进逼天京之时，北京一场意外的变故又将曾国藩拉人了难以自拔的焦思苦虑之中。原来，英、法联军进逼北京，咸丰皇帝带领嫔妃、大臣仓皇出逃，严令曾国藩派鲍超赴京救驾。
英国侵略者通过1840年鸦片战争在中国取得了大量特权后，并不满足。为了取得更大、更多的特权，他们自1854年就开始提出修改条约的要求，遭到了清政府的拒绝。尔后，英国侵略者便和法国勾结起来，于1856年10月发动了第二次鸦片战争。从此，他们由南而北，由小而大，不断挑起战争。其间前后共延续了四年。1860年8月，他们从北塘登陆，打败了僧格林沁的骑兵，攻占天津。后来又击败胜保的部队，兵临北京城下。咸丰大惊，慌忙带着一班大臣、妃嫔逃到热河，留下恭亲王奕诉在京师与英法侵略者谈判。
同时，他还接受胜保的奏请，在逃往热河的途中，接连发布上谕，令各地抚督、将军迅速带兵来京勤王。其中第一道上谕就是发给湘军统帅、两江总督曾国藩的。咸丰帝要他速派鲍超率兵两三千人“兼程前进，刻日赴京”，交胜保调遣。
接到这道上谕，曾国藩一面为皇上蒙尘而担忧，一面又对派鲍超救驾而犯难。
当时曾国藩的处境也不好，太平军刚好攻克徽州。曾国藩孤守祁门，自身凶吉未卜，他还要靠鲍超保卫祁门，扫清通往天京的道路，哪有心思发兵北援。但假若拒不发兵，抗旨之罪，谁能担当得起？抗旨罪名已是不轻，更何况又是这非常变故之际、皇上蒙难之时。抗旨不发兵，自己平时口口声声标榜的忠君爱国岂不都成了假话。万一皇上震怒，天下共责，不待杀头灭族，自己就早已身败名裂，万人共诛了。
因此，面对这道圣旨，曾国藩落入了进退不是，左右两难的境地。
于是，他急忙与胡林翼、左宗棠等人商议，又命幕僚们献计献策。
胡林翼、左宗棠等也都不愿派鲍超北援。鲍超是湘军中有名的能征善战之将，他所率的霆字营是湘军围攻安庆所剩的最为重要的一支机动兵力，并且是唯一敢与陈玉成对抗的军队。倘若将他派走，势必影响安庆战局，何况他们也不愿意将这一支命根子一般的军队送给屡战屡败，草包一般的胜保率领。然而，北援毕竟又事关勤王之举和抵抗外国侵略者的行动，假如托词推诿，拒不发兵，不仅有可能被加上“不忠”的罪名，而且有可能被扣上“卖国贼”的帽子。因此，他们商量来，商量去，仍想不出一个两全齐美的办法。曾国藩的幕僚们也都主张北援，全无上善之策。曾国藩一连几天，急得像热锅上的蚂蚁，整夜不能入睡。
就在曾国藩苦思焦虑不得善策的时候，李鸿章悄悄地走进了曾国藩的房内。首先，他告诉曾国藩，此时人京勤王已属空话，对皇上实际上并没有一点好处。洋人进逼北京，并非是想对皇上不利，他们只不过是想通过战争取得在华的更大利益，只要许给他们好处，肯定自行退兵。接着又献计曾国藩，让他假意请奏鲍超为一介武夫，不能担此重任。入京勤王之事，必须曾国藩、胡林翼两人中的一个带兵前去。而这样的事，自己又不敢确定，因此上折请皇上定夺。这样，从祁门到北京奏折最快也要半个月。一来一回，恭亲王早已和洋人达成协议，到那时勤王一事肯定无人再提。
李鸿章短短数语，一个小小的按兵请旨的妙策，就把困惑了曾国藩几天的难题轻而易举地解决了。是的，一个月之内，恭亲王奕诉必能和洋人谈妥退兵的条件。到那时，人京勤王一事早已成为过丘之水，曾国藩一阵轻松。李鸿章如此轻松地提出了这个万全之策，从此更受曾国藩器重。
事情果如李鸿章预料的那样，曾国藩于10月18日上书咸丰，请求降旨任命由谁带兵人京。11月16日，曾国藩接到皇上圣谕说：“和议已成，鲍超、胡林翼、曾国藩均毋庸北援。”
驻守祁门遭险境
曾国藩选定祁门作为驻节之地，主要是看中它东连休宁、徽州：南达江西景德镇，既有天然大山可以屏蔽老营，又可与浙江、江西互通声息。然而等他到了祁门，只见四周山势陡峭，与外界相连的仅有那条连接休宁、景德镇的东西官马大道。除此之外，有一条小路勾通北面的两个小镇大赤岭、大洪岭。另外有一条小河，河面狭窄，只能浮起坐两三个人的小船，大船不能进来。这里人烟稀少，土地贫瘠。倘若东西方向的那条大道被堵，祁门与外面的联系即断，县城则陷于绝境。看到这些曾国藩有些后悔了。但驻守祁门的事已上报朝廷，所以只得暂时驻下。
跟随曾国藩驻扎祁门的众幕僚一见祁门地形，纷纷劝他离开祁门，另觅合适之地。曾国藩拒绝不听。李鸿章也跟着到了祁门，他在祁门四周勘察了一番，也劝曾国藩，说祁门地势形同釜底，是兵家绝地，要他迁居别处，以免将来受困。曾国藩执意不听，一意孤行，还大骂要走的人贪生怕死。从此，再也无人敢提离开祁门的话。
1860年12月1日，当曾国藩还在为北援问题惴惴难安的时候，李秀成忽然率领二次西征军的主力部队进入皖南。太平军攻破羊栈岭进克黟县，距离曾国藩的祁门大营仅八十里路，中间没有任何遮阻。这时曾国藩身边只有三千防兵，情形十分危急。曾国藩大惊之下，急忙调鲍超前来援救。
几天之后，援军未见踪迹，曾国藩自料难逃活命。这才后悔没听李鸿章等人的话，以至铸成今日大错。于是写好遗书，交待了一些后事，祁门大营的纸上谈兵的军机参赞们，舞文弄墨的书记文案们，以及计账算数的小吏们，此刻也都惊慌失措，乱成一团。有些胆小怕死的人瞒着曾国藩，偷偷从外面买来几条小舟，将自己的行李物品都收拾好，一包一包地都放在船上，单等着曾国藩兵败以后逃命。曾国藩见状，恨不得将那些蛊惑军心的人都抓来杀死，然而他冷静地一思考，觉得那样做只能使人心更散。于是心生一计，欲擒故纵，贴出一份告示。告示上说对愿意离开祁门的人，可以发给工资和路费，决不强留。等祁门之险过后，愿意回来的仍可回来，曾国藩将以诚相待，不计前嫌。这一招果然奏效。那些准备走的幕僚反而不好意思走了，又偷偷地把船上的东西搬回。就这样，曾国藩表面装作很平静的样子，与众幕僚提心吊胆地苦苦支撑。
不久，鲍超率部来援，将李秀成击败。李秀成一战失利之后，随即撤兵南下，曾国藩又一次死里逃生。
这一场惊险过后，曾国藩稍微稳定下来，便找导致这场祁门之灾的罪魁祸首——李元度算账。
李元度是曾国藩最早的幕僚之一，在曾国藩几次处于最困难的时期，甚至一些老朋友都要离开他的时候，李元度始终不渝与曾国藩同甘共苦地过了六七年的艰苦岁月。对这些，曾国藩曾经很感激李元度，甚至有“三不忘”之说：即靖港惨败后对曾国藩细心慰护；九江惨败后率领平江勇护卫水师保护大营；樟树镇惨败后，独立支撑到援军赶到。因此，李元度无论对曾国藩还是对湘军，都起过巨大作用。
但李元度擅长文学却不擅带兵，对部下更是任人唯亲，一味放纵，他所领军队的战斗力并不强。只是，由于曾国藩对他心存感激，徇情袒护，所以李元度才一再得以重用。
这次曾国藩进军皖中，仍保奏他为徽宁池太广道。让其带兵驻守徽州，为自己把守祁门的门户，从中足见曾国藩对他的重用。但曾国藩也深知他不会带兵打仗的底细。因此，驻守徽州之前曾一再告诫他，遇到太平军攻城，只可固守，绝不可出城迎战。但李元度却将曾国藩的告诫视如儿戏，根本不放在心上。当李世贤率太平军进攻徽州城时，他轻率出城迎战，后来见湘军情势不妙，又率先逃跑，至使全军奔溃，徽州失守，危及祁门。李元度逃走之后，又不及时返回大营，而在浙江、江西边境犹豫徘徊，数月不归。最后其回到大营之后，也不束身待罪，反而理直气壮地向粮台索要欠饷。等到饷银拿到手，李元度一言不发，径自率兵回湖南去了。
李元度这种目无军纪的行为使曾国藩大为恼怒，同时又无比失望，决心参劾李元度。谁知参劾李元度的折子还没拟好，知情的幕僚和文武参佐们纷纷进来为他说情，说曾国藩这样做太绝情绝义，不顾前情了，其中李鸿章的反对尤为激烈指责曾国藩忘恩负义。如果一意孤行参了李元度，会让湘军全军将士寒心，但曾国藩为了表现自己不徇私情、赏罚严明，对众人的求情一律不允，坚持不让步。李鸿章见自己求情不下，又遭曾国藩训斥，随即告辞，离开曾国藩的幕府扬长而去。
其实李鸿章早就不想在祁门呆下去了，他是个机敏异常的人，从刚到祁门的那时候起，他就知道驻扎此地是一个绝大的军事错误。这次太平军围困祁门就是个很好的证明。另外他也清楚地看到，太平军绝不会甘心这次的失败，倘若再来一次包围堵截，祁门一定会被连锅端。李鸿章有自己的一番远大抱负。他只能依靠老师同上青云，而不愿与老师共存亡。现在正给了他一个离开祁门的绝好时机。因此，李鸿章趁机溜掉。
果然，没过多久，太平军又分三路向祁门攻来。曾国藩四面楚歌，再一次陷于惊恐之中。可惜这次太平军主将黄文金在与鲍超、左宗棠军激战时不幸负伤，只得退回皖南。然而，渡过这次危机不久，又发生了更为严重的情况。先是李世贤从江西婺源向左宗棠部展开进攻，1861年3月又击败王开琳部，迫使湘军退回景德镇。与此同时，刘官芳等人又进攻出入祁门的交通孑L道历口，距曾国藩大营仅二十里路。曾国藩又一次惊慌失措，急忙派兵增援。刘官芳退军，曾国藩刚想出一口气。江西方面又传来噩耗，李世贤攻破景德镇，兵锋直指祁门。曾国藩文报不通，饷道中断，内外隔绝，又一次濒临绝境。此时他只得移驻休宁，并派兵攻打徽州城，企图从这里打开一条能往浙江的粮道，以求死里逃生。然而此时湘军已乱，不听指挥，根本无法组织起攻势。接着，太平军又跟踪而至追到休宁。曾国藩无奈，只得又退回祁门。
此时，曾国藩再一次到了绝望的顶点，再次写好遗书安排后事，准备应付最坏的情况发生。他在给儿子曾纪泽的信中称这次境遇与几年前湖口惨败的情形相仿。
恰在此时，李世贤在乐平与左宗棠交战失利，于是放弃景德镇，东走浙江。湘军的粮道恢复，曾国藩再一次逃了活命。这一次对曾国藩的打击很大。从此之后，无论多么重要的战事，曾国藩再也不肯亲临战场督战指挥了。
自兵驻祁门以来，曾国藩没过上一天安稳日子，时时感到危机四伏，无日不在惊涛骇浪中度过。因此，自进攻徽州溃败之后，他再也不敢逞英雄，硬充好汉在祁门待下去了，乘左宗棠乐门取胜，军情稍有好转之机，立刻顺坡下驴，赶紧离开祁门这一险地。后来移驻东流，把大营设在靠江岸停泊的大船上，由水师护卫，曾国藩才放下心来喘口粗气，再不用过那种担惊受怕的日子了。