江南大营的彻底崩溃，迫使清王朝将镇压太平天国的希望寄托在曾国藩及其湘军身上。1860年夏，清廷授命曾国藩为两江总督、钦差大臣，令其督办江南军务，所有大江南北水陆各军，统统归其节制。进攻太平军的各路清军，开始在曾国藩的名义下统一起来了。到9月底，东犯的各路湘军，已深入安徽境内，完成了对太平军西线屏障安庆的战略包围。其部署是：在长江以北，由道员曾国荃率湘军万余人围困安庆，由副都统多隆阿率领的万余人陈兵桐城外围，准备打援，由胡林翼坐镇太湖调度指挥。在长江沿岸，由提督杨载福率湘军水师破枞阳镇，攻池州（今安徽贵池）；在长江以南，道员张运兰率领湘军3000人攻旌德，总兵鲍超部湘军6000人攻泾县，曾国藩则坐镇祁门调度指挥。五路东进的湘军，已构成对太平天国的严重威胁。
这时，洪秀全已感到局势严重，决定组织兵力，进行反击。于是颁下严诏，命李秀成赶赴上游。李秀成当即选将调兵，将苏福省的军政民务交给陈坤书接理，带兵西上。洪秀全命他取道长江以北，同另一支主力陈玉成部，共解安庆之围。从当时敌军兵力部署来看，其重点在安庆周围，如果按照洪秀全的计划，李秀成、陈玉成两支太平军主力都走北路，以主力对主力，未尝不是一种较好的兵力部署方案。可是，由于李秀成强调湖北、江西一带义民首领要求投军，执意先走南路，召集义民之后，再行“扫北”。这样，就将当时太平天国所面临的解救安庆的首要任务置于次要地位，这是很不妥当的。
这样一来，洪秀全等不得不改变计划，由陈玉成一支部队趋北路，李秀成、李世贤、杨辅清等部走南路，其具体部署是：英王由江北前进，他们的目的是在3月（公历4月）会师武昌；忠王自南昌以下横过江西，经瑞州至洞庭湖上的岳州，由此到达武昌以西的地区；侍王横渡鄱阳湖，经南昌、义宁州入湖北，进攻武昌南面；辅王取道湖口、九江，如可能，用船运军队溯江而上，攻打武昌的东面，英王的军队攻北面。这一计划，较之洪秀全原来的计划，存在着明显的缺陷：一是在兵力部署上，产生了主次颠倒的现象，将太平军的主要兵力部署在江南，而敌人的主力则在江北；二是在发动进攻的时间上推迟太久，到次年4月才合取湖北，而这时，安庆已被围近一年，形势越来越紧迫。这一计划所存在的这些缺陷，给尔后军事上造成很大的被动。对此，李秀成是负有责任的。
计划确定之后，陈玉成即率部于9月底白天京渡江西上。李秀成则迟迟于10月底才从天京动身。李秀成在回忆这一段历史时说：“举兵由苏动身到京，将来情启奏，不欲扫北。我主义怒，责罚难堪。此时亦无法处，管主从与不从，我在苏肯应江西、湖北肯降之义民，应肯前往接应，故而逆主之命，信友之情，出师而上江西、湖北。”
1860年10月底，李秀成违背洪秀全旨意，率领部队白天京出发，经安徽太平府（今当涂）、芜湖、繁昌、南陵、石埭，于12月1日越羊栈岭进占黟县，离曾国藩的祁门大营仅60里。正在进攻休宁的湘军鲍超、张运兰两部（共约万人）见后路被断，急忙回师反攻。2日，太平军稍却，退守黟县北面的卢村（儒村）。3日，与鲍、张两部战于休宁柏庄岭，阵亡将士数百人。李秀成部太平军受阻后，便改由箬岭到徽州（今歙县），过屯溪，上婺源，入江西，占玉山，然后又折入浙江境内，在常山过年。
这时，和李秀成一起取道皖南西进的，还有辅王杨辅清部、侍王李世贤部，以及定南主将黄文金部、右军主将刘官芳部等，在兵力上居于绝对优势。如果李秀成联合这几支太平军，对祁门曾国藩大营进行围攻，是完全有可能歼灭敌军主帅的。这种有利的形势，也可从曾国藩的书信中得到反映。他给他的四弟写信说：“此间于十九日忽被大股贼匪窜入羊栈岭，去祁门老营仅六十里，人心大震。幸鲍、张两军于二十日、二十一日大战获胜，克复黟县，追贼出岭，转危为安。此次之险，倍于八月二十五日徽州失守时也。”曾国藩的幕僚欧阳兆熊记述当时的情况说：“文正（指曾国藩）驻休宁城，羞忿不肯回答，已书遗嘱，部署后事，军中皇皇，莫知为计。”可见，李秀成等部太平军给曾国藩所造成的巨大震动，以致他数度留下遗言，交代后事。可惜，太平天国方面没有进攻皖南敌军的计划，几支部队各自为战，互不统属，缺乏统一指挥，形不成“拳头”，这就使曾国藩得以拆东墙补西墙，以对付各路太平军的进攻，从而渡过了难关。太平天国也因此而丧失了在皖南聚歼曾国藩大营、救援安庆的良机。
1861年2月中旬，李秀成部自浙江进入江西，经玉山、广丰、广信（今上饶），于3月中旬进攻建昌（今南城）而未克；下旬，进攻抚州府又未克，便南趋崇仁、宜黄。4月4日进占新淦、樟树镇（今清江），由于赣江水涨，以及清军、地方团练的防堵，未能过江，便沿江南进，于19日从吉水渡过赣江，占领吉安府。22日，弃城北进，经临江继续北上，连下瑞州（今高安）、奉新、武宁，在这里设立乡官，建立地方政权，以为后方基地。5月30日进占义宁州（今修水）。6月上旬，兵分三路，进入湖北境：右路由武宁北攻兴国州（今阳新）；中路由义宁北攻通山；左路西攻通城。6月中旬，各路大军抵达武昌外围，比原计划的于4月合攻武昌，晚了2个月。在经过江西、湖北时，各地义民纷纷加入太平军，使李秀成部的兵员大增，号称50万大军。
李秀成率领大军，千里挺进湖北，为的是与在江北西进的陈玉成部合取武昌。可是，在李秀成部滞留江西境内时，江北的情况发生了很大的变化。1861年2月，英王陈玉成按照“合取湖北”的既定方针，开始向湖北进军。3月10日占霍山。14日占英山，进入湖北。17日占蕲水（今浠水）。18日占黄州（今黄冈）。22日，陈玉成在黄州府会见了英国参赞巴夏礼。巴夏礼借口维护英国的商业利益，“劝告”陈玉成不要进攻武汉。陈玉成由于受到英国侵略者的威吓，就终止了向武汉的进军。除留赖文光据守黄州外，便分兵数路，先后占领湖北蕲州、黄安（今红安）、德安府（今安陆）、孝感、黄陂、随州（今随县）、云梦、应城、麻城等地，但大多旋取旋弃。4月下旬，陈玉成便弃“合取湖北”的计划，率领主力东下，直接救援安庆。
李秀成到了鄂南之后，接到赖文光发自黄州的禀报，得知江北陈玉成军已回援安庆，同时也受到英国驻汉口领事金执尔的“劝阻”，便放弃进攻武昌，于7月上旬命令所部撤出湖北。大体上沿着原来进军的路线，经江西东返浙江。几十万大军跋涉数千里，于抵达武昌外围后不战而退，徒劳往返，诚为可惜。至此，太平军南北两路“合取湖北”的计划半途而废，解救安庆之围的战略企图也成泡影。
李秀成部是太平军的一支主力，拥有数十万部队，他的一举一动，对太平天国整个军事形势，有着举足轻重的地位。可以设想，李秀成如按原计划继续围攻武昌，即使不能攻克，也能吸引更多的清军回救，迫使湘军陷于两面作战的地位，从而减轻太平军安庆战场的压力，有利于解救安庆之围。即使李秀成部撤离武昌外围，如向皖赣边界活动，也可威胁与牵制湘军的南翼，从而减轻安庆战场太平军的压力。然而李秀成计不及此，置事关太平天国全局的西线军事于不顾，离开西线东返江浙。1861年7月19日，占领靖安，逼近省城南昌。曾国藩在安徽东流闻讯，急调鲍超部7000人由宿松南渡长江，经九江，驰援南昌。8月5日，李秀成率部自瑞州进至南昌对岸之生米镇、万寿宫一带。14日，进入临江府境。24日，鲍超率部经瑞州南下。26日，李秀成率全军渡过赣江，屯于樟树镇。30日，率部东趋抚州，围城多日不克，乃于9月8日撤围东走许湾镇，在此息兵3日后继续东趋。16日，在铅山县河口镇，会合自广西脱离石达开部东返的童容海等部20余万人。22日，攻广信不下，乃率领号称70万的大军，东下浙江。
当李秀成率领大军撤出湖北，途经江西东返之际，太平天国西线重镇安庆为湘军攻陷，万余守军全部殉难。安庆的失守，标志着太平天国自1860年9月开始的第二次西征的彻底失败。自此，太平天国后期的军事形势开始急转直下，天京遂暴露在湘军的攻势之下。正如洪仁歼后来所说：“我军最重大之损失，乃是安庆落在清军之手。此诚实为天京之锁钥而保障其安全者，一落在妖手，即可为攻我之基础。安庆一失，沿途至天京之城相继陷落，不可复守矣。安庆一日无恙，则天京一日无险。”
李秀成率领大军自江西入浙，于9月25日占常山。10月5日围攻衢州。11日，撤围东进汤溪，经兰溪到达严州（今建德梅城镇），与正在围攻该城的侍王李世贤部会合，议定由李秀成“领新招将士及童容海全军而下浙江（指杭州），派李世贤打温、台、处州、宁波等处，我派军去破绍兴各县。”
李秀成部署完下一步的军事行动后，率大队从严州出发，经桐庐、新城，20日攻克余杭，进逼杭州。28日，占领武林门外的卖鱼桥。11月3日，由卖鱼桥进至岳坟、孤山一带，拟经苏堤进向南屏。清军断苏堤上的玉带桥，并以炮船前后夹攻，太平军退至九里松。5日，太平军由朱桥猛攻凤山门外的馒头山，破望江、候潮、凤山各门外清军，合围杭州。7日，提督张玉良率兵万余自富阳来援，也被太平军击败（张玉良于21日被击毙）。从此，杭州将军瑞昌、巡抚王有龄率兵数万，困守孤城。13日，李秀成给在守绍兴的侄容椿、子容发的信中说：“官兵自到杭郡以来，日战日胜，城外妖穴，一概扫平，杀死无数，活拿者数千，自降者数千，已将该城围困，内外不通，成功在即矣。”当时，四周各县均为太平军所占领，杭州已成为一座孤城，城内粮食渐趋枯竭。李秀成在军事进攻的同时，还对敌展开政治攻势，“射谕入城，分军民满、汉分别言语，顺言而化，肯降者即可。”
在太平军的政治攻势下，12月10日，杭州武林、钱塘、清波门外的清军投降太平军。29日，清军兵勇纷纷溃散，太平军各部乘势缘梯而入，打开凤山、候潮、清波等城门，大队太平军开入城内，占领杭州。巡抚王有龄自杀，布政使林福祥、总兵米兴朝等被俘。杭州既破，李秀成命令暂停进攻满城，允许杭州将军瑞昌率部退走。然瑞昌顽抗，李秀成乃于31日下令攻破满城，瑞昌等自杀。
在李秀成督部进攻杭州的同时，部将陆顺德占领了绍兴、萧山等地，李世贤部连占嵊县、新昌、上虞、天台、奉化、慈溪、镇海、仙居、台州（今临海）、黄岩、太平（今温岭）等府县，并于12月9日占领五口通商口岸之一的宁波。浙江大部府县，归入太平军的控制之下。
在进军湖北和攻略杭州的过程中，李秀成开始执行了一种优待俘虏的政策，显示出他具有出众的政治水平。早在1861年夏，当进军江西高安阴岗岭时，大败清军，俘副将李金畅（绰号冲天炮）。李秀成“见是勇将有名之人，心内痛惜英雄，故未杀害，当问其来情肯降否……后见其语未有从心，仍然礼待，并未锁押，悉听其由。过了数日，发盘川银60余两，其不受而去江西。后闻被杀”。此次攻下杭州，又当众宣布：“各肯从军者即从，不从者皆由自便。”俘虏了浙江布政使林福祥、总兵米兴朝等清朝官吏，“我亦不杀，礼而待之，又未锁枷，落在书房，与我文官闲叙……过了十余日，林、米二人欲去，不愿在营，既而备舟只各一条，由杭州到上海，各给银300两”（《李秀成自述》）。林、米二人到了上海后，为清朝江苏巡抚薛焕奏清查办。次年夏，清政府命左宗棠杀之于浙江衢州。
李秀成执行的优待俘虏政策，在太平军方面来说是个创举。太平军自金田起义以来，对清军官兵一直执行镇压政策，故清军官兵或逃散，或顽抗，或自尽，降者寥寥。李秀成礼待俘虏，有利于分化瓦解敌军。