从1851—1855年，在这短短的4年中，李秀成以他自己的勇气和军事才能，由一名普通的士兵晋升为一员难得的将领。李秀成镇守庐州成绩显著，不久，他又升为二十一检点，被任命到安徽太平府、和州一带驻守，像一道屏障一样横在天京上游，挡住了清军。
从1853年5月以后，由于太平军分战北伐和西征，天京以及附近的兵力大为削弱，以致经常受到清军江南、江北大营的威胁。1853年年底，被迫放弃扬州。1855年，形势更趋严重：5月，北伐军在山东茌平冯官屯最后覆没；8月，天京西翼要地芜湖失陷；11月，皖北重镇庐州失陷。幸好从1855年年初起，西征战场取得了九江—湖口之战的重大胜利，全线转入反攻，重新夺回了武汉及其周围地区，并挥师江西，开辟了广大地区。这就使天京当局有可能从西征前线抽调大军回援，以打破清军对天京的围困。
1856年年初，洪秀全、杨秀清从西征战场抽调兵力回救。1月下旬，各部齐集天京。由于镇江被困日久，形势紧急，故决定首行救援镇江。2月1日，李秀成（这时已升地官副丞相）、陈玉成等6丞相的部队，在燕王秦日纲率领下，从天京出发，东援镇江，遭到清军的顽强阻截，最后大家议定：由陈玉成率小队，乘坐小船，取道长江，冲破清军炮船的封锁，顺利进入镇江，后稍事休整，即调集船只，准备渡江，攻破江北大营。
4月2日，李秀成与秦日纲、陈玉成等自镇江渡至瓜洲，留周胜坤一军扼守仓头后路。4月3日拂晓，李秀成等率太平军对西线濒江的重要据点土桥发起猛烈进攻，清军因无戒备，纷纷溃逃。太平军突破西线土桥，乘胜猛进，连破朴树湾等地清军营盘。次日，太平军又大败清军于三汊河，累计共破敌营120余座。托明阿仅带数十骑，连夜逃往扬州东北的邵伯镇。5日，太平军乘扬州城防空虚，兵不血刃，再占扬州，迅速征集粮食，接济镇江、瓜洲的急需。
太平军进攻江北大营，原为接济镇江，本拟于完成任务后南渡，取道镇江由原路返回天京。可是，由于留守仓头的周胜坤一军于4月6日被清军打败，通向天京之路已被切断。17日，李秀成等放弃扬州西进，前队于16日攻占浦口，准备由此渡江南返。可是，就在当天，江南大营派出总兵张国梁率兵勇2400人由南岸石埠桥渡江，并攻占了浦口，27日攻占江浦，致使太平军由浦口南渡之路又被阻断。太平军只得东返瓜洲，在此休整20余日后，于5月27日南渡镇江，屯驻金山。
李秀成等返抵镇江之后，马上攻占黄泥洲，包围烟墩山清军营盘。6月1日，江苏巡抚吉尔杭阿自九华山大营率队抵烟墩山清营，被太平军围困不得出，自杀毙命，各军自乱，烟墩山6座清营即被攻破，清军纷纷逃回九华山大营。3日，太平军进逼九华山，清军因主帅败亡，军中无主，不战自溃，30余座营盘全部瓦解。4日，太平军转攻城东南清军京岘山大营，连日进击，步步为营，先以地道攻破了西路清营，接着转攻东路。由于总兵张国梁率援兵赶到，太平军交战不利。13日，李秀成等尽弃镇江城外各营垒，率部返回天京。
1856年6月13日，李秀成与陈玉成等自镇江返抵天京，驻营观音门、燕子矶一带。这时，东王杨秀清下令，要将清军江南大营攻破之后，方准入城。李秀成与陈玉成等自2月东援镇江，已与清军鏖战数月，将士已相当劳累，从局部情况看，本应进行休整。故太平军将士对东王进攻江南大营的作战命令不甚理解，甚至有的“将兵怒骂”。因此，李秀成便与陈玉成等两个丞相，进京向东王陈述，认为“向营久扎营坚，不能速战进攻”，不主张马上攻打江南大营。杨秀清听到这种主张，顿时大怒，说：“不奉令者斩！”李秀成等不敢再求，只得回营做进攻的准备。
进攻江南大营的战斗从6月17日开始。李秀成等担负的是从东北方向进攻江南大营东侧的任务。当时就由燕子矶向尧化门逼近。“次日，张国梁已由丹徒返回孝陵卫，是早引军与我迎战，自辰至巳，两军并交，张军败阵，天朝之军倾力追赶……我等移营重困尧化门清营。次日，张国梁复领马步前来，两家立阵相迎，各出门旗答话。步战汉兵，马战满兵，两交并战，自辰至午，得翼王（石达开）带曾锦谦、张遂谋等引军到步助战。清军满兵马军先败，次即向、张所领汉军亦败也。是日向、张所救尧化门未能，白军败阵，后被我四面追临，当即攻破孝陵卫满、汉营寨廿余个，独剩向帅左右数营。”（《李秀成自述》语）李秀成所担负的这一路，是主攻方向，所以遇到张国梁所部的顽抗，打得比较激烈。
与此同时，其他方向的太平军也一齐出击，集中兵力，多路分进合击，终于攻破了清军苦心经营3年的江南大营，取得了辉煌胜利。