太平军占领南京之后，在人力部署上不受任何局限。但他们训练部队和提供武器装备的能力是有限的。他们拥有的武器装备即便不属于古代，也是属于中世纪的，却并不比官军的装备差。太平军能够掌控大部队的纪律，他们这方面的能力远远超过了清廷。离开广西之后，他们的纪律有所松散，在扩军过程中，随军离开永安的每个士兵都当上了军官，他们的人数约为1.2万人。其中许多人其实并不适合于担负更高的职责。
太平军的北伐再次暴露了满人的军事无能。直隶省部署了大约14万名满洲旗人和4.9万名汉人正规军来保卫京城，而在太平军经过的河南、山东和山西省，理论上还有6.2万名汉人正规军。皇帝还命令蒙古郡王僧格林沁带领他的武士们从蒙古赶来保卫首都。据说就是此人把太平军阻遏在距离北京300里之内的地方。太平军得到了南京方面的至少一次［8］增援，但是长征带来的消耗以及官军的不断拦截，自然形成很大的阻力。他们在华北似乎未能如同在南方和长江流域那样补充新鲜血液。
1853年年底，北伐军仍然在天津以南坚守阵地；新从南京派出的部队实际上已经跨越了整个安徽，武昌以下长江沿岸的所有城市再次被太平军占领，江西的大片土地也落到了他们手中，他们正在围攻江西省会南昌。在整个1853年，官军没有打一场胜仗，只是设法困死已经精疲力竭的太平军北伐部队。财政上的混乱和损失，规模不下于军事上的溃败。
自从清廷在军力、调度和财政上破产之后，各省只能各尽所能联起手来，达成一定程度的协调，力图挽回时局。在多数情况下，最初的打击对于他们总是过于沉重，使他们一时措手无策。不过，湖南的局面却是明显不同。该省的政府和人民迅速组织起来，决心力挽狂澜，用自己的力量和示范来挽救朝廷。
当太平军进入湖南时，他们在蓑衣渡遭到江忠源指挥的两千名民团的沉重打击。这支民团后来为长沙的解围贡献甚大。江忠源得出一个结论：民团相对于正规军具有无可比拟的优势。他的看法使省级当局受到启发，最终也点醒了朝廷：若想恢复秩序，还得依靠正规军和满洲旗人以外的力量。太平军离开了湖南，但他们在这个省份唤起了盗抢之风，该省的每一个地区几乎都发生了暴动。江忠源这支小小的民团部队为镇压盗抢立下赫赫战功。省政府组建了另一些部队，在省内较为重要的中心地区逐步控制了局面。
此时曾国藩住在位于湖南中部湘乡的家中为母亲守哀。他已经建立了学术上的声望，并且在北京的部级机关获得了不少为官的经验，在首都声誉极佳。他毫无军事素养和军事经验，但这在京城对他并无不妥，因为他是一名翰林学者。可是到了1852年底，湖南巡抚接到一道北京来的命令，通知他：在籍侍郎曾国藩赋闲在家，皇帝指示他协助招募和组织湖南的志愿者从军。［9］
1853年初，曾国藩着手招募和组织一支志愿军，这支部队就是后来享誉全国的“湘军”。
这个任务非同一般，起初他不得不跟旧军队的特权阶级竞争，还得面临任何新生事物在一个古老国度里注定要遭到的普遍反对。不过，这一年内他取得了长足的进步。在组建时期，这支部队在镇压土匪的战斗中获得了丰富的基本实战经验。
作为一个湖南人，曾国藩认为新的军队在与太平军交战之前，应该首先稳定本省的局势。他意识到，他的部队一旦跨出湖南边界，为了在战场上维持军力，他就必须依靠湖南省来补充兵员和资金。在整个那一年内，北京不断催促他东进镇压太平军，但曾国藩按兵不动，直到他做好进军的准备。江忠源和他的那支小部队已被派往长江下游，在江西抵御太平军。他当时已被提拔为安徽巡抚，下年初在与太平军作战时吃了败仗，自杀身亡。于是，在前期镇压太平军的战争中唯一的一个表现出了才干的军队指挥官，就这样离开了舞台。
左宗棠在太平军围攻长沙时曾担任巡抚张亮基的军事顾问。张亮基升为湖广总督后，骆秉章继任湖南巡抚。太平军在1853（原文为“1854”，译文根据史实做了改正。——译注）年2月撤离武昌后，张亮基去武昌上任，带着左宗棠同行。他向皇帝推荐左宗棠做官，结果左宗棠得到了知县的头衔，而非官位。张总督说，他只有3个人可以完全依靠，其中包括左宗棠，他能打理总督衙门里的任何公务。张总督与骆秉章联名推荐左宗棠做官，他得到了同知直隶州的任命，但他推辞未就。1853年秋，张总督调任山东，由吴文镕继任湖广总督。究竟是吴文镕未留左宗棠为他效力，还是左宗棠不愿留下，我们找不到记载，只知道他在11月份回到了湖南老家。
《年谱》没有说出左宗棠拒绝就任直隶州同知的理由，但在下一年他写给曾国藩的秘书刘霞仙的信中，也许可以看到对这件事的解释。他认为自己去就任那个职位是大材小用了。其中提到的武侯是中国人心目中的大英雄诸葛亮的另一称呼。左宗棠总爱把自己比作诸葛亮。信中写道：
来示谓涤公拟以蓝顶花翎尊武侯，大非相处之道。……吾欲做官，则同知直隶州亦官矣，必知府而后为官耶？且鄙人二十年来所尝留心，自信必可称职者，惟知县一官。同知较知县则贵而无位，高而无民，实非素愿。知府则近民而民不之亲，近官而官不禀畏。官职愈大，责任愈重，而报称为难，不可为也。此上惟督抚握一省大权，殊可展布，此又非一蹴所能得者。以蓝顶尊武侯而夺其纶巾，以花翎尊武侯而褫其羽扇，既不当武侯之意，而令此武侯为世讪笑，进退均无所可，非积怨深仇，断不至是。涤公质厚，必不解出此，大约必润之从中怂恿，两诸葛又从而媒孽之，遂有此论。润之喜任术，善牢笼，吾向谓其不及我者以此，今竟以此加诸我，尤非所堪；两诸葛懵焉为其颠倒，一何可笑。幸此议中辍，可以不提，否则必乞详为涤公陈之。吾自此不敢即萌退志，俟大局戡定，再议安置此身之策。若真以蓝顶加于纶巾之上者，吾当披发入山，誓不复出矣。［10］
骆秉章听说左宗棠没有就聘于人，便写信给他，请他出任自己的首席军事顾问。左宗棠初次谢绝，但骆秉章再次邀聘，左宗棠就接受下来。与此同时，太平军于1854年初再次袭击湘北。他们显然听说过左宗棠其人，因为他们派了一队人马前往左宗棠隐居的山间搜捕他。左宗棠风闻敌人到来，携带家眷逃往长沙。他于1854年4月5日进入巡抚衙门就任首席军事顾问之职。
曾国藩在募集新军时，与湖南省当局发生了不小的摩擦。全省的土匪令巡抚十分焦虑，他授权候补官员王珍募集一支志愿军来防守长沙。王珍与曾国藩立刻发生了冲突。左宗棠与王珍是很好的朋友，在这场冲突中左宗棠似乎是站在王珍一边。王珍甚至有可能谋求取代曾国藩成为湘军的组建者，显然曾国藩对王珍很不感冒。如果这种情绪牵连到王珍的朋友，也是无足为怪的。
黑尔说，在1854年春天长沙周边发生的军事行动中，王珍打了一场小仗，击毙了大约30名太平军，而他上报为一场大捷。“当关于军事行动的联衔奏报起草之后，曾国藩审阅并签上了自己的名字。但是在送达朝廷的最后抄正件上，左宗棠做了增删。在他所做的修订中，叙述了一场虚假的胜利。这使曾国藩勃然大怒。”［11］
不难理解，在农民运动的这一阶段，对一个心神不宁的政府而言，最微小的胜利也可以当作大捷，而人们最常见的秉性就是把厌恶的对象所取得的成功缩微，而把偶像的成功夸大。王珍的功绩在他的朋友和曾国藩的眼中很有可能大不相同。曾国藩似乎永远也没把这件小事忘掉。这就是曾国藩与左宗棠失和的开始，这种状况在10年后达到顶点。在湘军攻占南京之后，这两个杰出的湖湘子弟之间爆发了激烈的争端。
从南京溯江而上的太平军部队于1854年6月26日攻占武昌。散布各地的会党已在湖南活动了几个月，曾国藩和该省当局尽了一切努力进行镇压。4月份，曾国藩试图当一回现场指挥官，但他被太平军击败，非常沮丧，两次企图自杀。［12］他认为自己不是部队指挥官的料子，不能再做现场指挥作战的尝试。然而他继续担任湘军的首脑，到秋天已经成功地肃清湖南，开始向武昌进军。湘军于1854年10月14日占领这座城市，还有位于江北的汉阳与汉口，标志着清政府在镇压一场已经持续了4年之久的农民运动中首获大捷。于是曾国藩向南京进发，北京多年来第一次看到了最明亮的曙光。
但是政府的体制对于猛烈而成功的军事行动而言是一个过于沉重的包袱。曾国藩是总司令，但他的权力局限于指挥他这支人数不多的湘军，对各省的官员只能说服，而无权节制。曾国藩离开武昌以后，花了将近10年时间，才得以进入南京。不过必须指出，他的功劳在于，他从来没有失去希望，也未曾动摇决心。