但是，曾国藩确实看到这是一个机会，于是他采用明朝戚继光的练兵方法，不久就组织起了一支几千人的湘勇。，而在以后东征时改名为湘军，。曾国藩自以为训练得法，无论从军队的战术训练到思想教育，都很完善。他看着这几千人的军队，心中有一丝的得意，虽然他一再告诫自己不要轻敌，但还是禁不住地飘飘然。
时机一成熟，曾国藩就决定与太平军作战。首战战于岳州，令所有人都没有想到的是，新组织的军队没有经过实战训练，一触即溃。曾国藩不得不亲自督战，然而兵败如山倒，败军如潮水根本无法阻挡，水军几乎全军覆没，陆军也死伤惨重。
曾国藩百感交集，深感造物弄人，投水自尽，。也许是天不该绝也许是他命不该绝，他被随从救了回来。活着就还有机会，他不得不咬牙坚持，挺在困境中能够起到令人坚定的作用。
三个月后，曾国藩重新招募湘勇，整修战船，准备举兵再战。这次他一举拿下了岳州，令士兵精神大振。，一鼓作气，又攻占了武汉，军威大振。朝廷嘉奖了湘勇，并赐曾国藩兵部侍郎衔。如果没有第一次失败后的坚挺，恐怕曾国藩早就命丧九泉了。
咸丰五年，1855年1月，太平军进逼九江。于是曾国藩气焰嚣张起来，声称“肃清江面，直捣金陵”。形势危急，太平军的部署也作了调整，这对曾国藩来说是一个挑战。
这次曾国藩的对手是太平军的中坚力量，——翼王石达开。真正的较量就要开始了，这对于一个军事指挥家来说是非常严峻的考验。石达开采取诱敌深入的策略，在江西湖口，每次派一小批战船引诱敌舰，然而一接战便迅速败退然而一交战便迅速败退，以此来麻痹敌军。曾国藩的军队果然中计，所谓骄兵欺敌，两个月后湘军在毫无防备的情况下进入了鄱阳湖。
石达开见诱敌成功，果断出击，命军队堵截湖口，采用火攻，焚毁了湘军的所有战船，湘军几乎全军覆灭，曾国藩的座船也被夺走了，。这一次打击要比第一次来的更大这一次打击要比第一次来得更大，眼见回天无力，绝望之际，曾国藩再次投水自尽。命运又一次挽留了他，。当他苏醒过来的时候，看着尸横遍野、满江烧毁的战船，禁不住老泪纵横，心血毁于一旦，禁不住老泪纵横，但是他没有时间伤感，因为太平军就近在咫尺。他只好随着败军退守武汉，然而不久就被势如破竹的太平军赶到了南昌。
此时，曾国藩在南昌已经无路可退，四面已经被太平军包围了。人心危危，再加上城中缺粮，已经到了内外交困的地步。在此危急关头，曾国藩没有任何选择，只能坚持到底，他甚至已经写好了遗书，准备和太平军决一死战。