太平天国起义的势头迅猛异常，致使清政府不得不派重兵镇压。这时候，因为樊燮事件辞职回乡的左宗棠又被朝廷重用。于是，左宗棠就自己在家乡招募兵将，组成了楚军。由于左宗棠治兵有方，楚军英勇善战，锐不可当。后来，左宗棠被朝廷派往皖南镇压起义军。
1860年1月（咸丰九年十二月），左宗棠怏怏地离开了湖南巡抚衙门。这突如其来的风波，尤其是樊燮、官文之流对他肆无忌惮的攻击，使他强烈地意识到生活在这个时代，还得走科举考试的路子。如果当初考上了进士，自己现在可能就是湖南巡抚，而非湖南巡抚的幕友。尽管他此时已年届半百，但仍然产生了重回考场，蟾宫折桂，然后由正途入仕的强烈意愿。
这一年，恰好是咸丰皇帝的三十大寿，朝廷照例特开恩科。于1860年（咸丰十年）2月19日由长沙启程北上，准备参加当年的恩科会试。左宗棠便从长沙启程北上。3月24日抵达湖北襄阳。在这里，左宗棠接到了胡林翼托人转交的密信。胡林翼在信中告诫左宗棠：“官文等人并未善罢甘休，正在为你设置陷阱，现在北京关于你的流言蜚语很多，你到北京等于是自投罗网。”左宗棠得信，十分寒心，感到厕身天地，四顾苍茫。
与此同时，好友王柏心的一封书信给左宗棠指明了另一条路。王柏心在信中说：
自古以来，功高总有人妒，不应当因微言而消极退隐。为了实现自己的志愿，还是去投奔胡林翼或曾国藩，赞划兵谋，等到将来克敌成功，再告归乡里，以正海内外视听，那就和现在退隐大不相同了。
左宗棠看了这封信，尽管对仕途深感寒心，但在进退两难的情况下，还是采纳了王柏心的建议，开始考虑栖身军旅，想先到湘军中去当个小营官，驰骋疆场，杀敌建功。
于是，左宗棠改变计划，折转东下，准备暂栖军旅。
此时，湘军将领们正在规划攻取长江中游的战略要地安庆。曾国藩的大营扎在宿松，胡林翼则驻军英山，李续宜屯守青草塥。
左宗棠怀着颓丧的心情从襄阳乘船顺汉水而下，不久到达英山，入胡林翼营中，5月14日辞离英山，于5月17日来到了安徽宿松曾国藩的湘军大营。曾国藩非常高兴地接待了他，并将他留在自己的大营内。他在曾国藩的大营住了二十多天，与曾国藩等朝夕纵谈东南大局，谋划所有补救的办法。而在此时，曾国藩也得到了咸丰皇帝有意起用左宗棠的谕旨。
5月21日，清政府传谕曾国藩：
有人奏左宗棠熟悉形势，运筹决策，所向克敌。惟秉性刚直，疾恶如仇，以致谣诼沸腾，官文亦惑于浮言，未免有指摘瑕疵之处，左宗棠奉身引退。现在贼势猖獗，东南蹂躏，请酌量任用……左宗棠熟悉湖南形势，战胜攻取，调度有方。目下贼氛甚炽，应否令左宗棠仍在湖南本地襄办团练等事，抑或调赴该侍郎军营，并着曾国藩酌量办理。
1860年6月2日，曾国藩便上奏清廷，恳请重用左宗棠。
当左宗棠惶惶然奔波于胡林翼和曾国藩的军营之时，国内的军事形势也发生了重大的变化。
太平天国在1856年发生内讧（即杨韦事变），1857年又发生石达开率大军出走事件，致使元气大伤；而清军则抓住机遇重建江南、江北大营，加紧围攻天京的准备工作，并陆续夺取了长江中上游的战略要地武汉、九江。1859年以后，太平天国在屡遭重挫之后，重建了新的领导核心，以图力挽衰败局面。1860年（咸丰十年）3月19日，李秀成攻占杭州，待清军分兵救援之时，又迅速回师北上，会同各军，于5月6日攻破江南大营；随后，太平军乘胜东进，连克丹阳、常州、无锡等地，并于6月2日攻占苏州，建立苏福省，开辟了新的根据地。然而，就在太平军的声势日益大振之时，清王朝的八旗和绿营兵却日渐显现其腐败无能。清政府不得不把镇压太平天国起义的主要希望寄托在湘军身上。
在这种新的形势下，出征六七年仍只是兵部侍郎的曾国藩，终于在1860年（咸丰十年）6月8日等来了御赐的兵部尚书衔，署两江总督。也正是在这种新形势下，樊燮呈控案也发生了戏剧性的转折，左宗棠由被控查办的对象一变而成了清政府欲加重用的人才。
而此时的左宗棠还并不知道朝廷的意图，原本还打算去青草塥访晤李续宣的，却突然听到儿子孝威病重的消息，于是急忙在6月9日离开宿松兵营，返回了湖南。
6月9日，清政府发布了谕旨：
命兵部郎中左宗棠以四品京堂候补，襄办署两江总督曾国藩军务。
此时的左宗棠正在返湘的路上。6月16日，他回到岳州。23日抵达长沙。这时，他已经获悉了曾国藩署两江总督的消息。6月26日，左宗棠接到了清廷让他以四品京堂候补，随同曾国藩襄办军务的谕旨。一夜之间官升数级，又有统兵之权，着实让左宗棠喜出望外。
7月，左宗棠开始在湖南组建他的部队。首先是选聘营官，制定营制，挑募营勇。
在营官的选用方面，曾国藩主张“带勇之人第一要才堪治民”，即选“文员”、“儒生”领军，左宗棠则强调“营官多用武人”，“止取其能拌命打硬仗耳”。这是曾、左选将的区别之处。
这一次，左宗棠是直接统军，当然更注意按他的标准“选将”与“用将”。他于所知湘勇、楚勇旧将弁中，先后选聘了崔大光、李世颜、罗近秋、黄有功、戴国泰、黄少春、张志超、朱明亮、张声恒9人，皆百战之才，让他们招募营勇。
左宗棠在创立这支军队时不用湘军之名而称“楚军”，表明他的意向在于独树一帜，自辟蹊径。左宗棠没有曾国藩那样太多的瞻前顾后，他定名“楚军”底气十足，毫不羞羞答答，这是因为他早就想好了：长毛称太平“军”，而清“军”八旗、绿营又溃不成“军”，既然皇帝下诏让我去招兵，总不能以民团的游“勇”去对抗并战胜敌人几十万之“军”？不称“军”，便是长敌方的志气，灭自己的威风。还有一个意图便是，他不愿长期受曾国藩制约，他领的军队从名称到内部结构、招募对象以及实际战斗力上都要有别于湘军。
在招勇方面，不像曾国藩那样主要招收湘乡籍兵勇，而是主张在湖南各府县招募“骁士”，以朴实勇敢为主。其兵源来自长沙、湘乡、郴州、沅州、湘阴等县。以避免曾部湘军“尽用湘乡勇丁，无论一县难供数省之用，且一处有挫，士气均衰”的弊端。
在军队的编制方面，他采用王鑫之法，不照搬湘军360人为一营。
左宗棠的楚军编制，前、右、左、后营每营500人，而中营前、左、右、后哨，每总哨320人，而老湘营则仍按王錱之法，设前、左、右、后旗，每旗360人。
楚军营制，500人之营，坐粮每月2500百余，行粮每月2800；散勇每名每月四两二钱（火勇一钱，长夫一钱）；招募成军，每日口食钱每名百文。招募经费、军装以及一月坐粮、一月行粮总计约需六七万两，均由湖南巡抚饬局给领。
他计划“一月余成军，一月余训练”，然后率师出征。至7月19日，所募营勇已到2300余人。8月10日，所选募官兵陆续到齐，包括火勇、长夫等，共5804人。于是“由校场移驻金盆岭，晨夕训练，渐有头绪”。全军建制，分4营，每营500人；4总哨，每总哨320人；王錱旧部老湘营4旗，每旗360人；亲兵8队，每队25人；外加火勇、长夫等。他聘请王錱的弟弟王开化（字梅林）总理营务，刘典（字克庵，湖南宁乡人）、杨昌濬（字石泉，湖南湘乡人）副之，并以王錱的另一个弟弟王开琳（字毅卿）统领老湘营。楚军于是组建告竣。左宗棠筹建楚军所依赖的大将，正是王錱的两个弟弟王开琳、王开化。王氏兄弟对大哥在曾国藩那里所受到的冷遇深为不满，早就倾慕与大哥性格相近的左宗棠，遂全心全意为左宗棠尽忠竭力。
左宗棠是以治心之学来治兵的，他虽然没有作出完整的回答，不过从其言行来看，至少以下三个方面他是特别注意的。
其一是练兵首重“练心”、“练胆”。左宗棠提出：
“练兵之要，首练心，次练胆，而力与技其下焉者也。”
以此作为“养气”强兵的重要一环。因为“打仗以胆气为贵”，而“胆气”从根本上说则根源于“练心”。即使以后洋枪、洋炮等热兵器逐步取代了冷兵器，左宗棠仍然将“练心”、“练胆”视为练兵的基本一环。他说，战争毕竟要靠“人力”来进行，如果不注重练心、练胆之术，只求“修器之精、技之长、阵之整”，到了紧要关头，有时便会“穷矣”。这是很有见地的军事思想，非常难能可贵。
左宗棠这种练兵重在练心的思想自然也带有明显的阶级属性；但如果撇开“忠义”、“爱民”、“敬上”等等练心的具体内容和特定含义，作为一般的练兵原则，那也不乏合理成分。正因为他注意从“练心”入手，激发弁兵的主动性和自觉性，使他们心甘情愿地在国内战争中为维护封建统治，在反侵略战争中为保卫国家、民族而战斗，所以湘、楚军队就成为所谓“有思想”的武装，因而特别强悍耐战。
其二是要重视纪律，使弁兵“习劳作苦”。左宗棠于“楚军”建成之初，即详定“营规”，每天都以此教育和警戒各营，没有一天不以此为课程。他自诩：“吾军在楚人中最晚出，最讲营规。”
在重视纪律、严守营规方面，他显然是学习和吸收了王錱训练楚勇之法。王錱是罗泽南的学生，中过秀才，传说他是在湘乡首先建议办团练的人。在最先成立的三营之中，他是左营的营官，罗泽南是中营的营官，另一个邹寿磷是右营的营官。
王錱确是一个将才，驭下极严，严而有恩。兵士滥取民间一物立斩，军官执行命令而超过时限也斩。官兵的大部分薪饷与赏金，由部队径送官兵的家，不许官兵随身携带太多银钱，多到十两以上的斩。左宗棠认为他与古代名将相比毫不逊色。
左宗棠崇尚“精兵悍将”，欣赏“以少击众”的战法。这就必须使这支军队纪律森严，令行禁止，能以一当十。他后来到了西北，又向各军颁发《行军必禁》。特别是在进军新疆征讨阿古柏匪帮的过程中，他不仅从策略上、从眼前的军事上，而且从战略上、从长远的政治特别是边防需要上看待这个问题，反复叮嘱将士们不得扰害而须保护人民，使新疆人民“去虎口而投慈母之怀，不但此时易以成功，即此后长治久安亦基于此”。这是十分正确和高明的，实际上已经上升到了维护祖国统一和中华民族大家庭的团结，必须实行正确的民族政策这一高度了。
左宗棠的军队遵此而行，果然“师行顺迅”，新疆各族人民“箪食壶浆，以迎王师”，不到两年，就使各族人民摆脱了阿古柏的残暴统治而回归祖国怀抱，这是与左宗棠的严于治军分不开的。
此外，左宗棠还有意识地安排士兵们只要军情允许就从事农业和其他各种劳动生产。前期在浙江就已开始，后期在西北更大力倡导。左宗棠这种治军思想无疑是应该称道的，实践上也收到良好的效果。
其三是将领要严于律己，做到“公”、“诚”、“廉”。左宗棠在这方面就率先示范。
1.任人唯贤、唯能而不能唯亲。左宗棠吸取向荣统率江南大营“忌克而不爱惜人才”而招致失败的教训。他在湖南掌理军政时“未曾引用一私人”。在西北他还谆谆函嘱杨昌濬说：凡是我的族戚中有滞留在你那里要求收录者，决不宜用，这样也可以省你一累，不必为这些事耗费精力。这样决不“唯亲”的用人准则，至今，也可堪称榜样。虽然，左宗棠也喜欢任用同乡、故旧、学生，如刘典，杨昌濬、周开锡等等，但是这些同乡、故旧，都是与左宗棠“皆平时道义切剧，清洁自矢，堪共患难之人。”毫无出于私利重用亲信的动机，委以重任是合理的，确实也是比较称职的。
2.秉公论功、议罚。左宗棠说：“明赏罚，别功罚，一号令”，乃是一个统帅的主要职责，否则就会导致“士心”解体。左宗棠在向朝廷奏奖和参劾有关将领时，总是检验复检验，尽可能允当无误。发现有谎报军情、骗取军功者，他即从严惩处。因为这些人营求私利虽事小，但“兵事之贻误者大也”。
3.诚以待下。左宗棠曾批评李鸿章说：“淮军以诈力相高，合肥（按：指李鸿章）又以牢笼驽驭为事，其意在取济一时，正虑流毒无底。”他鄙弃这种做法。这也是他终生与李鸿章合不来、老是“顶牛”的原因之一。他坚定地以“所持者诚信不欺，丝毫不苟，不敢以一时爱憎稍作威福，致失人心。”因此左宗棠在军中就有较高的威信。虽远征新疆，将士们也都“自请随征出塞”。历年“虽欠饷积多，尚无异说”（同上书）。这在此前西征诸雇佣军中是不可能做到的。
4.廉以率属。左宗棠一向将“廉”视为“士节”的重要一项。统将如果贪财好利，那么平时营伍就难以足额，军民就会交困，战时就会虚冒战功，误人误己。左宗棠自己身为统帅，一直比较注意严于律己，而且能够与士卒同甘苦。
将帅不仅廉洁不贪，还拿出百分之九十五以上的俸禄，散发和奖励给出力的将士及亲故之贫者，致使自己的家里穷得需要救济。这恐怕在中国封建社会将帅中不是独一无二，也是属于奇闻。
左宗棠是“廉生威”的典范，他这样做，“故其下吏化之，不至于奸”。他所部各军之所以能成“节制之师”，在镇压太平军、捻军、回民起义军之后又能“戡定西域”，并不是偶然的，而是必然的。这也留给后人以多方面的智慧启迪。