同治七年十月，左宗棠率领部队回陕西，到达西安，其时陕西东北的义军董福祥聚众多达十余万人，在延安、绥德，而陕西西南的回军首领白彦虎等号称有二十万人马，盘踞在甘肃一带。刘松山率部赶到，击溃量部，董福祥投降。此时回军却更加四处出击，和在西南一带活动的白彦虎等合力进攻秦川，黄鼎率部击败了他们。左宗棠进军乾州，侦察士卒报告回军将把总部迁到金积堡，左宗棠便派兵追击他们，终于接连克复镇原、庆阳，回军死伤多三万人，收复后，左宗棠亲自督促回民的壮丁耕作，教会他们区田、代田等法，并且给那里的流民发放巨额钱币，让官军收留的饥民及投降的十七万兵士全部居住在那里，左宗棠于同治八年五月，挥师进军甘肃。
同治十年七月，左宗棠亲率大军从平凉移到静宁驻扎。八月，到安定。此时另一支回民义军聚集在河州，再往西都是险峻之地。左宗棠命诸将分头出击，攻破平定了这些地方。其时回民首领马朵三已死，马占鳌看到官军步步深入，西宁的回军又已归顺朝廷，去路已断，无奈也投降了，河州遂平定下来。
同治十一年七月，左宗棠率部移驻兰州。徐占彪在此之前由于伊犁之变领军向西，不过这时因肃州发生骚乱而使行军受阻。原先回族另一首领马文禄先已投降，听说新疆战事紧急，左宗棠要率部进军西去，认为此时机会来了，便又占据城池发起反叛。徐占彪的部队在肃州以西被围困，只得据城死守，并且向西宁发出求援信息。这时原左宗棠平定的西回民白彦虎、禹得彦也在暗中响应马文禄，等到刘锦棠率军向西增援时，西宁地方的回民及陕西回民又纷纷倒戈，推举马本源为元帅。
西宁东北有湟水为阻，两山对峙，这就是古时称之为湟中的地方。回军占险要之地屯兵。然而左宗棠不等回军立稳脚跟立即派他所率的湘军精锐，携带大炮进攻，很快就把回军打得大败，遗弃的大批马骡辎重堆满了山谷。这时大通都司马寿又唆使向阳堡回民残杀汉民，背叛朝廷。同治十二年正月，刘锦棠进攻向阳堡，夺取城门而人，杀死马寿，接着攻破大通，又杀死马本源，于是黄河东、西众回军也纷纷向清军投降。
马文禄盘踞肃州，眼看左宗棠大军压境，知道形势不好，假装请求招抚，暗中却进一步招募城外回民入城协助防守，清军接连进攻都未能攻下。八月，左宗棠到前线视察部队，马文禄登上城头看见左宗棠的帅旗，感到沮丧。左宗棠命金顺、刘锦棠的部队大规模集结，并用大炮轰击，马文禄走投无路，出城投降，被处以磔刑，白彦虎逃跑到关外，肃州于是平定下来。同治皇帝下令褒奖左宗棠，任其为陕甘总督协办大学士，加封一等轻车都尉。左宗棠上章奏请在甘肃开科兴考场，设立学政。同治十三年，晋升左宗棠为东阁大学士，留在陕西总督的治所。
从咸丰初年开始，天下大乱，先是广西而起的太平军，其次是抢军，再次是回军。左宗棠先后参加平定了他们，到此时陕西、甘肃全部安定；清政府感到左宗棠鞍马劳顿，劳苦功高，因而对他优渥恩幸。
三、挥军新疆抗击沙俄
19世纪中叶，资本主义列强在世界范围内争夺殖民地的斗争加剧，英俄两国在中亚地区的角逐激化，对中国西部边疆安全构成直接威胁。1865年（清同治四年），中亚浩罕汗国（在今乌兹别克斯坦境）军事头目阿古柏在英国支持下，率兵侵入南疆，建立“哲德莎尔”伪政权，进而占领天山南北广大地区，实行殖民统治。清政府忙于镇压内地人民起义，无暇西顾。1871年，俄国又乘机出兵占领时为新疆军政中心的伊犁地区，加紧与英国争夺中国西北边陲。与此同时，中国东南、西南和南部边疆也面临列强侵略威胁，边疆危机日益严重。光绪元年（1875），左宗棠平定陕甘回民起义后，遵照清政府的命令，正准备率军出关，平定阿古柏的侵略。但正在此时清廷发生了海疆防守的争议。朝廷大多数大臣认为自清高宗乾隆平定新疆以来，每年要花费银两数百万，就像是一个无底的漏斗。现在竭尽天下的财力赡养西北官军，没有剩余力里来预防东部海疆的不测之需。他们认为，应该遵照英国人的建议，准许阿古柏自立为国，作为大清藩国，停止西征，专力于海防，当时军机大臣李鸿章更是力主应该如此。然而左宗棠不同意这种观点，他说：“关、陇刚刚平定，不及时规划这些回归国家的旧有之地，放弃并使他们自立为国，这无疑是遗祸无穷。不是从西面被英国人所合并，就是向北归人俄罗斯的版图；我们的版图为什么要无缘无故缩小？边防险要为什么要尽皆散失？到那时，防守边疆的士兵不会比现在减少，粮饷费用也一如现在。这不仅无海防之益，挫伤国威，而且助长叛乱。这是万万不可以的。”朝中只有军机大臣文祥非常赞赏左宗棠的建议。争论的结果是左宗棠意见占了上风，最后清廷通过决策，让左宗棠继续出塞，并授左宗棠为钦差大臣，统督军事。
左宗棠根据新疆敌情及地理特点，制定了“先北后南”、“缓进急战”的战略方针。同时，筹运粮饷，整顿军队，改善武器装备，并编组了一支以道员刘锦棠部、都统金顺部、提督张曜部为主的作战部队，共约六七万人，委刘锦棠总理行营营务，加紧进行战争准备。
1876年4月，左宗棠从甘肃省城兰州移驻肃州（今酒泉）。时已入新疆的张曜部屯哈密，金顺部屯巴里坤、古城（今奇台）一带。根据既定方针，左宗棠令刘锦棠率所部湘军分批出嘉峪关，经哈密前往巴里坤，会合金顺所部先取北路；命张曜部固守哈密，防敌由吐鲁番东犯。阿古柏得悉清军西进，即由阿克苏赶至托克逊部署防御：以白彦虎（投敌的原陕西回民起义军首领）、马人得（投敌的原新疆封建割据集团头目）等率部分守乌鲁木齐等北疆要地，阻击清军；以一部兵力防守胜金台、辟展（今鄯善）一线；主力2万余人分守达坂、吐鲁番、托克逊，成掎角之势。
1876年8月上旬，刘锦棠、金顺二部清军从阜康出发，采取声东击西的战法，避开供水困难的大道，走敌虽严密防守但水源充足的小道，出敌意外地迫近乌鲁木齐北面重地古牧地（今米泉）。扫清敌外围据点后，用大炮轰塌城墙，17日从缺口冲入城内，一举歼敌5000余人，并乘胜于18日收复乌鲁木齐。白彦虎、马人得等仓皇南逃。尔后，左宗棠命刘锦棠部驻守乌鲁木齐，防止阿古柏军北犯，并继续清剿山中残敌；命金顺挥军西进。昌吉、呼图壁及玛纳斯北城之敌闻风溃逃。9月初，金顺部开始攻玛纳斯南城，月余不克。后刘锦棠、伊犁将军荣全先后增援会攻，于11月6日占领该城。至此，天山北路为阿古柏军占领之地全部收复。时临冬季，大雪封山，刘锦棠等就地筹粮整军，以待来年进军南疆。1877年4月，左宗棠指挥清军三路并进：刘锦棠部自乌鲁木齐南下攻达坂；张曜部自哈密西进；记名提叫煺彪部出巴里坤，至盐池与张曜部会师，合攻辟展、吐鲁番。刘锦棠部奇袭包围达坂，19日破城，毙俘敌3000余人。随即分兵一部助攻吐鲁番，主力直捣托克逊，迫守敌海古拉（阿古柏次子）于4月下旬弃城西逃。与此同时，张、徐二部清军连克辟展、胜金台等地，吐鲁番守敌白彦虎望风西窜，马人得率部投降。至此，南疆门户洞开。阿古柏见大势已去，5月下旬于库尔勒气急暴病而死（一说绝望自杀，或谓被人毒死）。海古拉携其父尸西遁，由白彦虎防守喀喇沙尔（今焉耆）、库尔勒等地。阿古柏长子伯克·胡里在库车杀其弟海古拉，后于喀什噶尔（今喀什）称王，企图在英俄庇护下负隅顽抗。19世纪70年代，浩军国为沙俄所消灭，浩罕国流亡军官阿古柏，纠集一些亡命之徒窜入我国新疆，占据新疆喀什噶尔，后来逐渐占领了南部的八个城池，又攻败盘踞在乌鲁木齐的回族人妥明。妥明本是西宁的回人，当初以传播新教而来回于关外，同治初年，乘陕西、甘肃汉人、回民间有发生战事之机举兵发难，占据了乌鲁木齐，并兼并了北边的伊犁等城，收取那里的赋税收入。妥明不久被驱逐在路上死了，但是另一个头目白彦虎逃到乌鲁木齐，他派使者同英、俄勾结，购买军械器具装备自己，而英国人又暗中帮助他，想让他另立一个国家，以挟制俄国。就在这时，俄国以回民多次扰乱其边境为由，突然发兵驱逐回民，占领了伊犁，并扬言要攻取乌鲁木齐。
光绪二年三月，左宗棠举兵驻扎肃州。五月，刘锦棠向北翻过天山，会合金顺部队先攻打乌鲁木齐，乌城攻克后，白彦虎逃走到托克逊。丸月，清军攻克玛纳斯南城，北路平息，于是谋划南路。左宗棠发布命令说：“回族各部被他们的头目所驱迫，厌烦战乱已经很久了。我们大军所到的地方，不要****掠夺，不要残杀无辜，朝廷的仁义之师如及时之雨，现在正应是这么做的时候。”光绪三年三月，刘锦棠攻克达坂城，把所擒获的回民全部释放，让他们回家。次日，清军即收复托克逊城。徐占彪和孙金彪两支部队也接连攻破各个城隘，会合罗长祜等部队收复了吐鲁番，收降回民达一万余人。阿古柏最后走投无路服毒自杀，他的儿子伯克胡里杀害了自己的弟弟，逃往喀什噶尔。
白彦虎逃到开都河，左宗棠想一鼓作气擒获他，奏章还没上，恰遇库伦大臣上书声言本部边境现在正议定疆界。其时朝中大臣也认为西域征战费用巨大；乌鲁木齐、吐鲁番既然已经收复，可以休兵罢战了。左宗棠感叹道：“目今正是有利之时，怎么能作出划边界退缩防守的计策呢？”便上疏据理力争，光绪觉得左宗棠的意见正确。此时俄国正与土耳其开战，金顺请求乘虚袭击伊犁。左宗棠说：“不行，出师没有名正言顺的理由，他们就会抓住口实了。”八月，与刘锦棠在曲会会师，就由大道向开都河进发；正面部队金虎恩等从库尔勒出奇兵以助。白彦虎逃到库国，又到阿克苏，遭到刘锦棠的拦击，白彦虎只好转而窜逃喀什噶尔。左宗棠大军不久收复了南疆东部四座城池，何步云献喀什汉城向清军投降。伯克胡里接纳白彦虎后，就合力攻打汉城。清军大部队人马赶到，他们又逃往俄国。南疆西部四城相继攻下，左宗棠向朝廷报捷，皇上下诏晋升左宗棠为二等候。至此在新疆的布鲁特蒙古十四部争相归附清朝。
光绪四年正月，左宗棠上疏奏叙有关在新疆建行省的事宜，同时请求派员和俄国谈判有关归还伊犁和交换战俘这两件事。朝廷派遣全仅大臣崇厚出使俄国。俄国用通商、划分国界和索要赔款三件事相要挟。崇厚轻率地签订了条约，这不禁引起了朝廷有识之士的纷纷反对，议论好久都没有决定下来。左宗棠上书说：“从俄国占据伊犁以来，蚕食侵占没有停止过，新疆已有每日缩地百里的势头。俄国把伊犁看成自己的外府，我们要讨回土地，他们就索要赔款卢布五百万元；俄国归还伊犁，对俄国方面没有一丝一毫的损伤，而我们得回伊犁，只不过是一片荒野郊原。现在崇厚又提出给俄国霍尔果斯河和帖克斯河，这就是将伊犁西南的土地划归给俄国。在军事上打不过人家的时候，才可能出现割地求和这样的事；现今一箭未发，就马上送献战略要地，这种条约是万万不可以签的！俄国的商人目的想要进行贸易，他们的政府便在各地广设领事馆，想借通商之由深入腹地，这也是切不可准许的。臣下认为俄国人包藏祸心，他们猜测我国可能已厌倦兵事，用全权大臣谈判的办法来牵制边疆大臣。当今之计，应当先和俄国人谈判，委婉而运用计谋，另一方面，要准备在战场上和他们决一雌雄，坚忍而务求胜利。臣下虽然衰老平庸不成样子了，但哪里敢不勉力效忠啊！”光绪皇帝认为左宗棠的话大长了朝廷志气，命令把崇厚逮捕治罪，朝廷今曾纪泽出使俄国，更改前面的和约。这时左宗棠请求亲自出兵驻防哈密，策划收复伊犁。他命令金顺立即率军出发，作为东路；张曜率部沿特克斯河进兵作为中路；刘锦棠经布鲁特游牧地区作为西路。又分别派遣谭上连等各带兵驻守喀什噶尔、阿克苏、哈密等地作为后路声援。这几路部队总共有马兵、步兵四万多人。声势浩大，士气高昂，他们决心与俄军不惜决一死战，务必收复伊犁。
光绪六年四月，左宗棠坚决表示自己收复伊犁的决心，命人抬着棺材从肃州出发，五月抵达哈密。俄国人听说清军大兵出动，就增兵守卫伊犁、纳林河，另外派兵舰在海上巡弋，以震撼京师。此时天津、奉天、山东等地也同时告警。七月，朝廷下诏让左宗棠回京城任顾问，让刘锦棠代替他。俄国人也害怕清军的威武，担心事态发展后会引起决裂而挑起战端。次年正月，在中国在赔款上又做出让步后，清与沙俄终于达成了《中俄归还伊犁条约》，中国收复了伊犁的绝大部分地区。