同治八年（1869）年初，左宗棠奉清朝廷之命，率大军进入陕甘平息回军“造反”。同年底进驻甘肃平凉。这次他所面对的是复杂的民族纠纷，是十分艰巨的任务。他认为处理民族关系，对付回军，与对付捻军和太平军有所不同，应当更为慎重。
其实，左宗棠在进入陕甘之前，对回民情况和回汉纠纷作了一番调查研究。中国是一个多民族国家，在漫长的岁月中，各族人民之间的团结友爱、互助合作，是历史的主流，各民族间自然融合也是历史的主流。同治元年至十二年间，陕甘一带的回汉矛盾激化，回族人和汉族人互相仇杀，满人官员站在汉族一边，挑拨汉回关系，以至回民起义。那时，回族和汉、满族关系处于最低潮、最恶劣的时期。
在西北，回族和汉族经常住在一处：一个城市或一个村落中。由于民族、宗教和风俗习惯等的不同，发生一些矛盾也是很自然的、不可免的。即使同一民族，邻里之间、各姓之间、有钱人和穷人之间，都有各种矛盾和纷争。当然，不同民族间的矛盾可能多一点、深一点，如果处理得当，也不至于闹成大事。可是清政府却采取了反动的民族政策，所谓“以汉制回”、护汉仰回；满族统治者想利用汉民来压服回民，煽动民族仇恨，加上汉回两族封建主的煽动挑拨，汉回仇杀愈演愈烈。
左宗棠了解到汉回仇杀的残酷情形之后，认为甘肃官、军要负很大的责任，左宗棠对身边人慨叹说：甘肃之军，不能保卫人民，反而扰民；甘肃之官，不能治理人民，反而激起人民造反。左宗棠把回族人仇杀的原因归咎于当地满汉官员和军队的腐败和残暴，即“官逼民反”，对被压迫的回族和汉族人民则寄予了一定的同情。
当地的一些汉人士绅却不是采取这种客观公正的态度，他们不顾汉族人屠杀回族人的事实，却只看到汉族人被回族人屠杀，因此对回族人恨之入骨。他们提出“剿洗”政策，就是要用武力征服。
左宗棠认为陕西一些人高叫“剿洗”，是非常无知、不公道的，也有害的。同治六年（1867）五月，他又向朝廷提出处理回汉纠纷的意见和策略，首先说：“此次陕西汉、回仇杀，事起细微，因平时积衅过深，成此浩劫。此时如专言剿，无论诛不胜诛，后患仍无了日。且回民自唐以来，杂处中国，繁衍孳息，千数百年，久已别成气类，岂有一旦诛夷不留遗种之理？”左宗棠批驳了陕人“杀尽回民”的谬论，接着提出“剿抚兼施”的办法：“仍宜恪遵前奉上谕：不论汉回，只辨良匪，以期解纷释怨，共乐升平。”他认为这样可以促使汉、回同胞解纷释怨，共同享受和平的生活。
然而，左宗棠“剿抚兼施”的政策受到各方面的阻难。一方面是陕西士绅和一部分地方官员的“剿”派，他们自己没有力量对付回军，听到清政府派左宗棠率大军来陕甘征剿，就希望左宗棠来帮他们对付回族人。左宗棠对陕西士绅这种民族“仇恨”和畸变心理，深为厌恶，坚决反对，他说：“秦中士大夫恨回至深，每言及回事，必云‘尽杀’乃止，并为一谈，牢不可破，诚不知其何谓！”陕西士绅的“剿”派对左宗棠感到失望，他们始终对左宗棠的政策不满，还常加以阻挠。
另一方面是满族高级官员中的“抚”派，如熙龄（总督）、恩麟（布政使、护理总督）、庆瑞（宁夏将军）、玉通（办理青海事务大臣），以及后来署陕甘总督的穆善等，他们都是满洲贵族的公子哥儿，既胆小，不懂得用洲兵，加之甘肃是个穷省，无兵可用，无饷可筹。因此他们怀着苟且偷安的心理，又接受回军首领的贿赂，只主张“抚”，然而没有求“抚”的实力，从来没有“抚”成功，局势越来越坏。至于清朝廷，也给左宗棠很大的压力，清廷命他克期平定陕甘“回乱”，虽然同意了“剿抚兼施”的政策，但是两宫太后对他提出的“五年为期”还很不以为然，认为时间太长。后来有几次因军事停顿，立即下旨严责。
朝廷对左宗棠表面上“信任”，是不得不用他，暗地里处处怀疑，生怕他按兵不进，拥兵自重。
左宗棠面对着的是盘踞在各地的强大的回军武力，背后又有三方面的压力，加上恶劣的自然条件，困绌的军饷、军粮，西事艰阻如此，他毅然不顾各方面的反对，在进陕之前发布了一道告示，说明“剿抚兼施”的政策，告示说：
……凡厥平民，被贼裹胁，归诚免死，禁止剽劫。汉回仇杀，事起细微，汉祸既惨，回亦无归。帝曰汉回，皆吾民也。使者用兵，仁义节制，用剿用抚，何威何惠……
一些回族人读到告示中“帝曰汉回，皆吾民也”两句，不禁感动而流泪，多数善良回族人与汉族人的纠纷，原是细微的事，因受满汉官员压迫，又受上层回族人鼓动，“造反”也是迫不得已。他们如果逃出回军，到汉族人地区，又恐怕汉族人残害，真是走投无路。他们自然希望中央政府能有一个公正、妥善的政策。
左宗棠经过深思熟虑决计先进剿金积堡。
1869年6月，左宗棠同时向三路大军发出进攻命令。北路刘松山部自镇靖堡西进，以进攻花马池为名，实际上指向金积堡。南路李耀南、吴士迈分由陕西陇州、宝鸡西趋秦州。中路左宗棠和刘典率军自乾州经邻州、长武赴甘肃泾州。三路之中，以北路为主要进攻方向；南路暂取守势，旨在牵制河州、狄道的回军，切断其与金积堡的联系，并为下一步的河州之战做准备；中路则以协助北路进攻为主，照顾南路行动为辅。
7月4日，左宗棠自邻州长武进驻泾州城。8月19日，刘松山在镇压了内部兵变后，才率军由陕北清涧西驻镇靖堡，随后刘松山部发生兵变，变兵占领绥德州城，刘松山赶至清涧压平；高连升部亦发生兵变，高连升在杨家店被杀，下旬，进入花马池。
9月6日，老湘军进至灵州东面的磁窑堡，并转战而抵灵州城北二里。回军在郭家桥集中了七八千人与清军激战。北路清军刘松山将郭家桥一带二十一处堡寨一律平毁，逼近金积堡。清军一直迫近吴忠堡，才屯扎于下桥。马化龙一面上书左宗棠，代逃至宁夏的陕西回军“乞抚”，一面“掘秦渠之水以自固”。同时，他又派兵攻占灵州，再次打出反清旗号。
左宗棠也迅速调整部署，加强进攻的力量，命中路清军由固原、平凉北进，又命金顺、张曜两部清军由北而南，直趋石嘴山，对金积堡形成了大包围的态势。左宗棠本人也由泾州进驻平凉，接受了陕甘总督大印。
11月26日，刘松山攻破马家寨等堡，搜获马化龙于10月17日给参领马重山、吴天德、杨长春纠党抗击清军的信札，马自称“统理宁郡两河等处地方军机事务大总戎”。清廷了解这情况后，终于发出了“迅图扫荡，不得轻率收抚”的“上谕”。
12月，南北各路清军会攻金积堡，在金积堡外围与回军展开激战。清军采取步步为营的战法，相继占领了吴忠堡周围和金积堡北面的寨堡。回军在伤亡惨重的情况下，收缩战线，集中兵力，步兵依托秦、汉二渠进行坚固防御，骑兵则寻机出击，忽东忽西，使清军难以应付。
1870年2月，回军夺回峡口，清军立即组织攻击，激战数日，伤亡惨重。左宗棠深知此地重要，急令黄鼎率部往援，亦被击败，溃不成军。
后来，由于回军缺乏统一的领导和指挥，各自为战，不能有力配合，以致未能进一步发展大好形势。左宗棠很快便稳住了局面。
1870年3月，回军反攻吴忠堡，袭击灵州城，都未能得手，入陕回军也失败而归。马化龙见形势不利，再次卑词求“抚”，但左宗棠坚持必须悉缴马、械，才能受降。左的打算是：要严惩其首恶，宽宥其胁从，事乃可定也。
10月，清军完成对金积堡的合围。左宗棠师法当年曾国荃围攻太平天国安庆城的办法，令清军在金枳堡周围掘长壕两道，内壕防金积堡内回军突围，外壕防堡外回军来援。壕深1丈，宽3丈，壕边筑墙，高达丈余。他一面让清军分段守壕，死死围着金积堡；一面命部下严密监视河州等地回军，防止其赴援金积堡。
10月28日，南路清军攻下汉伯堡。此时金积城外的570多座堡寨只有5座尚未攻破。11月，马家滩、王洪寨回军投降清军。
左宗棠围城打援的战法获得了成功。到同治九年（1870）冬，马化龙已力竭势穷，无法再战，便上书刘锦棠：“以我一人之死，赎万众无罪之生”，便决定以自己的投降换得堡中将士与百姓的生命。
11月26日，马化龙修书一封，派人送给左宗棠，说明自己投降之意，希望不要累及堡中居民，然后把自己反绑了，一个人出了堡，向清军大营走去。
马化龙到了清军营中，没等说话便被抓住关进牢里。
1871年1月6日，金积堡内的马化龙的儿子马耀邦亲赴刘锦棠大营请降，向清军交出大量枪炮。3月初，刘锦棠在左宗棠的授意之下，借口从金积堡内搜出藏匿的洋枪1200杆，将马化龙及其精悍部众1800余人全部杀害。
金积堡之战，左宗棠直接调用兵力71营计3万余人，还有大最部队保护粮道或配合作战，使用了包括从普鲁士进口的后膛大炮等新式装备，但仍费时一年半，而且伤亡甚大。这是他始料不及的。他不得不承认：“十余年剿发（指太平军）平捻，所部伤亡之多，没有超出这次战役的。”
金积堡战役结束前后，左宗棠下一步的作战计划就是河州回军。当时，陕甘总督驻地兰州的东、西、南三面均与河州相连，因而河州回军对省城的威胁很大。
1869年6月，左宗棠在备足了3个月的粮料后，即调集各军向河州发动总攻，其部署是：中路以记名提督、凉州镇总兵傅先宗率鄂军由狄道进，一半渡洮河而西，一半驻洮河东岸；左路命记名提督杨世俊率所部楚军和“宗岳”军（由提督张仲春率铷，取道南关坪进蛱城；右一路命记名提督刘明镫从马盘监进红土窑，再入安定县，以扼康家岩，又命记名提督徐文秀率楚军一部从静宁州取道会宁继进。另檄黄鼎分蜀军步兵八营交记名提督徐占彪率领，再配以副将桂锡桢率马队三营由中卫嘱宁夏府）南下靖运，至会宁、安定，以防游动回军，保卫兰州东面。
8月，各军分道而进。左宗棠自己于9月中旬由平凉经静安抵达安定。
10月上旬，左宗棠下达渡河作战命令。中、左两路清军于狄道搭造浮桥，6000名官兵过河抢占有利地形，构筑营垒工事，在洮河西岸取得立足点。在中、左两路清军的掩护下，右路清军在康家崖强渡洮河。回军凭借事先构筑的壕垒顽强抗击，清军几次强渡都未成功。
1872年1月，清军从东、北两面进攻太子寺。几次进攻，均未奏效，损失惨重。后来清军转而从南面进攻，40余营官兵密布于太子寺南20余里的新路坡。
2月12日，回军利用夜暗潜入新路坡，抢占了清军阵地中间的一座小山头，并构筑起三座坚垒。次日，回军猛扑过来，清军在惊慌之中统领傅先宗，徐文秀先后被击毙，全线溃退30余里。
左宗棠闻讯大惊，立即命王德榜接统傅军，沈玉遂接统徐军，并檄令谭拔萃等各营兼程赴安定听调，准备应付形势的进一步恶化。这时，河州回军首领马占鳌听说左宗棠正在调动军队，准备再来一次像金积堡那样的围攻，于是屈辞求抚。这使左宗棠转惊为喜。
马占鳌投降后，交出马4000匹，军械14000余件。左宗棠奏请清廷，任命马占鳌为统领，所部队伍改编为清军三旗。
河州之战结束后，左宗棠于1872年8月中旬进驻兰州省城，开始着手准备进攻盘踞西宁的回军。
1872年7月，刘锦棠率新募的湘军回到甘肃，左宗棠立即召他到兰州面商军机。
11月19日，刘锦棠进至西宁，回军首领纷纷投降，部众大部瓦解。不肯降清的白彦虎和马桂源各率一队人马，分别北走大通，南下巴燕戎格。左宗棠一面命刘锦棠全力北进大通，追击白彦虎；一面檄调陈湜从河州率清军西进巴燕戎格，堵截马桂源。
早在1872年2月初，刘锦棠率军与白彦虎激战于大通南面的向阳堡，战死提督、总兵、副将达10人，才将此地攻克。刘锦棠随后又占领了大通。可是，白彦虎仍拒不投降，率领2000人投奔肃州回军而去。在巴燕戎格方面，陈湜软硬兼施，既派人劝降，又陈兵示威。马桂源的部众大量降清，他自己也被俘遇害。陈湜连占巴燕戎格、循化二城。西宁之战胜利结束。
左宗棠击败西宁回军后，肃州便成为陕甘回军的最后一个基地。
1873年2月，金顺、陶生林等军抵达肃州城外。徐占彪等部完成对肃州城的合围。
8月17日，左宗棠派副将赖长携后膛大炮抵肃州城外。清军对肃州围攻了一年半，却劳师无功。而此时关外局势日趋紧张，急需援军，于是清廷发出上谕，限令左宗棠、金顺“克期攻拔，以安边圉”。
9月10日，左宗棠由兰州起行，亲往肃州督师。10月3日，抵肃州。次日，巡视城外各军，约期会攻。10月5日，马文禄派人出城“乞降”，左宗棠拒绝答复，只是张贴告示：城中回族老幼妇女免死，诚心投降者准赴营听遣。
10月10日，清军“奇捷营”统领杨世俊中炮而死。10月30日，刘锦棠率湘军五营及部分收编的回军赶至肃州。11月4日，马文禄亲至左宗棠大营投降。
马文禄的投降，标志着左宗棠用兵陕甘的最后胜利。对于左宗棠来说，这个胜利确实来之不易，远比从前与太平军作战要艰险得多。
左宗棠与回军作战的时间整整5年，竟然刚好与自己当初对慈禧太后的承诺吻合。长期的紧张、忧虑，不仅给左宗棠头上增添了不少白发，而且也正是在这五年期间，自己的亲人也相继离去了。1870年，夫人周诒端病逝；1873年，长子左孝威夭折。面对这接踵而至的生离死别的沉重打击，他最终还是挺过来了。
左宗棠虽然将回族起义军镇压了下去，但他心里明白，仅靠军队的镇压，是不可能最终彻底解决问题的。所以，他在镇压之后，也很讲究善后。他的善后措施主要是为流离失所的回族人民编制户口，为他们创造耕种条件，设法使他们重新回到地垅中去。同时，为了减轻驻军对地方的经济压力，解决驻军的粮食供给问题，他又下令有条件的部队实行屯田，耕战结合。此后，甘肃庆阳、泾州、狄道、安定等地都相继出现了军屯。