左宗棠战功显赫，却引起了朝中大臣与朝廷的猜忌：左宗棠拥兵自重，怕会形成尾大不掉之势。于是，左宗棠就被朝廷召回了北京，并且入值军机处。然而，生性刚直的左宗棠总是受到同僚们的排挤、甚至还时不时地惹怒慈禧太后。后来，左宗棠就被朝廷任命为两江总督。上任后，左宗棠为江南的振兴也作出了卓越的贡献。
1881年2月25日，左宗棠奉旨到达北京。26日，入朝陛见皇上、皇太后。两宫太后对他为国忧劳20余年，慰勉有加。他上次来京陛见是同治七年（1867）八月，距今又已14年了。慈安太后看到他已衰老许多，念他多年在塞外戎马驰驱，勉励他说：今后担子仍很重，国事全赖诸王公大臣襄赞。左宗棠自顾衰病，何堪当此重任，但回答说不敢不勉。
2月27日，也就是左宗棠回到北京的两天后，清廷下达谕令，命大学士左宗棠管理兵部事务，在军机大臣上行走，担任总理各国事务衙门大臣，并负责管理兵部事务。至此，左宗棠由一个地方大员入值军机，从而参与了清政府中央决策机构，对内政、外交、军事都有发言权，清朝廷对他也真可谓“优礼有加”了。
左宗棠在来京之前，已料到在朝中难以有所作为，他那认真负责的脾气又难以改变。对于同僚们揶揄侮弄倒不在意，看到朝廷许多弊端，很想振刷一番，但是朝中规矩繁琐，处处都是限制，要想干点事，有什么想法，丝毫难于展布。提出一个问题，同僚们就会多方阻难，而要上一道奏折，却又急于星火，要求即刻办好，没有仔细研究推敲的时间。同僚们知道他要研究某一件工作时，不帮他的忙，只冷眼旁观，让他一人东翻西找，寻检资料；弄得他顾此失彼，搞了几天还茫无头绪，因此要办的事大都半途而废，真可谓有志难酬。
在京师几个月，他办的事中，有两件值得一提。一件是提高鸦片烟进口税，因为和英国订有《南京条约》，不能限制洋烟进口，国内禁烟也难于办到，因此他提出增加鸦片税捐，这样烟价必贵，那么瘾轻者必戒，瘾重者必减，由减吸以至断瘾；比起凭一纸公文禁止，反而引起官吏丁役骚扰民间，更为利多弊少些。但即使要增税，也必须先得到英国同意。他与李鸿章于是年四五月间与威妥玛商谈数次，威妥玛不同意提高洋烟进口税，道理上说不过去，就采取拖延策略。左宗棠认为“天下事当以天下心出之”，即“人民的事应由人民自己来决定”。他上疏朝廷，请敕下各督抚将军全国上下大家来讨论洋烟提税方案，反对过去那种对洋务事事守秘密的办法。谕旨下后，虽然总理衙门的主事者认为将洋务交全国讨论，事无先例，但他毅然将谕旨连同《加洋药税厘疏》公布于众。威妥玛看到事情已公开，自己又理亏，就勉强答应了。洋烟原来每百斤征进口税银30两，现加征税厘为150两；内地私种土烟也加重捐税。左宗棠说：“所以议加税捐者，非为聚敛丰财起见，而在禁民为非，用税捐示罚。”实在也是不得已的下策。
另一件事是兴修水利。他来京前先遣王德榜、刘璈和王诗正共率3000马步兵驰赴张家口，原是应付俄国威胁、准备作战的部队；他到京后，中俄《伊犁条约》已签订，这支部队的任务也得改变。京师附近几条河流的水患很严重，左宗棠对办水利素来重视，王德榜在甘肃开过渠，也有经验。于是奏请兴修京师和直隶上源水道，调王德榜、王诗正各营到涿州修筑永济桥堤。五月十二日，他亲自到涿州察看，十九日由涿州出发，勘察了金门闸坝，沿南岸河堤巡视。二十三日到达天津，和李鸿章商议修治永定河，决定由淮军和楚军分段工作。他认为下游要疏浚，上游也要整治，以防急湍和泥沙大量下泻，决定由王诗正负责下游，王德榜整治上游。
宦海沉浮，政坛纷争，大出左宗棠的所料。清朝廷中大臣们一个个是精通世故，谨小慎微，看上面眼色行事说话，对宫廷斗争也多少有些了解。其中也有少数正直、爱国、有学问的人，但在封建专制的大气氛下，只能唯唯诺诺，随波逐流，不敢争先出头，多说一句话。偏偏左宗棠是心直口快的人，他大半生是在军营战阵中度过，想到什么就说什么，从来也藏不住话。来京师一个多月，言行莽撞，在廷臣们看来，简直是不通世故，有时说的话，连慈禧面子上都挂不住。朝廷中对他就产生了各种各样的看法和议论，深谙世故的人鄙夷他，好心的人为他担忧，小心谨慎的人疏远他，以免受他株连。背后骂他的人也越来越多。
左宗棠入京后，准备“以闲散长居京师备顾问”，除了身体原因外，还有更重要的政治原因，那就是“免入军机被人牵鼻耳”！现在，他因为受到掣肘，被人排挤，不仅不愿居军机，而且连北京也不愿久留，急于求去了。
左宗棠在7月28日和8月16日奏请“赏假养病”后，在9月6日和10月5日连续两次以病奏请开缺。10月28日，清政府授予左宗棠两江总督兼允办理南洋通商事务大臣，左宗棠乃于赏假期满的11月27日以“病痊销假”，接受两江总督重任。