左宗棠戰功顯赫，卻引起了朝中大臣與朝廷的猜忌：左宗棠擁兵自重，怕會形成尾大不掉之勢。於是，左宗棠就被朝廷召回了北京，並且入值軍機處。然而，生性剛直的左宗棠總是受到同僚們的排擠、甚至還時不時地惹怒慈禧太後。後來，左宗棠就被朝廷任命為兩江總督。上任後，左宗棠為江南的振興也作出了卓越的貢獻。
1881年2月25日，左宗棠奉旨到達北京。26日，入朝陛見皇上、皇太後。兩宮太後對他為國憂勞20餘年，慰勉有加。他上次來京陛見是同治七年（1867）八月，距今又已14年了。慈安太後看到他已衰老許多，念他多年在塞外戎馬馳驅，勉勵他說：今後擔子仍很重，國事全賴諸王公大臣襄讚。左宗棠自顧衰病，何堪當此重任，但回答說不敢不勉。
2月27日，也就是左宗棠回到北京的兩天後，清廷下達諭令，命大學士左宗棠管理兵部事務，在軍機大臣上行走，擔任總理各國事務衙門大臣，並負責管理兵部事務。至此，左宗棠由一個地方大員入值軍機，從而參與了清政府中央決策機構，對內政、外交、軍事都有發言權，清朝廷對他也真可謂“優禮有加”了。
左宗棠在來京之前，已料到在朝中難以有所作為，他那認真負責的脾氣又難以改變。對於同僚們揶揄侮弄倒不在意，看到朝廷許多弊端，很想振刷一番，但是朝中規矩繁瑣，處處都是限製，要想幹點事，有什麼想法，絲毫難於展布。提出一個問題，同僚們就會多方阻難，而要上一道奏折，卻又急於星火，要求即刻辦好，沒有仔細研究推敲的時間。同僚們知道他要研究某一件工作時，不幫他的忙，隻冷眼旁觀，讓他一人東翻西找，尋檢資料；弄得他顧此失彼，搞了幾天還茫無頭緒，因此要辦的事大都半途而廢，真可謂有誌難酬。
在京師幾個月，他辦的事中，有兩件值得一提。一件是提高鴉片煙進口稅，因為和英國訂有《南京條約》，不能限製洋煙進口，國內禁煙也難於辦到，因此他提出增加鴉片稅捐，這樣煙價必貴，那麼癮輕者必戒，癮重者必減，由減吸以至斷癮；比起憑一紙公文禁止，反而引起官吏丁役騷擾民間，更為利多弊少些。但即使要增稅，也必須先得到英國同意。他與李鴻章於是年四五月間與威妥瑪商談數次，威妥瑪不同意提高洋煙進口稅，道理上說不過去，就采取拖延策略。左宗棠認為“天下事當以天下心出之”，即“人民的事應由人民自己來決定”。他上疏朝廷，請敕下各督撫將軍全國上下大家來討論洋煙提稅方案，反對過去那種對洋務事事守秘密的辦法。諭旨下後，雖然總理衙門的主事者認為將洋務交全國討論，事無先例，但他毅然將諭旨連同《加洋藥稅厘疏》公布於眾。威妥瑪看到事情已公開，自己又理虧，就勉強答應了。洋煙原來每百斤征進口稅銀30兩，現加征稅厘為150兩；內地私種土煙也加重捐稅。左宗棠說：“所以議加稅捐者，非為聚斂豐財起見，而在禁民為非，用稅捐示罰。”實在也是不得已的下策。
另一件事是興修水利。他來京前先遣王德榜、劉璈和王詩正共率3000馬步兵馳赴張家口，原是應付俄國威脅、準備作戰的部隊；他到京後，中俄《伊犁條約》已簽訂，這支部隊的任務也得改變。京師附近幾條河流的水患很嚴重，左宗棠對辦水利素來重視，王德榜在甘肅開過渠，也有經驗。於是奏請興修京師和直隸上源水道，調王德榜、王詩正各營到涿州修築永濟橋堤。五月十二日，他親自到涿州察看，十九日由涿州出發，勘察了金門閘壩，沿南岸河堤巡視。二十三日到達天津，和李鴻章商議修治永定河，決定由淮軍和楚軍分段工作。他認為下遊要疏浚，上遊也要整治，以防急湍和泥沙大量下瀉，決定由王詩正負責下遊，王德榜整治上遊。
宦海沉浮，政壇紛爭，大出左宗棠的所料。清朝廷中大臣們一個個是精通世故，謹小慎微，看上麵眼色行事說話，對宮廷鬥爭也多少有些了解。其中也有少數正直、愛國、有學問的人，但在封建專製的大氣氛下，隻能唯唯諾諾，隨波逐流，不敢爭先出頭，多說一句話。偏偏左宗棠是心直口快的人，他大半生是在軍營戰陣中度過，想到什麼就說什麼，從來也藏不住話。來京師一個多月，言行莽撞，在廷臣們看來，簡直是不通世故，有時說的話，連慈禧麵子上都掛不住。朝廷中對他就產生了各種各樣的看法和議論，深諳世故的人鄙夷他，好心的人為他擔憂，小心謹慎的人疏遠他，以免受他株連。背後罵他的人也越來越多。
左宗棠入京後，準備“以閑散長居京師備顧問”，除了身體原因外，還有更重要的政治原因，那就是“免入軍機被人牽鼻耳”！現在，他因為受到掣肘，被人排擠，不僅不願居軍機，而且連北京也不願久留，急於求去了。
左宗棠在7月28日和8月16日奏請“賞假養病”後，在9月6日和10月5日連續兩次以病奏請開缺。10月28日，清政府授予左宗棠兩江總督兼允辦理南洋通商事務大臣，左宗棠乃於賞假期滿的11月27日以“病痊銷假”，接受兩江總督重任。