曾紀澤從1880年7月份抵達俄國京城聖彼得堡以後，與俄國人開始了會談辯論，其中有記錄可查的會談就多達五十一次，反複爭辯的文章多達幾十萬字。
左宗棠離開新疆了，但是對俄國的備戰態勢並未隨他離開。劉錦棠繼任他的職務，就是一個信號：新疆的大帥仍然是一個強硬派。靠著這個人事安排，就維持了對沙俄的壓力。
清廷把左宗棠調離前線，本意是不想把俄國人逼急了。但是效果適得其反。左宗棠離開哈密，俄國人反而更加緊張。這次人事調動給俄國人造成了一個錯覺，他們認為清廷召左欽差進京，是為了商議對俄開戰。
俄國人有些心慌了。誠如左宗棠所料，沙俄剛剛結束俄土戰爭，大傷元氣，其實是外強中幹。他們硬充麵子，讓自己的談判代表放風說：“隻有痛打他們一頓，才能使他們老實下來。”私下裏卻不得不承認，真要打仗，他們國家的財力的確承擔不起。隨著左宗棠突然離開新疆，沙俄談判代表在談判桌上的態度居然有所收斂。
不過俄國人也不會輕言放棄，繼續向我國東北邊境施加高壓。他們已在琿春築城，軍艦也開到了新開河，而烏裏雅蘇台也報告俄軍逼近邊界。
左宗棠見俄國人示形於東北，令王詩正率領親軍二千人，劉璈、王德榜各率所部五百人，先行入關，取道鎮番，奔赴歸化城，然後趕赴張家口紮營。
左宗棠已經做好打仗的準備。11月20日，他給劉錦棠寫信：
俄事非決戰不可。
連日通盤籌畫，無論勝負雲何，非將其侵占康熙朝地段收回不可。
12月2日，左宗棠抵達肅州舊壘。12月22日抵達蘭州，與楊昌浚緊急會商，檢點案卷，移交公務。
清廷下詔，令楊昌浚護理陝甘總督。
1881年1月3日，左宗棠離開蘭州赴京。所過之處，士民夾道挽留。街頭巷尾，議論紛紛：怎樣才能把左公留下啊？白頭老叟，學齡兒童，女流之輩，都有天將塌下的感覺。他們頂香跪送，幾十裏綿延不絕。左宗棠頻頻下車，連連勸慰，請大家起身返回。
臨行前，左宗棠還拜發了一份奏折。他擔心甘肅與新疆財政混淆，會互相扯皮。請求朝廷明確一條：以後外省援助的資金，六成劃撥新疆，四成劃撥甘肅，軍裝和槍炮子彈也按六四分成。如果需要通融勻撥，由劉錦棠和楊昌浚彼此函商辦理。他把自己過去的職權做了分解，甘肅公務托付給了楊昌浚，新疆公務托付給了劉錦棠。
1月20日，抵達西安。隻歇三天，繼續前行。隨即換雇車馱，從潼關渡過黃河，進入山西北上。
左宗棠的另一位朋友也在這場戲中擔任了角色。曾紀澤的叔叔曾國荃，年已五十六歲，時任陝西巡撫，奉旨督辦京東軍務，率部駐紮山海關，防備沙俄侵略。
俄國代理外交大臣吉爾斯感到了左宗棠的鋒芒，對曾紀澤說道：我國皇帝聽說左相奉召入京，責成我等務須及早定議，免生枝節。
於是中俄談判進行得頗為順利。
2月24日，曾紀澤在與俄國訂立《中俄伊犁條約》。俄國歸還伊犁全境，在嘉峪關、吐魯番設立領事。
與崇厚所簽的條約相比，曾紀澤談成的這個條約，為中國爭回了許多利益。雖然伊犁西境霍爾果斯河以西地區和北麵的齋桑湖以東地區仍為沙俄強行割去，但中國收回了烏宗島山及伊犁南境特克斯河一帶的領土。此外，還取消了俄國人可到天津、漢口與西安等地進行經濟活動等條款，廢除了俄國人在鬆花江行船和貿易、侵犯中國內河主權等規定。在中國收複的領土上，各族人民免遭殖民統治，重回祖國懷抱。
左宗棠得知協議達成，鬆了一口氣。但他對這個結果並不滿意。
伊犁僅得一塊荒土，各逆相庇以安，不料和議如此結局，言之痛心。
但是在朝廷看來，這已經是一個很大的勝利了。左宗棠的硬氣，慈禧雖然欣賞，卻不敢讓他發揮到底。清廷下詔，命令金順率部接收伊犁，按圖劃界，由參讚大臣升泰和錫綸協助。
左宗棠離開了大西北，他在身後留下了許多令人緬懷的業績。禁煙的成果人人稱道。
這一年，甘肅的煙苗已經拔得一根不剩，妖冶的罌粟花不見了，遍地都是糧食作物。陝西的形勢也很喜人，隻有深山僻壤，還能見到罌粟的蹤跡。新疆地區，南路禁煙傳捷報，北路也在努力。西北三省煙源大大減少，比起禁煙之初，煙價上漲了許多，百姓買不起煙膏，不想戒也得戒掉。
禁煙運動給西部帶來了繁榮。農業生產欣欣向榮，社會環境明顯改善。上一年，一個德國和一個奧地利人，從上海出發西行，走了八個月，抵達新疆哈密，會見左宗棠。他們途經陝甘，親眼看到城鄉物阜民康，百姓各安其業，莊稼長勢很好。昔日栽種罌粟的地方，現在都成了稻穀生產基地，糧價便宜，雜糧跌價更厲害。
大西北的糧食儲備增加了，社會風氣經受了洗禮，人們的心靈得到了淨化，連天空似乎也變得更藍了。
外國的旅行者感到了左宗棠的魅力：如果中國各省的高官，都像左大人這樣盡心盡力，雷厲風行，中國人革除吸食鴉片的陋習，還有何難！
然而，非常可惜，中國隻有一個左宗棠。全國十八個行省和十多個特別軍政管轄區，多數督撫大員，不敢涉足禁毒，惟獨左宗棠敢於大刀闊斧，禁毒掃毒，堪令全國官員汗顏。
左宗棠的禁煙實踐，為20世紀初葉全國性的禁煙運動，提供了寶貴的經驗，也為1911年清政府和英國最終訂立《禁煙條約》奠定了一個良好的基礎。左宗棠離開西北時，已經很好地完成了林則徐的這個遺願。
他在進入北京之前，考慮的事情之一，便是全國範圍的禁煙。