雖然明知在這緊要關頭，將他調回京師，將鑄成大錯，但他不得不成行，盡管他一再申明，回京之行是不得已、無可奈何之舉。他於是奏薦劉錦棠督辦新疆軍務，張曜幫辦軍務，楊昌？護理陝甘總督。劉錦棠正在喀什噶爾，他準備等劉錦棠來到，辦理移交手續後，即啟行入關。他在哈密等候劉錦棠的時候，仍然關心新疆地方的工作，同時仍然堅持以武力為外交後盾的主張，這時曾紀澤已抵達聖彼得堡，與俄政府開始談判，國內主戰、主和兩派的人又都議論紛紛。左宗棠寫信給總理衙門，堅決主戰，反對屈辱投降，認為“察看情形，實非決之戰勝不可！”在信中還說：“主戰固以自強為急，即主和亦不可示弱以取侮。”他斥責那些自命深懂洋務的媚外投降派，“海上用兵以來，其始壞於不知洋務之人，不知彼之真實情形，僥幸求勝；其繼壞於自負深悉洋務之人，不顧大局長久，苟且圖存，以致愈辦愈壞，無所底止。” 那時俄國正在中國東北邊境炫耀武力，在琿春邊境構築工事，兵艦也開入新開河。左宗棠得悉東北緊急的消息後，立命王詩正、劉趝、王德榜率軍2500人，先期入關，駐屯張家口，準備和俄國一戰。他給劉錦棠的信說：
“俄事非決戰不可，連日通盤籌畫，無論勝負雲何，似非將其侵占康熙朝地段收回不可！” 他還夢想能戰敗俄國，一舉奪回過去喪失的大片土地，恢複康熙年代的版圖。但是這時的清朝廷已聽不進左宗棠的這些意見了。
光緒六年十月六日，劉錦棠抵達哈密，6天後左宗棠啟行入關。出關時，旌旗招展，舁櫬以行，悲壯激烈；入關時心情黯淡。他在入關途中時，曾紀澤正在俄京談判。曾紀澤雖然深受曾國藩和李鴻章的影響，對曾國藩辦理天津教案，認為“正是拚卻聲名，以顧大局”，為父親辯護，但他終究是位愛國者，他不讚成李鴻章放棄伊犁的賣國觀點，認為伊犁是西陲重鎮，不能輕易讓人。他也不讚成左宗棠“俄事非決戰不可”的主張，以為戰事一開，“在東而不在西，在海而不在陸”，防不勝防；唯一的辦法，是進行堅定不移的外交談判，“持之以力，百折不回”，在談判中他顯示了折衝樽俎的才能，但是左宗棠的積極備戰，確實作出了強有力的後盾。
俄國人當時並不願意，也無能力和中國進行全麵作戰，參加談判的外交部高級顧問若米尼表示過：“戰爭對於我們將是耗費巨大、沒有止境，而又無益的。”東西伯利亞總督也上奏沙皇說：“不宜輕易和中國作戰，遠東艦隊力量薄弱，陸軍軍力也不強，不足以防守邊疆。”因此俄政府作出了“讓步”，同意修改原訂的條約，交還特克斯河穀約2萬多平方公裏的土地和通往南疆的穆紮素爾山口；但仍割占霍爾果斯河以西1萬餘平方公裏的土地。設領事的地點也減為嘉峪關和吐魯番兩處，但“賠款”卻由500萬盧布增到900萬，而且還保留了一些商業特權。改訂的條約仍然是一項不平等條約，明明是俄國侵占中國領土，交還是理所當然的事，卻要索取賠款，還割占一部分土地，真是豈有此理！但是新約和舊約相比，總算收回了一些權益。在中國近代史上，這算是一次差強人意的外交“勝利”。
這次外交上的“勝利”，曾紀澤的功勞不可泯滅，左宗棠的實力後盾更起了重要作用。當曾紀澤和俄國政府談判時，俄國人經常打聽左宗棠和西征軍的動態。左宗棠於光緒六年十月十二日離開哈密，一個月以後，俄國已得到他進京的消息，那時中俄草簽的條約內容已送北京審批，還沒有回信，俄方不了解真相，懷疑清政府召回左宗棠，是準備發動戰爭，俄方首席代表、代理外交大臣格爾斯於十一月初十日會見曾紀澤，急急忙忙向他打聽，問他：
“聽說左宗棠現在已進京，恐怕會挑起戰事，不知確否？”
曾紀澤回答說：“這是謠言。”他確實還沒有聽到這項消息。
格爾斯接著假惺惺地說：“中俄兩國和好二百餘年，若為不值一提的小事就打起來，實在是不合情理的。”
他們在談判中仍然占了便宜，擔心清政府會變卦，也暴露了不願打仗的心態。
隔了一個多月，曾紀澤得到清政府對條約內容同意的諭旨，就約見俄方代表公使布策，告知這項消息。布策很高興，表示放了心，他說：
“前接從北京的來信說，左中堂將進京，似乎有請中國動兵之意，本國深不放心。今天聽貴爵所告的消息，我才放心了。”
當時清政府信息遲緩，曾紀澤其實還不知道左宗棠奉調的事，他回答道：“這是謠傳，不可輕信。其實左中堂年逾六旬，老成持重，豈有唆使構兵之理？我說一句老實話：中俄兩國和好，固無須左中堂進京；即使中國有用兵之意，則西邊正關係緊要，更沒有調他進京之理。” 曾紀澤這句老實話，暴露了清政府妥協求和的本意，但是幸好俄方並不相信曾紀澤會這麼老實，他們明明得到俄國代辦自北京來的電報，知道左宗棠調京的事，認為曾紀澤還在抵賴，不知道清政府葫蘆裏賣的什麼藥。
俄使回去向沙皇彙報，沙皇深感不安，隔了兩天，格爾斯奉命來見曾紀澤說：“上次我和你談過，這次是奉本國皇帝之命，皇帝陛下聽說左相奉召入京，很不放心，我們兩國務須及早簽約，免生枝節。”
曾紀澤仍回答他：“左相並無進京之信。”又安撫他說：“左相是中國大臣，老成重望，是明白大體的人。此次條約既是兩國意見相洽，左相也必會喜歡。”他“請格大臣轉奏貴國皇帝，但請放心。……我所受者，係本國皇帝電旨，皇帝令我應允簽約，誰敢阻止！”
一個月以後，光緒七年正月二十三日，改訂的中俄《伊犁條約》終於簽署了。從交涉過程來看，俄方急於簽約，比清政府更為迫切。如果清政府能始終采納左宗棠的強硬策略，多堅持一些時間，必然能收回更多的權益。
光緒六年十一月二十一日，也正是曾紀澤在俄京與格爾斯會談的時候，左宗棠由哈密回到了蘭州。他和護理總督楊昌？辦理了移交手續。十二月初四日起行離蘭回京。
當關內外各族人民知道他將離開西北時，上自白發老者、官紳士人，下至兵丁、百姓、婦孺，都感到失去了一位可靠的保護人。一時人心惶惶，街談巷議，都希望能留住左宗棠，但是聖旨已下，不能更改。左宗棠的車隊從哈密到蘭州，從蘭州到西安，一路上漢、回、維及其他各族父老、官員等都夾道攀留，焚香迎送，依依不舍。左宗棠隻得一路停下來，安慰送行的人民，和他們珍重道別。
西北人民為了寄托對一位好官的感激崇敬的心理，當他還在西北時，就紛紛為他建立生祠，但屢遭他反對。同治十一年，蘭州紳民在五泉山麓清暉閣為他建立了生祠，他到蘭州後，親自題額，改為祀泉、雹二神祠。西寧和甘州等地也都要為他建祠，他一概謝絕。當他離開西北後，鞭長莫及，有些地方還是為他建了祠，如烏魯木齊就有祠，正殿供左宗棠二像，兩旁懸了一副對聯：
提蚥自東西，帕首靴刀，十年戎馬書生老；
指揮定中外，塞雲邊月，萬裏寒鴉相國祠。
對聯據說是劉錦棠所寫。劉錦棠去世後，烏城也建了一座“劉公祠”，內供劉錦棠照片。翁同騄寫了一副對聯，對他給予很高的評價：
齊名曾左無前績，
開府疏勒第一人。
劉錦棠是遠征到中國最西端喀什噶爾（疏勒）的第一人，當之無愧。左宗棠、劉錦棠、張曜、劉典等人收複了新疆，為國人所崇敬，又為西北各族人民辦了些好事，受到當地人民的愛戴，這也是合乎情理的。
光緒七年初，左宗棠還沒有到達京師，中俄《伊犁條約》已經簽訂了。左宗棠在得知條約全文後，很不滿意，說：“伊犁僅得一塊荒土，各逆相庇以安，不料和議如此結局，言之腐心！” 第二年初雙方換文，伊犁將軍金順率官軍進駐伊犁地區，結束了俄國人長達11年的殖民統治，至此新疆全境收複。這次外交談判雖然不能盡滿人意，但也總算是差強人意吧！