光緒元年（1875），左宗棠平定陝甘回民起義後，遵照清政府的命令，正準備率軍出關，平定阿古柏的侵略。正在此時清廷發生了海疆防守的爭議。朝廷大多數大臣認為自清高宗乾隆平定新疆以來，每年要花費銀兩數百萬，就像是一個無底的漏鬥。現在竭盡天下的財力贍養西北官軍，沒有剩餘力裏來預防東部海疆的不測之需。他們認為，應該遵照英國人的建議，準許阿古柏自立為國。作為大清藩國，停止西征，專力於海防。當時軍機大臣李鴻章更是力主應該如此。然而左宗棠不同意這種觀點，他說：“關、隴剛剛平定，不及時規劃這些回歸國家的舊有之地，放棄並使他們自立為國。這無疑是遺禍無窮。不是從西麵被英國人所合並，就是向北歸入俄羅斯的版圖。我們的版圖為什麼要無緣無故縮小？邊防險要為什麼要盡皆散失？到那時，防守邊疆的士兵不會比現在減少，糧餉費用也一如現在。這不僅無海防之益，挫傷國威，而且助長叛亂。這是萬萬不可以的。”朝中隻有軍機大臣文祥非常讚賞左宗棠的建議。爭論的結果是左宗棠意見占了上風，最後清廷通過決策，讓左宗棠繼續出塞，並授左宗棠為欽差大臣，統督軍事。
光緒二年三月，左宗棠舉兵駐紮肅州。五月，劉錦棠向北翻過天山，會合金順部隊先攻打烏魯木齊，烏城攻克後，白彥虎逃走到托克遜。九月，清軍攻克瑪納斯南城，北路平息，於是謀劃南路。左宗棠發布命令說：“回族各部被他們的頭目所驅迫，厭煩戰亂已經很久了。我們大軍所到的地方，不要奸淫掠奪，不要殘殺無辜，朝廷的仁義之師如及時之雨，現在正應是這麼做的時候。”光緒三年三月，劉錦棠攻克達阪城，把所擒獲的回民全部釋放，讓他們回家。次日，清軍即收複托克遜城。徐占彪和孫金彪兩支部隊也接連攻破各個城隘，會合羅長祜（hù）等部隊收複了吐魯番，收降回民達一萬餘人。阿古柏最後走投無路服毒自殺，他的兒子伯克胡裏殺害了自己的弟弟，逃往喀什噶爾。
白彥虎逃到開都河，左宗棠想一鼓作氣擒獲他，奏章還沒上，恰遇庫倫大臣上書聲言本部邊境現在正議定疆界。其時朝中大臣也認為西域征戰費用巨大，烏魯木齊、吐魯番既然已經收複，可以休兵罷戰了。左宗棠感歎道：“當今正是有利之時，怎麼能作出劃邊界退縮防守的計策呢？”便上疏據理力爭，光緒覺得左宗棠的意見正確。此時俄國正與土耳其開戰，金順請求乘虛襲擊伊犁。左宗棠說：“不行，出師沒有名正言順的理由，他們就會抓住口實了。”八月，與劉錦棠在曲會會師。就由大道向開都河進發，正麵部隊餘虎恩等從庫爾勒出奇兵以助。白彥虎逃到庫國，又到阿克蘇，遭到劉錦棠的攔擊，白彥虎隻好轉而竄逃喀什噶爾。左宗棠大軍不久收複了南疆東部四座城池，何步雲獻喀什漢城向清軍投降。伯克胡裏接納白彥虎後，就合力攻打漢城。清軍大部隊人馬趕到，他們又逃往俄國。南疆西部四城相繼攻下，左宗棠向朝廷報捷，皇上下詔晉升左宗棠為二等侯。至此在新疆的布魯特蒙古十四部爭相歸附清朝。
光緒四年正月，左宗棠上疏奏敘有關在新疆建行省的事宜，同時請求派員和俄國談判有關歸還伊犁和交換戰俘這兩件事。朝廷派遣全僅大臣崇厚出使俄國。俄國用通商、劃分國界和索要賠款三件事相要挾。崇厚輕率地簽訂了條約，這不禁引起了朝廷有識之士的紛紛反對，議論好久都沒有決定下來。左宗棠上書說：“從俄國占據伊犁以來，蠶食侵占沒有停止過，新疆已有每日縮地百裏的勢頭。俄國把伊犁看成自己的外府，我們要討回土地，他們就索要賠款盧布五百萬元。俄國歸還伊犁，對俄國方麵沒有一絲一毫的損傷，而我們得回伊犁，隻不過是一片荒野郊原。現在崇厚又提出給俄國霍爾果斯河和貼克斯河，這就是將伊犁西南的土地劃歸給俄國。在軍事上打不過人家的時候，才可能出現割地求和這樣的事，現今一箭未發，就馬上送獻戰略要地，這種條約是萬萬不可以簽的！俄國的商人目的想要進行貿易，他們的政府便在各地廣設領事館，想借通商之由深入腹地，這也是切不可準許的。臣下認為俄國人包藏禍心，他們猜測我國可能已厭倦兵事，用全權大臣談判的辦法來牽製邊疆大臣。當今之計，應當先和俄國人談判，委婉而運用計謀，另一方麵，要準備在戰場上和他們決一雌雄，堅忍而務求勝利。臣下雖然衰老平庸不成樣子了，但哪裏敢不勉力效忠啊？”光緒皇帝認為左宗棠的話大長了朝廷誌氣，命令把崇厚逮捕治罪，朝廷命曾紀澤出使俄國，更改前麵的和約。這時左宗棠請求親自出兵駐防哈密，策劃收複伊犁。他命令金順即率軍出發，作為東路；張矅（yo）率部沿特克斯河進兵作為中路；劉錦棠經布魯特遊牧地區作為西路。又分別派遣譚上連等各帶兵駐守喀什噶爾、阿克蘇、哈密等地作為後路聲援。這幾路部隊總共有馬兵、步兵四萬多人，聲勢浩大，士氣高昂，他們決心與俄軍不惜決一死戰，務必收複伊犁。