新疆南北兩路收複，入侵的安集延外敵大部被殲滅，殘敵伯克胡裏和叛徒白彥虎逃入俄國，隻剩下伊犁仍被俄國占據。俄國原來聲稱是代清政府占領，一俟烏魯木齊和瑪納斯為清軍收複，就立即歸還。光緒二年（1876年）九月清軍克複烏城，俄國毫無歸還伊犁的跡象。朝廷中有些人提出，應立即向俄國交涉索還。朝廷征詢左宗棠意見，他認為還不是時候，當前應全力以赴先收複南路，這時如果去索取伊犁，俄國人定會多方要挾，南路軍事反難兼顧。不如等南路收複後再去交涉，伊犁歸還就容易了；暫時可將伊犁放置一下。朝廷同意了他的意見。
第二年（1877年）七月，大軍向南八城前進時，俄國和土耳其發生了戰爭。俄國將駐新疆邊境的部分軍隊調到俄土前線。扼守北疆的金順得知這項消息，認為有機可趁，就上書左宗棠，願乘虛襲取伊犁。左宗棠仍然不同意，他認為北路兵力並不夠強大，南路又不能分兵。即使軍事上有把握，但也不必用偷襲的方式，將來盡可堂堂正正地向俄國索還。如今立即用武力攻取，縱使暫時取得勝利，將來後果很難預料，也不是穩妥之策。
左宗棠對俄國的策略是，暫時不要惡化兩國關係，先集中力量解決南疆這一主要矛盾。對於英國則針鋒相對，英國庇護安集延侵略者，幾次威嚇詐騙，要清政府承認安集延在新疆的主權，但都被一一拒絕。他了解英俄之間為爭奪殖民地有矛盾，俄國又正與土耳其戰爭，對中國收複新疆無力幹預。但俄國究竟是大國，中國仍值多事之秋，對待俄國還必須慎以圖之。 當喀什噶爾收複，白彥虎和伯克胡裏逃入俄國後，劉錦棠準備派兵進入俄境搜捕。左宗棠知道後，立即製止了劉錦棠，他認為這違反國際準則，會惹起事端，於我國反不利。他命金順致信給俄國邊境土耳其斯坦總督，要求兩件事：一是歸還伊犁，一是交還叛逆白彥境，並允許以重金酬報。後者是主，前者是順帶的要求。他知道邊境總督無權處理歸還伊犁的事，必須通過正式外交途徑，因此同時報請總理衙門，照會俄國公使，按原定條約交還伊犁。
俄國總督收到信後，久久不回答，而且將白彥虎遷藏到阿拉木圖西南的托克馬克，還聲言要進兵伊犁東北的精河。前線將士都很氣忿，要求先發製人，進入俄境搜索白彥虎殘匪。左宗棠認為俄國隻是虛張聲勢，未必敢用兵。它收容伯克胡裏和白彥虎殘部，是明顯不懷好意，目的是想長期霸占伊犁。中國要收回伊犁不會很容易，必須以武力為後盾，但是先必須出以外交交涉，釁不可由我開，以免給俄人以借口。中俄接界長達萬餘裏，除了西北還有東北。現在西征軍固然“兵威已盛，欲戰即戰，何所顧忌”，但是應有全局觀點，即使西北勝利，如敵人從東北攻入，則防不勝防，“兵事將無了期”。左宗棠是著名的對外強硬的主戰派，但他對待戰爭卻十分謹慎。他認為對與俄國這樣大國開戰，必須慎之又慎，隻能在迫不得已的情況下，才能訴諸武力。
不久，英俄兩國在新疆邊境發生了衝突，英國嗾使布噶爾部族人奪占了俄國邊地達爾瓦斯和哈拉替艮兩城，俄國抽調了駐中國邊境部隊去應戰。前線將領又認為這是一次絕好的機會，要求派兵趁此收複伊犁，追捉殘匪。左宗棠仍堅持不準，告誡他們說：
“俄國與英國早有嫌隙，俄國倚仗國大，英國自恃兵強，各不相下。我們現在最好的方略是靜觀其變，不宜輕舉妄動。自己要發奮圖強，作好積極準備。不僅對俄、英如此，這也是對待所有鄰國的原則。”
他又告訴劉錦棠：“曹孟德意思安閑，如不欲戰，而每戰輒利，似於今為宜。”要劉錦棠學學曹操，大戰之前，悠閑自在，不動聲色，麻痹了敵人，使他處於無戒備狀態，這樣一打仗就打勝。左宗棠就是這樣，進軍新疆之前，他在肅州修浚酒泉湖，日夕泛舟湖中，飲酒賦詩，敵人以為他迷戀湖光山色，早把新疆忘記了。其實他是待機而動，現在對付俄國和收回伊犁也得這個樣子。
當時中俄邊境還很不寧靜。白彥虎和伯克胡裏逃到俄國後，不甘心失敗，又受俄國的支持和唆使，多次在邊境搗亂，妄圖重溫舊夢，恢複在新疆的統治。光緒四年（1878年）八月，白彥虎派黨羽金山、馬良會等假借經商名義，由俄國政府發給路票，帶領一支部隊攻擊烏什。九月，安集延敵酋阿裏達什也率領百餘人竄入邊境，到達英吉沙爾卡外，糾集了布魯特頭目阿布都勒哈馬，準備偷襲喀什噶爾。劉錦棠派羅長祜率兵包抄金山後路，一晝夜兼行四百裏，設下埋伏，一舉殲滅金山和黨羽200餘人，逃到烏什阿依他溝的餘黨也為張曜部殲滅，阿布都什的聲勢更大些，劉錦常派譚慎典、楊金龍馬軍和羅長祜、侯名貴步軍千餘人迎擊，張俊率一軍抄襲，阿裏達什敗退到奈曼，劉錦棠已命維軍領袖庫彌什設下埋伏，將阿裏達什和黨羽全部擒斬，阿布都勒哈馬率殘部翻山逃遁。殘敵的第一次進犯以失敗告終。
第二年（光緒五年）正月，阿布都勒哈馬又帶領兒子買賣提斯拉木，夥同安集延的愛克木汗、阿希木汗和卓哎買提等，率兵進犯喀什噶爾，揚言要為阿古柏報仇，號稱有大軍數萬，實際上隻有幾千人。敵人進抵距喀城百餘裏處，偵察到清軍已有嚴密戒備，就轉往南，占領了布魯特人居住的博斯塘特勒克。博城左右是山，中間有一片平穀，附近一帶為戈壁，正東160裏是烏帕爾城，劉錦棠已派方友升和譚慎典部進駐。劉錦棠認為越戈壁去迎擊敵人，會暴露在敵人炮火之內，他定下埋伏之計，先暗中叫布魯特人詐降敵人，誘敵深入。敵人果然中計，以為清軍沒有防備，洋洋得意，直奔烏帕爾劉錦棠軍大本營。劉錦棠定下計策，派張俊和董福祥各率千人繞道趨敵後路烏帕阿提和烏帕克恰提，又命羅長祜率譚慎典、方友升等率馬、步軍1800人，銜枚疾走，由小道直取博斯塘特勒克敵軍大營；自己則帶領將士們埋伏在軍營左右，靜候敵軍進入圈套。 正月初十日黎明，敵軍大隊果然來到埋伏圈中，劉錦棠伏兵齊起，敵軍出其不意，大敗逃走，劉錦棠軍追擊30餘裏，殲敵百餘人，敵軍大部隊紛紛往博城回逃。