光緒二年（1876年）春夏之交，西征軍大舉出關，左宗棠定下了進軍新疆的方針，是：“致力於北，而收功於南”，“先北後南，先克烏城”。烏魯木齊是全疆關鍵，必須首先拿下。先攻北疆也較易，阿古柏是從西端喀什噶爾首先進入南疆，然後逐步吞並北疆，他的主力部隊都集中在南疆。北疆主要由當地回軍馬人得和陝西竄回白彥虎餘部據守，盤踞在烏城附近紅廟子、古牧地、瑪納斯一帶，他們雖都已歸順阿古柏，但兵力比較分散、薄弱。如果克複烏城，肅清北路，再集中兵力，進攻南疆，則局限於南路一隅的阿古柏勢孤力薄，將無力抵禦南下大軍，這就是“致力於北，而收功於南”。左宗棠估計在北路將有幾場大戰，安集延部和白彥虎餘部及當地回軍將聯合起來，與清軍決一死戰。
閏五月，劉錦棠大軍進抵古城，金順軍駐屯在距古城西90裏的濟木薩，他統率了原景廉所部共40營。劉錦棠到古城後不久，就率領少數隨從輕騎來到濟木薩，與金順會商進攻烏魯木齊的策略。他們探知烏城比較空虛，隻有幾千人據守，但是距烏城東北數十裏的古牧地，卻有回軍領袖馬明和白彥虎重兵扼守，必須攻克古牧地，才能直搗烏城。由濟木薩到古牧地還有300餘裏，濟木薩西240裏是阜康城，由阜康進軍古牧地隻有百餘裏。因此劉錦棠和金順議定，先攻占阜康，再進攻古牧地，拔去烏城的外圍，烏城就唾手可得。
他們將擬定的計劃稟報左宗棠，左宗棠同意這個方案，為了防止被圍困的敵人四處亂竄，他又派遣徐占彪軍五營進駐巴裏坤，屯木壘河以東，與金順軍共同保護巴裏坤到古城子一線，防止敵人北竄。命駐守哈密的張曜軍防止敵人南竄。增調徐萬福等五營出關，分屯安西、敦煌、惠回堡和青頭山口。這幾處是從肅州經哈密、巴裏坤、古城子到濟木薩一線的要隘，這一線全長2800餘裏，是官軍主要運道。左宗棠作了周密布置，務必不讓敵人截斷這條運道，外逃內竄。他特別注意嘉峪關內的青頭山口，因為敵人由此可竄入青海和西藏，這樣戰事就會蔓延。他諭知張曜說：
“凡山徑小道可通人行者，應即嚴密扼截，務期滴水不漏，始策全功，語雲：‘千金之堤，潰於蟻穴’。必不可忽略。”
他又奏請命駐新疆西北角塔爾巴哈台以及科布多、烏裏雅蘇台各領兵大臣，增兵防守漠北，以扼阻敵人由北麵逃竄入俄羅斯境。
經過周密的布置，對敵人布下了天羅地網，在大舉進攻之前，左宗棠再一次向全軍申明紀律，嚴禁殺掠。對於當地少數民族同胞，有些人是在敵人淫威之下，為敵人作過些事，原是迫不得已，隻是他們認明大義，回歸祖國，一律寬大處理。 六月，劉錦棠率湘軍到濟木薩，與金順軍會合，沒有費什麼力氣，劉、金二軍就共同進占了阜康城。踞守烏魯木齊的馬人得聽到大軍已逼近，趕緊增派軍隊到古牧地，又糾合白彥虎殘部，準備與清軍決一死戰。阿古柏得到烏城緊急的消息後，也派兵從南路來支援。
劉錦棠軍隊開到阜康以西50裏的黑溝驛前，他偵察到有兩條路通往古牧地。一條是大路，但要經過戈壁，缺乏水源。另一條是小路，水源充足，但要通過黃田，敵人已在黃田築卡立柵，防守嚴密。敵人意圖迫使清軍走大道，以斷絕官軍水源。劉錦棠了解情況後，於是將計就計，派部隊集結在大路口的西村兒頭子，命兵士們開挖枯井，疏通廢渠，忙忙碌碌地準備行軍用水，佯裝成要沿大路前進的姿態。敵人果然受騙了，以為清軍將由大路進發，暗暗歡喜，對小路放鬆了戒備。趁敵人不防備之際，大軍卻於半夜出發，由小路直趨黃田，一路上沒有遇到抵擋，劉、金二軍迅速抵達黃田城郊，搶先攻占了城外山崗，號角聲四起，敵人從睡夢中驚起，驚惶失措，倉促應接，在劉錦棠、金順兩軍左右夾擊之下，敵騎大敗，拋棄輜重，狂奔而逃。官兵攻占了黃田，繼續追擊逃敵，一直追到古牧地才收兵。
古牧地是烏魯木齊的外圍要隘，敵人駐守了重兵，阿古柏聽得烏城緊急，也趕緊派兵來增援，劉、金二軍為了不讓敵人有喘息的機會，在黃田休整了數天後，全軍於六月廿三日發動對古牧地的進攻。先頭部隊剛到達紅廟子。遇到阿古柏派來增援的數千騎兵，劉錦棠即命部將餘虎恩和黃萬鵬率馬隊反擊，分步兵兩路進攻古牧地南關，自己親率兵將攻擊城外山壘，一鼓作氣將它攻下，敵人反奔入城，增援部隊也被黃萬鵬、餘虎恩馬隊擊潰，敵將阿托愛棄馬逃走，敵人外圍據點全部喪失，隻得將城門緊緊關閉，企圖困守待援。 劉、金二軍將古牧地城團團包圍，劉軍在城南，金軍在城北，士兵們環城築起炮台，晝夜不停，兩三天內築好了一些炮台，比城牆還高出一丈，火力占了優勢，劉錦棠下令日夜開炮轟擊城牆，不久東北角和東麵城牆被轟塌，敵人想去修補，清軍發劈山排炮環攻，使敵人不能靠近。廿七日，羅長祜、楊金龍部隊將開花大炮移到正南轟城，其餘部隊一部分準備攻入城內，另一部分準備截擊逃敵，一切安排好後，劉錦棠率親兵坐鎮城南山壘督陣。
廿八日淩晨，大炮轟坍了南城牆，劉錦棠見時機已到，下令發起總攻，山壘鼓聲大作，這是進軍的號令，各營號角齊鳴，齊聲響應。譚拔萃、譚和義、譚慎典、董福詳、羅長祜等部隊士兵都背負土囊，先將城壕填平，從城牆缺口突入，金順部隊由東北進入，敵人毫無鬥誌，頓時攻占了古牧地城，擊斃敵軍6000餘人，阿古柏援敵數百人也全被殲滅。 古牧地原是由白彥虎重兵駐守，當他聽到黃田被攻破後，逃回烏魯木齊，與當地回人領袖馬人得會合，及至聽到古牧地大敗，精銳被全部殲滅，白、馬二人驚慌萬分，無心戀戰，立即率領婦女，帶了金珠財寶，往南逃遁。
清軍攻克古牧地後，繳獲了一份敵人機密文書，得知烏城空虛。劉錦棠認為機不可失，第二天就率大軍長驅直搗烏垣。烏魯木齊有三個城：迪化州滿、漢兩城，及已死回軍領袖妥明所築的偽王城。當大軍進抵距城10裏許時，三城敵軍沒有料到清軍來得這麼快，驚惶失措，喪失了鬥誌，棄城往南逃竄。劉錦棠命部隊急進，立即將三城收複；又命譚拔萃等部猛追殘敵，擊斃數百人，追到一片沙漠地帶，未再窮追，才收兵回來。阿古柏聽到烏垣危急，認識到它的重要性，趕派數千騎兵來增援，但是兵到來已遲，在離烏城280裏處，聽到烏城已被清軍占領，隻得引兵退走。
盤踞在新疆北路昌吉、呼圖壁和瑪納斯北城的敵軍，聞知烏城失守後，知道大勢已去，都紛紛逃竄。隻有瑪納斯南城的韓刑膿軍依仗城小而堅，仍在抗拒官軍。金順部隊從七月中起，就將瑪納斯圍住，圍攻了一個月，沒有得手。劉錦棠派譚拔萃、羅長祜湘軍來增援，署伊犁將軍榮全也從塔爾巴哈台率兵來助攻。在大軍圍攻之下，城牆多次被轟裂，敵人反複修堵，終於抵擋不住。九月初一日韓刑膿被大炮擊斃。十九日，韓刑膿部將海宴要求投降，金順同意了，命他們出城交出軍械。廿一日，敵軍數千帶軍械出城，金順發現有詐，命大軍嚴陣以待，由徐學功諭旨敵軍將軍械丟下來，這時敵軍突然開槍撲來，清軍奮起反擊，將詐降的敵軍殲滅。瑪納斯南城於是收複。
新疆北路，除了伊犁一地外，全部為西征軍收複了。這一次戰役，僅曆時3個月，真可謂神速！也足見前線將領劉錦棠、金順等充分貫徹了“緩進急戰”的戰略意圖。
左宗棠於是命將領和官員們妥善辦理北疆的善後安撫工作，命徐學功在北路各城廣開屯用。徐學功原是當地漢人民團領袖，英勇善戰。當俄國人占領伊犁後，曾派兵東進想占領瑪納斯，被徐學功的騎兵部隊擊退，未達到侵略目的。西征軍到新疆後，徐學功隨同作戰。得到開屯命令後，他將西河五坌團民招來，發給種籽農具，從事農作。左宗棠又命道員周崇博在巴裏坤設局，招商開市。北路的社會秩序漸漸恢複，各族人民的生活也逐漸複蘇。
阿古柏得知北路全失，十分驚慌，但他仍然企圖憑借天山之險，負隅頑抗。他的主力部隊都在南疆，派去北疆支援的人不多，損失不大；加上逃來的馬人得、白彥虎等殘部，拚捧了兵力2.7萬餘人。達阪城是天山要隘，他派大總管愛伊德爾呼裏堅守；又命馬人得守住吐魯番，派白彥虎協助；在托克遜築下三城，互為犄角，命二兒子海古拉率死黨守住。達一托一吐三城形成的三角地區，是北疆進入南疆的門戶，命令必須死守。他自己則退到托克遜以南800餘裏的喀喇沙爾，指揮全線軍事。
西征軍下一步就是進攻南路，規複全疆。左宗棠對軍事形勢的分析是：南路敵軍重兵扼守在達板、吐魯番、托克遜三處，官軍南下，必有數惡仗。三處攻下，奪取南疆將勢如破竹。他對進軍作了周密部署，派劉錦棠全軍自北而南，進攻達阪；張曜、徐占彪軍自東而西，合攻吐魯番；金順軍留防北路，待達、吐兩城收複後，再合軍進攻托克遜。為了防止孤軍深入，後路無繼，他又奏請調駐包頭統領金運昌率馬步兵5000餘人出關增援。金運昌曾在甘肅寧靈會同湘軍作戰，左宗棠賞識他尚氣節，耐勞苦，作戰勇敢；他多次請求從左宗棠西征，所以這時將他調來。清廷同意了所請，還增派侯名貴、章洪勝、方友升三營出關，加入劉錦棠軍中，任務是搜捕後路逸寇，保護通道，將糧食、軍火源源不斷運到烏城儲備待用。
正當左宗棠為收複南疆積極準備之際，清朝廷中又發出一種不協調的議論。當時北路雖然已基本平定，但伊犁仍然為俄國占據。俄人以前說過，隻待中國收複烏魯木齊和瑪納斯，它就交還伊犁。因此發議論的人就說：“既然烏、瑪二城已收複，就應與俄國交涉，索還伊犁。”他們的真意是：暫時不必進軍南路。左宗棠認為北路雖平，南路仍麵對強大的敵人。如現在與俄國交涉，它可能會提出各種無理需索，即使伊犁收回，因官軍還要進入南疆作戰，如果伊犁再出意外，反而難以兼顧，不如暫時擱置，先一心一意收複南疆，南疆平定後，伊犁可以不索而還。他複信給總理衙門，駁斥了那種意見。
真是一波未平，一波又起，朝中意見尚未完全平息，英國人看到清軍已打敗阿古柏，收複了北疆，現在又執意要南進，它也恐慌起來，想出了一條狡謀，以挽救行將徹底崩潰的阿古柏傀儡政權。原來英、俄二國為爭奪中亞的殖民地互相不和，英國一直把安集延當作保護國，把阿古柏當作傀儡，給予大量援助。英國是想利用阿古柏占領新疆，作為印度的屏障，以防俄國的入侵。當它看到左宗棠在積極準備進攻南疆，阿古柏岌岌可危時，就由駐華公使威妥瑪出麵，跑到總理衙門，代阿古柏求“降”。威妥瑪稱阿古柏為“喀王”，請求清政府允許阿古柏占領新疆，作為屬國，免去朝貢。他還恫嚇說：“清國用兵日久，俄國人可能會乘機來奪取新疆，這不僅會危及印度，對貴國邊界也很不利。”
總理衙門看出英國人是借詐降之名，行緩兵之計，暗藏禍機，就回答他說：
“阿古柏是竊踞新疆的外敵，本非屬國。如果是誠意求降，就應將回軍領袖叛逆白彥虎、馬人得等交出，並且繳還南疆八城，與前線軍事指揮人員議和。”
同時，總理衙門立即通知左宗棠，關於英國人代阿古柏請降一事，告知他如阿古柏果真派人來講和，要以禮相待，權宜相處。看來朝廷對請降的表示還抱有一點不切實際的幻想。
左宗棠看透了英國人的詭計，回答總理衙門說：
“英國代阿古柏乞降，並不是為阿古柏著想，而是害怕俄國人侵占印度，它又害怕中俄交好，因此危詞聳聽，希望把中國嚇倒。俄國人占領伊犁，原說定要交還的。如說說官軍進規南疆，俄人就會乘機侵入，坐收漁人之利；無論如何我國決不會允許，我們在新疆有強大的兵力，而且俄國久以大國自居，似乎也不致貿然動手。至於前線用兵久暫，完全是主帥之事，也毋需英國人代為操心。”
左宗棠又將此事寫信通知在最前線的主帥劉錦棠，告他說：“和外國人交涉，隻要我們立場穩，道理正，不妨直率告知我們的不同意見，但是要稍留餘地，使他們能夠退步轉彎，就沒有辦不好的事。如果一意隨和，對方自以為得計，視你為可欺，反而多事了。外國人性格素來是欺弱畏強，喜直忌曲；我若真能自強，率直相待，他們倒是會心悅誠服的。
左宗棠對中外交涉有一定的經驗和看法，西部前線將領們也作好了準備。威妥瑪因為上年馬嘉理案，請求英國派兵來攻雲南，遭到英政府斥責，並將他召回國。臨行前他又搞了這一套卑詞乞降的詭計，幸而清廷和左宗棠識破了他這套愚拙的計策，狡計未能得逞，他於是灰溜溜地離開了中國。阿古柏後來始終沒有派人來求降。
這一波平定了，清廷又對西征人事作了些布置：將榮全召回京師，授金順伊犁將軍，進軍庫
爾克喇烏蘇，向伊犁推進了一步。又以英翰署烏魯木齊都統，下詔催促左宗棠迅即進兵南疆。那時已是陰曆十月，大雪封山。左宗棠堅持“緩進急戰”的戰略，考慮到當時山路難行，糧食又還沒有運到，金運昌的援軍也未到達。加之主帥劉錦棠患病初愈，湘軍幾乎有一半以上患了時疫，需要調養一段時間。因此奏請清廷，等到明春冰雪融化，山路可通，糧食充足，援軍到齊時，再行進軍，始為穩妥。真是：“將在外，君命有所不受”，清廷隻得允許。
光緒三年（1877年）二月，前線部隊已休整3個多月了，士兵們情緒高昂，鬥誌旺盛，劉錦棠尤其是急性子，等得不耐煩了，幾次向左宗棠請求發兵，但那時金運昌率卓勝軍剛出關，還沒有到達駐地，左宗棠仍按兵不動。直到三月，卓勝軍已開到古城至烏魯木齊一線駐防，原駐該處的湘軍得以挽防南進，天山冰雪也已化凍，於是左宗棠發出總攻令，命令全軍首先攻下南疆門戶達阪、吐魯番、托克遜三角地帶，按原定計劃分三路並進：劉錦棠率湘軍由烏城出發，越嶺而南，直攻達阪城；張曜嵩武軍先遣孫金彪率五營進駐東西鹽池，然後督大軍自哈密西進，徐占彪蜀軍自巴裏坤同日並發。清軍總共兵力約50營，共2萬餘人，從北、東兩方麵向達一吐一托三角地前進。金順軍留守北疆西部地區，監視伊犁俄軍動向。
在大軍進發前，左宗棠再次申明紀律，嚴禁殺掠，對於各族同胞附敵反正者，一律寬待。 劉錦棠、張曜、徐占彪三軍於是同時向達一吐一托三角地區進發。他們首先拔除了敵人外圍據點，劉錦棠軍於三月初三日進抵柴窩營寒，他立即命令餘虎恩、董福祥等率馬軍9營，譚上連、譚和義等率步軍4營，乘夜進軍，銜枚疾走，務必於黎明前到達達阪城下。達阪敵人事先引了湖水灌注城外周圍的沼澤地，自以為有險可守；又偵察清軍攻克烏魯木齊後，遲遲不前進，已有幾個月，因而放鬆了戒備。劉錦棠的馬軍於半夜到達了達阪郊外，因為沼澤地注滿了水，一片淤泥，深及馬腹，兵士們都下馬踏過泥水，直逼城下，頃刻將四城團團圍住。當天明霧散時，城上的敵人才發現已被包圍，驚慌失措，趕緊命令加強防守，槍炮齊鳴，向城下清軍猛烈轟擊。因為清軍的大炮還沒有運到，劉錦棠命令將士們圍城四周築壕據守，暫時按兵不動。
當天中午劉錦棠騎馬親自在城外戰壕前巡視，城上子彈如雨而下，他的隨從親兵被槍彈擊傷，他的乘馬也被擊傷；他跳下馬，換了一匹騎上，又繼續巡視，城內敵人也不敢出擊。