左宗棠接到詔令後，立即調兵遣將，定下三路規複伊犁的策略。東路由伊犁將軍金順率部萬人，嚴守精河一帶，防止俄兵東竄，並調金運昌卓勝營馬隊5000、步隊1500協助；中路由嵩武軍統領、提督張曜率領馬隊500、步隊4500人，由阿克蘇越冰嶺向東，沿特克斯河直向伊犁，計程1250裏；西路由劉錦棠率馬隊1500、步隊8500餘人，取道烏什，越冰嶺向西，經布魯特遊牧地，約7站到伊犁，計程1250裏；這條路久經封禁，但卻是一條捷徑。又派譚上連、譚拔萃、易開俊等填防後路。一一作了周密布置之後，左宗棠準備親自出發，指揮前線瞬息萬變的軍事。
那幾年天山南北連獲豐收，關內外糧草充足，天氣也十分和煦，不像從前寒風凜冽。西部前線，人騰馬壯，將士踴躍爭先，都願為奪回新疆最後一塊失地獻出自己的一切。
光緒六年（1880年），左宗棠已68歲，在西北已有十餘年，許多人稱讚他日理萬機，精力過人，實則他身體並不好，多年的戎馬生涯，積勞成疾。來西北前就患長期腹瀉，在肅州大營時，不服西北水土，全身長滿了風濕疹子，夜間抓搔不止，難以成眠。他又有咳血病，來西北後加重。有一天早晨起床時，忽然吐出鮮血十餘口。自己原以為生不能出玉門，這次為了對付俄國霸占伊犁，必須出關，也居然能出關、遠征新疆了，這是少年時代夢寐以求的事，心中十分興奮。但他也深知，如果談判決裂，和俄國開起戰來，就不一定是二三年可以了結的事；以他年近古稀、衰病之身，能生出玉門，固是幸事，能否生還，卻不可期了。 四月十八日，他率領親軍1000餘人離開肅州大本營。前往新疆哈密。在隊伍中，有幾名壯士抬著一口空棺材，隨著他的乘輿後麵。這一列長長的隊伍，旌旗招展，士飽馬騰，在荒涼的戈壁灘上，緩緩地迎著蒼涼的落日前進，這一幅悲壯的場景，顯示了西征軍全體將士不獲勝利決不生還的決心，也顯示了中國人民不可輕侮、中國領土不容侵占的神聖意誌。左宗棠的這一勇敢、愛國的行動和決心，感動了全國人民，也震驚了中外。
黃昏時到達嘉峪關，天下了小雨，半夜雨下得大了。宗棠心中欣喜，今年正苦旱，有了這場雨，可卜豐收了。離肅州三天後到達玉門，唐王之渙詩：“春風不度玉門關”，可以想象，出了玉門，盡是一片荒涼孤寂之地，宗棠卻興致很高，並不以出塞為苦，他說自己雖然不能與壯年人相比，但這次為國驅馳，“孤憤填膺，誠不知老之將至！”
二十五日抵達甘肅最西的安西州，他是個有心人，沿途留心觀察人民生活和地方情況，看到一路上都是沙磧地，人煙闃寂，景況蕭條，戰亂以來，這一帶受戰禍最慘。他就獻出養廉銀兩千兩，交給地方官，請代買種羊，發給災民和兵丁，從事畜牧和開墾荒地。
他一路細心觀察，戈壁雖然缺乏水草，但砂石之間含濕潤之氣。雖然沒有泉源灌溉，雨露滋潤，但大小砂堆中遍生野草，還間有蘆葦叢雜，既能長草，一定也能種糧食。他在蘭州北山有一段經驗，該地秦王川過去五穀不生，現在則產糧最多，看來關外也可仿照秦王川法，試種糧食。沙灘戈壁中雖缺少樹木，近水地則還可見到榆柳，他以為下濕之地既可長榆柳，一定也可以種蔬菜瓜果。他將沿途看到想到的寫信告知楊昌？，囑他對邊地人民先教以畜牧，然後逐漸試以農業生產，使邊地人民擺脫貧困，逐漸富裕起來。
五月初八日到達哈密，從肅州到哈密走了一個半月。哈密各族人民聽到左宗棠來到，都紛紛擁擠在路旁迎接張望，有些人是從百裏外老遠趕來，有些老人也扶著拐杖來看。哈密原有新、老、回三城，白彥虎來後，燒殺擄掠，原城已半成瓦礫。左宗棠住在新建的哈密大營，大營建立在河東北岸舊名孔雀園的一片高敞的長坪中，用黃土築成圍牆，與新城相對峙，離城約3裏。營內可容納數千官兵。
左宗棠到哈密後，恐怕士兵閑居無事，喪失鬥誌，就在大營附近開辟了一片荒地，命士兵們耕種雜糧；又在大營內開辟菜園20畝，他對種菜既有興趣，又有經驗，每天都要去菜園督看幾次。當時中俄伊犁前線緊張，軍事調動頻繁，左宗棠在菜園裏消磨時間，其實也包含他教導劉錦棠學習曹孟德，每大戰之前“意思安閑，如不欲戰，而每戰輒利”的意思。
有一個德國人叫福克，在上海開設洋行，曾為左宗棠經辦購買德國的織呢、開河等機器，運去甘肅應用。光緒五年十二月初，他和奧國人滿德和一位姓席的翻譯從上海出發。次年六月二十九日抵達哈密，比左宗棠到哈密隻晚了一個多月。他們特去拜望左宗棠，因為他們曾幫助買機器，又是德國人，德國還沒有在中國動過武，左宗棠對他們比較有好感，待他們很客氣，請他們住在大營內上房後側，每日三餐一同進食飲酒，常常談談洋務和海外的情況，福克後來寫了一篇《西行瑣錄》，記載了左宗棠在哈密的生活起居情況。每天的生活很有規律，天剛黎明，左宗棠就起床，先到菜園裏去眺望一會兒，早上空氣新鮮，他在菜地裏走走，活動活動筋骨。然後回營房，立即接見屬員，洽談工作。談完差不多7點鍾了，於是開早飯，他和隨員們一同吃，福克等3人也同吃，有6碗菜。早飯畢，即批閱各方公事，草擬奏折，回複來往信件等，一直工作到中午。12點吃中飯，飯後繼續工作，直到下午五六點鍾，又到菜園去，督看士兵們澆水灌地。菜園內瓜菜品種很齊全，他看到菜長得好，地裏一片青翠，滿懷喜悅，一日的疲功也恢複了。然後回營房晚餐，飯後與營務處人員談談天，福克和滿德也參加，談到深夜12點才就寢。
福克深情地回憶說：“左爵相年已七旬，身在沙漠之地，起居飲食，簡省異常，內無姬妾，外鮮應酬之人，其眷屬家人多未帶至任上，惟一人在塞。老臣蹇蹇，砥柱中流，不特清廉寡欲，碩輔朝廷，凡一切愛民敬事之誠，尤曠代所罕見也。”
他又讚歎左宗棠愛國、愛人民的精神，說：“一月以來，覺爵相年已古稀，心猶少壯，經綸蓋世，無非為國為民；忠正丹心，中西恐無其匹。愛民猶如赤子，屬員禁絕奢華，居恒不衣華服，飲食不尚珍饈。如此豐功偉業，猶不改儒生氣象。”
福克對左宗棠高尚的品德、嚴肅的作風、儉樸的生活和豐偉的功業，佩服得五體投地。一次他問左宗棠：
“爵相如此高年，家中不積攢房屋田地，何必自苦如是？”
左宗棠回答他說：“君子做官，是為國家的利益做事，而不是為私利。我不願留財產給子孫，是恐怕給他們添麻煩，反害了他們。”
幾十年的戎馬生涯，左宗棠一直過著艱苦樸素的生活，家眷不在身邊。除同治五後夏周夫人曾到福州督署短聚數月外，他一直單身住在軍營中，與士卒同甘共苦。周夫人於同治九年去世後，幾個兒子曾輪流到蘭州來陪伴他，直到光緒五年，張夫人由幼子孝同陪同，並攜帶孝威的兩個孤子，前來甘肅照顧。那年張夫人已65歲，左宗棠認為她來後不能伺候他，反而要他照料，對兩個幼孫跋涉遠來，更以為不可。張夫人於年底到蘭州，宗棠正在肅州行營，次年正月，張夫人與孝同來到肅州，總算夫妻兒孫團聚了幾個月。而宗棠於四月又離肅州去哈密，張夫人和孝同遂回蘭州，不久又回長沙了。
左宗棠自己說：“我以望七之年馳驅王事，自浙閩移督陝甘，無數月安坐衙齋者。時事紛紜，哪能顧及家裏！”他青年時為衣食奔波，中年以至老年，則為國事奔波，沒有能享受到家庭生活的幸福。福克久居上海，他對清朝官吏的生活是很了解的，從大員到地方府縣，無不奢侈淫靡，姬妾滿堂，侍婢林立。他和左宗棠在營中同吃同住幾個月，看到他生活如此儉樸，不由衷心欽佩，以至讚譽為“古今罕見，中外均無人能及”！
哈密是新疆的熱點，與吐魯番齊名。左宗棠到哈密正值最炎熱的時候，沙漠熱浪襲來，外地人簡直受不住。宗棠本來有病，受了酷熱，左脅左腿牽引作痛，醫生給他服大黃數劑，加以芒硝，這是中醫的清瀉涼藥；又服滋陰補氣的藥，才慢慢複原。他不顧旅途辛勞，疾病纏身，每天工作總要達十幾小時以上。
哈密經過白彥虎殘匪的燒殺掠奪，城市幾成一片廢墟，人民生活極端困苦。左宗棠來到後，經過幾個月的整頓，給郊區人民發放耕牛，從事耕種；修好各處道路，使貿易暢通，並日夜派出官兵清查盜賊，市麵很快就恢複。由鳳凰台大營穿過新城，直達舊城西北角，約4裏長的大道，商店房屋鱗次櫛比，出售百貨食物，一路上熱鬧喧闐，本地人認為是從來未有的盛況，外人來遊曆的也讚歎不已。