消滅突厥之後，唐朝正式開始了對西域的經營。唐貞觀四年（630），原屬西突厥的伊吾城（今新疆哈密）主率所屬七城歸順唐朝，唐朝設西伊州（後改稱伊州）。此時擋在唐朝麵前的就是一直與唐朝作對的吐穀渾。
吐穀渾在西魏之時曾被突魏聯軍所重創，可是遊牧民族的恢複能力很強，經過多年的休生養息，在唐朝初年漸趨強大。唐朝建立後，當時的吐穀渾國主伏允與割據河西的反王李軌聯合，騷擾唐西北邊境。武德二年（619），唐滅李軌，伏允可汗為了從唐獲得茶、鹽等生活必需品，頻繁遣使，請求在邊界互市。由於“中國喪亂，民乏耕牛”，而吐穀渾又是以遊牧為主的少數民族，盛產牛馬，唐高祖遂慨然答應。於是吐穀渾通過互市，從唐境獲得了大量生活必需品，而唐朝也“資於戎狄，雜畜被野”，獲得了大量用於農業的牲畜。唐朝為了保持與吐穀渾的友好關係，還主動放回了從隋末一直為人質的伏允可汗的兒子慕容順。但是，隨著吐穀渾勢力的不斷強盛，伏允可汗逐漸不滿足於從互市中獲得的財富，經常襲擾涼州、蘭州、岷州、鄯州、廓州一帶，威脅河西走廊。由於當時唐突關係緊張，帝國的重心都在對付突厥方麵，因此麵對吐穀渾，唐軍隻能緊守門戶卻沒有能力進行反擊，李淵的女婿柴紹曾經便是負責防禦吐穀渾的一線大將。當柴紹之時，吐穀渾對唐軍的威脅已經相當之大。當時柴紹率唐軍與吐穀渾大戰，卻被敵人包圍，敵軍乘高臨下四麵放箭，矢下如雨，眼看就要全軍覆沒。結果柴紹急中生智想了一個辦法，他讓人彈奏胡琵琶，又找了兩個女子對舞。吐穀渾人從來沒見過這個，非常奇怪，箭也不射了，紛紛駐足觀看。柴紹趁機暗中率精騎從後麵突襲，這才獲得了勝利。
貞觀八年（634），實力今非昔比的唐朝開始策劃對吐穀渾進行討伐。十二月，時任尚書右仆射的李靖再次請纓，李世民非常高興，立刻任命李靖為西海道行軍大總管，兵部尚書侯君集為積石道（今甘肅積石山縣）、刑部尚書任城王道宗為鄯善道（今新疆若羌）、涼州都督李大亮為且末道（今屬新疆）、岷州都督李道彥為赤水道、利州（治今四川廣元）刺史高甑生為鹽澤道（今青海茶卡鹽湖）行軍總管。唐太宗對這一仗非常重視，第一次行使天可汗的權威，征調了突厥、契苾兩族作為仆從軍參戰，李靖作為大帥總領五路唐軍征討吐穀渾。此時李靖已經六十五歲高齡，風采依然不減當年，吐穀渾一聽到是李靖親自領軍，連仗都不敢打，立刻西逃入嶂山（即庫山）千餘裏。
此時唐軍內部發生分歧，李道宗強烈要求繼續追擊，而侯君集卻持否定態度。此時李靖顯示出了身為一個統帥最重要的能力，即正確地決斷能力。他同意了李道宗的看法，令他率軍疾追，在離唐軍主力十日路程的庫山終於追及伏允。伏允據險欲作殊死戰，李道宗正麵遣大軍猛攻，自己親率千餘騎從山後突襲。伏允腹背受敵，潰不成軍，隻得再西逃。為阻止唐軍追趕，伏允下令**沿途野草，企圖堅壁清野。唐軍的馬匹因無野草可食，日益羸瘦，騎兵們因此心急如焚。以李道宗的為首的多數將領認為伏允西走柏海（今青海鄂陵湖、劄陵湖），難知其確切藏身處，且若再西進已近黃河源頭，古今罕有人至，險順難料；何況，此次遠征，盡賴馬力，今野草已被燒盡，不如撤兵，待馬肥草生，伺機再進。麵對險惡的地形和困難的局麵李靖不為所動，兵分兩路，深入敵境，作鉗形追擊。李靖親率李大亮，薛萬均、萬徹兄弟及契芯何力（契苾族族長）等部從北道進擊，另遣侯君集和李道宗率部由南道進擊。唐軍將士英勇追擊，跋涉於高原之上。貞觀九年（635）四月二十三日，北路軍李靖終於追及伏允，於曼頭山（似今青海東日月山）上大戰，李靖部將薛孤兒斬殺吐穀渾王族，獲得了大批牲畜。二十八日，李靖部又敗吐穀渾於牛心堆（今青海湟中西南）和赤水源（今青海東南恰卜恰河上源）。此時伏允上天無路、入地無門，決心拚死一搏，於是率軍埋伏在赤水川附近，而作為先鋒的薛萬均、薛萬徹兄弟率部到達赤水川後卻因為連勝之後輕兵冒進，正好進入伏允所設的包圍圈，吐穀渾國相天柱王親自搏殺於戰陣之上。唐軍血戰不得脫，薛萬均兄弟皆中槍墜馬，徒步死鬥，兵士死者十六七，此時的場麵可以想象是多麼驚心動魄。在這個危機的時刻，契苾何力率領數百騎馳援，史書中說他“突圍而前，縱橫奮擊，賊兵披靡”，萬均、萬徹兄弟這才死戰得脫。