匈奴貴族不甘心於河南的失敗，於元朔三年和四年，又先後數次侵入代郡（郡治在今河北蔚縣西南）、雁門（郡治在今山西右玉縣東南）、定襄（郡治在今內蒙古和林格爾西北）、上郡（郡治在今陝西延安），殺掠吏民數千人。元朔五年（公元前124）春，匈奴右賢王又數次侵擾朔方，企圖奪回河南地區。武帝為了確保朔方，派將軍衛青督蘇建等六將軍領兵10餘萬人出朔方、高闕，深入塞外六七百裏，乘夜包圍右賢王的王庭。右賢王酒醉，突遭襲擊，在驚惶中，僅率壯騎數百人突圍北逃。漢軍虜獲匈奴裨王（小王）以下1.5萬人，獲牲畜數10萬頭，大勝而歸。武帝派使者迎接凱旋的漢軍，在軍中拜衛青為大將軍，統領諸將。這次戰役，鞏固了漢王朝在戰略要地河套南部的統治，不僅解除了匈奴對首都長安的嚴重威脅，而且構成了反擊匈奴的前進基地，開始轉入有利地位。
同年秋，匈奴又出動騎兵萬人侵入代郡，大肆殺掠。為了進一步打擊匈奴主力，鞏固邊防，武帝於元朔六年（公元前123年）二月，命大將軍衛青指揮公孫敖、公孫賀、趙信、蘇建、李廣、李沮等六將軍，率領10萬餘騎，由定襄北進數百裏，在漠南殲滅匈奴軍數千人。衛青之甥、年僅18歲的驃騎校尉霍去病，也率領八百精騎，參與戰役，在戰鬥中衝鋒陷陣，獲得殲敵2000餘人的輝煌戰果。戰後，全軍返回定襄、雲中和雁門，經過短期休整後，於夏四月再出定襄，擊殲匈奴軍萬餘人。但蘇建和趙信率領的3000名騎兵，與匈奴單於軍隊遭遇，損失慘重，蘇建突圍逃回；趙信原是匈奴小王，在失敗後又率殘部800餘人投降匈奴。趙信向匈奴單於伊稚斜建議，將匈奴軍隊轉移到大漠以北，以誘漢軍，待其疲困，然後出而擊之。伊稚斜單於納其獻計，決定暫作戰略上的撤退，將主力遠徙漠北。
西漢河南之戰的勝利，使匈奴在沙漠以南的廣大地區，僅剩下東麵左賢王和河西匈奴的軍隊。河西即今甘肅的武威、張掖、酒泉等地，因位於黃河以西，自古稱為河西，又稱河西走廊，一向為中國通西域的道路。從這兩方麵匈奴軍隊力量來看，無疑是左賢王較強。但河西匈奴控扼了通西域的要道，對漢朝的威脅又較左賢王為重。在匈奴主力轉移漠北、北部邊防趨於緩和的情況下，武帝為了打開通西域的道路和鞏固西北邊防，於元狩二年（公元前121年）春，命驃騎將軍（“驃騎”是驍勇的意思）霍去病率領精騎1萬人，由隴西出塞。漢軍在霍去病的指揮下，勇猛向西挺進，經曆五個匈奴王國（部落），轉戰六日，過焉支山（今甘肅山丹縣東南）千餘裏，在皋蘭山（今蘭州黃河西）下，與匈奴短兵相接，擊殺折蘭王、盧胡王（一作盧侯王），俘虜渾邪王子及相國、都尉以下8900餘人，並且繳獲匈奴休屠王的祭天金人（佛像）。渾邪王、休屠王等率敗軍逃遁。
為了徹底殲滅河西匈奴的有生力量，同年夏，霍去病與公孫敖率領數萬騎兵，從北地郡（郡治在今甘肅省環縣東南）出發，向河西進軍。同時，張騫、李廣領萬餘騎兵，從右北平（今河北省平泉縣）出發，以左賢王為進攻目標，以策應霍去病的行動。
李廣率4000名騎兵先行，北進數百裏，為匈奴左賢王的4萬名騎兵包圍，力戰二日，死者過半，殺敵亦過當（超過相抵之數）。張騫率主力趕至，左賢王見不能取勝，乃引兵退去。漢軍因疲勞過甚，亦未追擊而還。
霍去病和公孫敖由北地出發後，以快速的行動向河西實施大迂回，越過居延澤（在今內蒙古西北部）、小月氏（未西遷而仍留居的月氏人的住地），深入2000餘裏，在祁連山麓（今甘肅張掖西南）與渾邪王、休屠王的軍隊展開激戰，獲得了決定性的勝利。計接受匈奴單桓王、酋塗王等2500人的投降，俘王子、相國、將軍、當戶、都尉等百餘人，殲滅匈奴軍隊3.2萬人。漢軍亦損傷約十分之三。匈奴單於惱恨渾邪王、休屠王兩次戰敗，損傷慘重，欲加誅罰。兩王連遭漢軍重創，士氣受到嚴重挫折，又怕單於降罪，乃於是年秋共謀降漢，派使者向正在黃河沿岸督修城堡的大行（執掌異族歸化投順事務的官）李息接洽。武帝聞奏，恐匈奴詐降襲邊，即令霍去病率軍前往受降。休屠王臨時反悔，為渾邪王所殺，部眾也被兼並。霍去病率軍渡河後，與渾邪王的部隊對麵相望。渾邪王屬下裨將望見漢軍，心存疑懼，不欲投降，準備逃走。當此緊要關頭，霍去病當機立斷，親率精騎馳入匈奴營中，與渾邪王會晤，斬殺企圖逃亡的8000人，並先遣渾邪王乘駟傳先至行在所（長安），去見漢武帝。然後親率匈奴投降官兵4萬多人回到長安。其後，漢武帝將匈奴降眾安置在隴西、北地、上郡、朔方、雲中等沿邊五郡，因其故俗為“五屬國”。西漢王朝在渾邪王、休屠王故地陸續設立酒泉、武威、張掖、敦煌四郡。漢得河西四郡，不但阻斷了匈奴與羌人的聯係，而且溝通了內地與西域的直接交通，這對西漢和匈奴勢力的消長，發生了顯著的變化。河西水草肥美，匈奴失去河西後，在經濟上受到了很大損失。所以匈奴人歌曰：“失我祁連山，使我六畜不蕃息；失我馬支山，使我嫁婦無顏色。”