霍去病還沒有到達河西，情況就發生了變化。體屠王聽信部下的讒言，不想投降了。渾邪王騎虎難下，痛恨休屠王的背信棄義，於是一不做二不休，他率兵衝入體屠王的營帳，殺死了休屠王，收編了休屠王的部隊，然後列隊迎接漢軍的到來。
霍去病渡過黃河，與渾邪王遙遙相望。渾邪王的部下很多。本來意誌就不堅定，現在看到漢軍陣容嚴整，心存疑懼，紛紛逃走。霍去病望見渾邪王陣營人群騷動，當機立斷，親率幾名精騎飛馬馳人渾邪王營帳，與渾邪王談判，下令將私自逃跑的匈奴將士8000人全部殺死。這樣才把匈奴軍隊穩住了。然後，霍去病派輕車快馬先把渾邪王送往長安拜見漢武帝。接著，他把四萬多匈奴降兵編隊列陣，帶回長安。
在河西戰役期間，漢武帝特地從京城送來一壇美酒，霍去病沒有獨自享用，而是將酒倒入泉水中，讓全軍將士飲用，後來，此泉就稱為酒泉，當地也就以泉命名。
漢武帝隆重地接見了渾邪王，封他為漯陰侯，食邑一萬戶。匈奴小王呼毒尼等四人也被封侯爵。漢武帝把這五侯連同他們的部眾分別安置在隴西、北地、上郡、朔方、雲中等地，保持他們原來的生活和風俗習慣，號稱“五屬國”。渾邪王舊地設置武威、酒泉兩郡，連同後來設置的張掖、敦煌二郡，被稱為“河西四郡”。霍去病受降有功，加封食邑1700戶。
從此，匈奴的軍事力量大大削弱，不得不退到遙遠的大沙漠以北地區。漢朝西部的威脅徹底解除，通往西域的道路完全暢通了。
匈奴主力雖遠逃漠北，但仍未放棄對漢朝邊境的掠奪。公元前120年秋，匈奴騎兵萬餘人又突入定襄、右北平地區，殺掠漢朝邊民一千多人。漢武帝決定遠征漠北，徹底消滅匈奴軍隊。
公元前119年，漢武帝調集10萬騎兵，隨軍戰馬14萬匹，步兵輜重隊幾十萬人，由衛青和霍去病各領五萬騎兵，分東西兩路向漠北進軍。衛青從定襄出塞，北進1000多裏，與匈奴伊稚斜單於所率主力相遇，經過激戰，大敗匈奴單於，斬獲19000多人，一直追到真顏山趙信城才勝利班師。
漢武帝原來的計劃是由霍去病專力對付匈奴單於，所以給他配備的全是經過挑選的精兵強將。霍去病率軍從代郡出發，大膽地重用匈奴降將趙破奴、複陸支、伊即軒等，在大沙漠地帶縱橫馳騁，行軍兩千多裏，越過離侯山，渡過弓閭河，與匈奴左賢王相遇。漢軍發動猛攻，左賢王大敗而逃。這次戰役，活捉匈奴屯頭王、韓王等三人以及匈奴將軍、相國、當戶、都尉等83人，殲敵七萬名。匈奴左賢王部幾乎全軍覆滅。霍去病率軍追至狼居胥山（今蒙古境內德爾山）。為慶祝這次戰役的勝利，霍去病在狠居胥山積土增山，舉行祭天封禮，又在姑衍山（狼居背山附近）舉行祭地禪禮，並登臨瀚海（今貝加爾湖），刻石記功，然後凱旋還朝。
霍去病因功加封食邑5800戶，並與大將軍衛青一起被拜為大司馬。
從此以後，匈奴向北向西遷到更偏遠的地方去了，長城內外一片和平氣象，人民安居樂業。
霍去病一生曾四次領兵出塞攻打匈奴，共殲敵11萬多人。他平時少言寡語，戰場上卻勇猛無比。他是一位軍事天才，漢武帝常常勸他學習孫吳兵法，他卻說：“為將須隨時運謀，何必定拘古法呢？”他是憑借戰場上的直覺指揮戰鬥的，隨機應變，閃電式行動，使他百戰百勝，成為名揚後世的一代名將。
霍去病屢立戰功，獲得了高官厚祿，但他把個人的享受擱在一邊，一心以國家利益為重。河西戰役勝利後，漢武帝為了獎勵他的卓越戰功，特意命人在長安為他建造了一座豪華住宅，叫他去看看是否滿意。霍去病謝絕了漢武帝的好意，氣概豪壯地說：“匈奴未滅，何以家為！”這句傳誦千古的名言就是霍去病光輝一生的寫照。
公元前117年，霍去病因病去世，年僅24歲。對於這位青年名將的過早離去，人們都感到無比的悲痛和惋惜。漢武帝特地命人在自己的茂陵旁邊為霍去病修建了一座形狀象祁連山的墳墓，並發動隴西、北地等五郡的匈奴人民，身穿黑甲，把霍去病的靈柩從長安護送到墓地安葬。
霍去病的墓至今仍然矗立在茂陵旁邊，墓前的“馬踏匈奴”的石像，象征著他為國家立下的不朽功勳