匈奴貴族不甘心在河南地的失敗，一心想把朔方重新奪回去，所以在幾年內多次出兵，但都被漢軍擋了回去。公元前124年春，漢武帝命衛青率三萬騎兵從高闕出發；蘇建、李沮、公孫賀、李蔡都受衛青的節製，率兵從朔方出發；李息、張次公率兵由右北平出發。這次總兵力有十幾萬人。匈奴右賢王認為漢軍離得很遠，一時不可能來到，就放鬆了警惕。衛青率大軍急行軍六、七百裏，趁著黑夜包圍了右賢王的營帳。這時，右賢王正在帳中擁著美妾，暢飲美酒，已有八九分醉意了。忽聽帳外殺聲震天，火光遍野，右賢王驚慌失措，忙把美妾抱上馬，帶了幾百壯騎，突出重圍，向北逃去。漢軍輕騎校尉郭成等領兵追趕數百裏沒有追上，卻俘虜了右賢王的小王十餘人，男女一萬五千餘人，牲畜幾百萬頭。漢軍大獲全勝，高奏凱歌，收兵回朝。
漢武帝接到戰報，喜出望外，派特使捧著印信，到軍中拜衛青為大將軍，加封食邑8700戶，所有將領歸他指揮。衛青的三個兒子都還在繈褓之中，也被漢武帝封為列侯。衛青非常謙虛，堅決推辭說：“微臣有幸待罪軍中，仰仗陛下的神靈，使得我軍獲得勝利，這全是將士們拚死奮戰的功勞。陛下已加封了我的食邑，我的兒子年紀尚幼，毫無功勞，陛下卻分割土地，封他們為侯，這樣是不能鼓勵將士奮力作戰的。他們三人怎敢接受封賞。”漢武帝隨後又封賞了隨從衛青作戰的公孫敖、韓說、公孫賀、李蔡、李朔、趙不虞、公孫戎奴、李沮、李息、豆如意等。
衛青後來又多次帶兵出擊匈奴，都是大勝而歸，為穩定邊疆立下了汗馬功勞。但是，他並沒有因為自己是皇帝的小舅子，就居功自傲。他做官極為謹慎。在外麵打仗，有人犯了軍法，衛青也不理會“將在外，軍令有所不受”那一套，特意將犯人交由皇帝處置，以示人臣不敢專權。這使漢武帝更加喜歡他了。
後來，漢武帝對霍去病恩寵日盛，霍去病的聲望超過了他的舅舅衛青，過去奔走於大將軍門下的許多故舊，都轉到了霍去病門下。衛青門前頓顯冷落，可他不以為然，認為這也是人之常情，心甘情願地過著恬淡平靜的生活。
公元前106年，大司馬大將軍衛青去世，漢武帝命人在自己的茂陵東邊特地為衛青修建了一座象廬山（匈奴境內的一座山名）的墳墓，以象征衛青一生的赫赫戰功。