衛青兩次出擊的成功，顯示出他具有傑出的軍事才能，使他在朝廷中的地位日益顯貴，超過了當時一些年高望重的宿將。這些勝利也增強了漢朝抗擊匈奴的信心和決心。不久，漢武帝便有計劃地先後發起了河南、河西、漠北三大戰役。
河南戰役是西漢有史以來發起的第一次戰略性進攻。衛青統轄兩個校尉，率領4萬鐵騎，采取了“迂回側擊”的突擊戰術，越過雲中以後，立即折向西北，繞道匈奴後方，迅速拿下了河南通往北地的隘口高闕（在今內蒙古杭錦後旗），一舉切斷了駐守河南的匈奴白羊王、樓煩王同單於王庭（約在今呼和浩特市一帶）的聯係，使他們陷於孤立無援的困境。緊接著，衛青率領自己的騎兵，人不下鞍，馬不停蹄地沿著黃河飛兵南下，行軍數千裏，一路挫敵，到達隴西（在今甘肅臨洮），對匈奴的白羊王、樓煩王形成了包圍的態勢。白羊王、樓煩王見全線崩潰，自身又陷於被圍困的境地，為避免全軍覆滅，急忙率部西渡黃河，從雞鹿塞倉惶逃走。
衛青率一支勁旅，孤軍深入，轉戰數千裏，一戰肅清了河南地的匈奴勢力，取得了重大勝利。這一仗，匈奴被殺2300多人，被俘數千人，損失牛羊100多萬頭，衛青凱旋而歸。為了表彰衛青的戰功，漢武帝晉封衛青為長平侯，食邑3800戶。隨同出征的校尉蘇建被封為平陵侯，張次公為岸頭侯。
匈奴並不甘心失掉肥沃富饒的河南地。武帝元朔三年（公元前126年）夏，匈奴數萬騎兵攻入代郡，代郡太守以身殉職。秋天，匈奴騎兵又攻進雁門。第二年，匈奴騎兵分為三路，大舉南下。一路攻代郡，一路侵定襄，一路犯上郡。各路都是3萬人馬。在此期間，匈奴右賢王也多次攻進河南地，襲擊朔方城。總計匈奴在這兩年內動員的兵力在20萬左右，殺掠人民1萬多，其侵擾地區的廣大及次數的頻繁，均是前所未有的。
為了確保朔方郡的安全，武帝元朔五年（公元前124年）春，衛青奉命節製四員將領，統帥10萬人馬，第四次出征。衛青親率3萬兵馬，由高闕出兵，公孫賀、蘇建、李沮、李蔡四將軍率部從朔方城一齊北上，對右賢王實行兩路圍剿。此外，李息、張次公也率兵從東北方的右北平（在今遼寧淩源西南）出塞，牽製單於主力對右賢王的增援，同衛青等人的主力部隊遙相策應。
當時，右賢王的駐地設在離朔方城、高闕很遠的地方。右賢王雖然得報漢軍出塞，認為大漠荒涼，路途遙遠，漢軍不可能深入。夜間，他照常穩坐在氈帳中，一邊欣賞歌舞，一邊飲酒消遣，喝得酩酊大醉。
衛青摸準了右賢王傲慢輕敵、麻痹大意的弱點，采取了“出其不意，攻其不備”的奇襲戰術。他帶領部隊，人銜枚，馬摘鈴，一口氣急行軍六七百裏，深夜包圍了右賢王。漢兵猶如從天而降，右賢王從睡夢中驚醒，眼前火光燭天，四周殺聲震野，匈奴兵將毫無戒備，措手不及。戰鬥進展極為神速，包圍圈越縮越小。右賢王隻好拋下將校士卒，在數百名親兵的簇擁下，向北落荒而逃。衛青當即命令輕騎部隊飛馬追擊。
這次襲擊，俘虜匈奴裨王10多人，活捉士兵15000多人，奪得牲畜數10萬頭。漢武帝得報衛青大獲全勝，立即派出使者，帶著印綬，趕到邊塞，拜衛青為大將軍。
河南戰役是漢匈戰爭的一個轉折點。此前，匈奴占優勢，處於主動地位。此後，匈奴由優勢轉為劣勢，從主動變成被動。相反，西漢則由當初的誘殲、迎戰、出擊，轉變為積極主動的深入窮追。
居功不傲，謙恭無虞
衛青出身十分卑賤，母親為奴仆，同時自己又是私生子，沒有任何地位和名份，因此在他整個少年時期，都處於被欺淩與被侮辱的境況之中。這種經曆對他的人生肯定有深遠的影響。此時之“卑”，是被迫，也是自覺，這使得他既能忍辱負重，又能剛毅奮發。他因此而養成的有膽有識、吃苦耐勞等優良品質，無疑對他後來的建功立業起到了重大作用。及至立下不朽功勳，位高權重之時，自身的成長經曆和人生經驗，以及曆史上的前車之鑒，又使他把功名權勢當成了與己有關又無關的身外之物。