李廣是善於衝鋒突擊打硬仗的勇將，又是前將軍，理應讓他去做前鋒突擊匈奴主力，發揮其所長。何況，李廣已年老，這很可能是他最後一次出征了，跟他同資曆，甚至很多資格比他淺得多的將領都已經封了侯，他到現在尚未封侯，這是他最後一次博封侯的機會。現在卻讓他繞道到東邊去迂回側擊，那一路上水草很少且不說，他們要走的路比主力軍的路程遠得多，卻要跟主力軍差不多同時趕到戰場，這已經是一個幾乎完不成的任務了，再加上他們對地理不熟悉，且沒有向導，很容易迷路，就算能按期趕到出擊地點，很可能仗早已打完了，還能立什麼功？
因此，他向衛青請求說：“臣部為前將軍，現在大將軍卻不使臣部為前驅而改出東路。臣自少年時起就跟匈奴作戰，現在終於有一個跟單於正麵作戰的機會，臣願作前鋒，先上去跟單於決一死戰！”
衛青也知道這樣安排對李廣很不公平，他也很想答應李廣的請求，但是，他不能，原因隻有他知道，但他卻無法向李廣說！
原來，漢武帝因為李廣年老，本來根本不想讓他參加此次遠征，隻因李廣一再請求，才勉強任命他為前將軍。但是，武帝卻暗中囑咐衛青：“李廣已經老了，而且他運氣不好，不要讓他去跟單於正麵作戰，恐怕他會把事情搞砸。”
這是一個原因，還有一個原因，衛青也有一份私心，公孫敖上次在河西之戰中和張騫一起因迷路而沒能按期跟大軍會合，事後被判死刑，雖然最後花錢贖回了命，但辛辛苦苦搏來的侯爵卻沒有了。他是衛青的好朋友，當初劉嫖要殺衛青時，是他帶著一幫朋友把衛青救出來的，衛青有意給他一個立功封侯的機會，因而這次就讓他所部跟自己一起進擊匈奴主力。另幾個將軍呢，公孫賀跟衛青關係也很鐵，而且沾親帶故，是衛青的大姐夫——他奉武帝之旨娶了衛子夫的姐姐衛君孺為妻；曹襄則是自己原主人平陽公主的兒子，都是他的照顧對象，隻有李廣和趙食其跟自己的關係沒有那麼親密，不讓他們走東路讓誰走？
李廣也心裏很不滿，但不滿也沒辦法，衛青是主帥，自己是他的部將，不得不服從命令，和趙食其一起帶著人馬鬱悶地出發了。因為忿懣，他出發時都沒有按禮節去向衛青辭行。
衛青出塞後，向北突進了千餘裏，橫穿了大沙漠，來到漠北，隻見伊稚斜單於的軍隊正列陣以待。
他立即下令將武剛車（一種車身四周及車頂以厚皮覆蓋，用於防禦的戰車）擺在外圍，環成一圈，作為屏障，軍隊就在車陣內結營。全軍立住陣腳之後，他就派出5千騎兵去對匈奴作一次試探性進攻。匈奴馬上派出一萬騎兵來迎敵。
雙方激戰至黃昏，老天來幫忙了，大風突起，卷起的砂礫打得人睜不開眼，漢、匈兩軍的將士都無法看見對方。衛青立即抓住這良機，急令全軍出動，從左右兩翼包抄，將單於軍圍住。
伊稚斜單於見漢軍人數多而且戰鬥力很強，一點也沒有疲乏之態，估計自己的人馬打不過漢軍，便乘坐六匹騾子，在數百精騎的保護下衝破漢軍包圍圈，往西而逃。