當且提侯看到漢軍衝了上來，急忙下令部下不必再管那些敗逃的各部士卒，全力對抗漢軍，於是，他率領散亂隊形的部下與同樣散亂的李息、李朔混戰在一起。至此，整個餘吾水河的北岸一片喊殺聲，雙方在左、中、右三個戰場大戰在一起。
東邊，趙破虜、蘇建及李沮的三萬邊軍與烏師廬指揮的五萬匈奴人展開混戰，雙方都已經傷亡慘重，一時都無法置對方於死地；中路，李息和李朔的兩萬多人把且提侯率領兩萬匈奴騎兵打得節節敗退，正在向烏維的中軍挺進；西邊，霍光指揮長水、胡騎、屯騎、期門四營北軍已經包圍了句黎湖的三萬人馬。現在劉據和烏維手中都隻剩一萬左右的預備隊了，劉據已經把徐自為的越騎營調到中間，準備隨時應付烏維最後的反擊。
烏維沒有進行反擊，他最後這一萬人根本不知道應該往哪裏衝，東邊肯定是不能去的，那裏就象一個巨大的吸盤，雙方投進的八萬人怎麼也拽不出來了。他想去救右邊，右賢王句黎湖的三萬人，可一旦中間被漢軍突破，自己很可能會來不及撤出來；他也想救援中路，可漢軍還有能力支援那裏，而且一旦右邊決出了勝負，漢軍就有可能切斷自己的退路，自己同樣無法脫身。
烏維抽出配劍，高高舉起，可半天也沒說一個字，他怎麼也下不了決心。這時，前方有人飛馬趕來，帶來了且提侯的口信，他快要支持不住了，他勸烏維立即撤出左右兩翼的部隊，脫離戰場，由他來斷後。且提侯是少數幾個知道他要西遷的人，他也是最支持烏維的一個，他知道現在漢軍的力量，也清楚自己的困難，認為隻有西遷才能讓匈奴生存下去。
烏維一陣苦笑，這左右兩翼他都想救，他也想撤出戰場，可漢軍會同意嗎？他們跑了那麼遠不就為了打這一仗？他們能讓自己平安地撤走嗎？烏維已經沒有了決戰前的那種豪情壯誌，他很後悔沒有及時撤走，沒有聽趙信的話，沒有在開春的時候就西遷，可現在說什麼都晚了。
就在烏維思前想後的時候，又有一人快馬趕回，這次回來來的是趙能，他是發現漢軍向西調動特意趕回來提醒烏維撤軍的。他來不及向烏維行禮，老遠就開始叫道：“大單於，漢軍主力已經調到了中路和我們的右翼，快撤吧，我來斷後。”
烏維也急了，指著整個戰場對趙能說：“你看看，怎麼撤？十萬人都陷了進去，現在怎麼可能撤出來？”
趙能也管不了許多了，他大聲叫著：“能撤一個是一個，總比都死在這裏好。我去把左賢王接出來，大單於快做好撤退的準備。”
“不！”烏維不願接受失敗的事實，“決不！我是單於，我不能丟下將士自己逃走，我要把他們都救出來。”
“來不及了，”趙能指著右翼，“你看，右賢王的大旗已經倒了，他們已經敗了，用不了多久漢軍就會從那騰出更多的兵力投入到中路，隻要中路再一丟，我們想撤都撤不走了。現在下決心還能救一些人，再晚的話我們都要死在這了！”