當主力軍李廣利到達目的地範夫人城時，可以說形勢一片大好：匈奴軍士氣低落，居然無人敢同漢軍抗拒。此時，如果漢軍就此結束，也不失為一場勝仗。然而此時，太醫令隨但從長安派使者到達李廣利軍中，送來了一個驚人的消息：內者令（官名）郭穰告發武帝說丞相夫人詛咒武帝並與李廣利共禱詞，欲令昌邑王為帝。李廣利與劉屈髦的密謀已東窗事發，六月份劉屈髦被腰斬於東市，妻子梟首於華陽街，李廣利妻子亦受罪下獄。
李廣利大驚失色，他知道武帝的脾氣。一旦回去，他將麵臨族誅的命運。避罪從軍的下屬胡亞夫勸說李廣利：“夫人室家皆在吏，若還不稱意，適與獄會，郅居以北可複得見乎？”
李廣利隻得深入匈奴以圖立功，將功贖罪。於是長途行軍一千餘裏達到郅居水上，與狐鹿姑單於主力對陣。此時漢軍已離邊塞很遠，而且左右兩路軍已撤，從總體形勢看，已處於孤軍深入的不利態勢。不過漢軍戰鬥力極強，士氣很高漲。而此時匈奴軍士氣低落，看見漢軍大舉深入，不敢與漢軍對陣，居然遠遠撤到郅居水北。李廣利派護軍率兩萬騎渡過郅居水深入敵境。此時匈奴不能再後撤了，於是狐鹿姑單於派左賢王左大將率兩萬騎迎擊。雙方兵力相當，漢匈大戰一天。結果，匈奴軍大敗，死傷甚眾，左大將也被漢軍擊斃。
正當漢軍節節勝利時，李廣利家人被拘的消息在軍中傳開，引起軍心動蕩。不少人懷疑李廣利懷異心，有意深入絕地，以士兵為籌碼換取立功贖罪。軍長史與決眭都尉謀劃逮捕李廣利，中止他的冒險計劃。但是，不幸被李廣利發現而被殺。李廣利明白軍心已不穩，隻得撤兵，大軍從郅居水向西轉到速邪烏燕然山。
狐鹿姑單於發現漢軍突然撤退，得知了漢軍內情，明白漢軍已軍心混亂，大喜。於是率五萬精銳騎兵緊緊尾追，終於在速邪烏燕然山追上了漢軍。
此時漢軍供給已盡，且十分疲勞，軍中流傳種種不祥的傳說，軍心浮動。正當漢軍準備紮營時，大批的匈奴騎兵呼嘯而來，漢軍隻得列陣與匈奴騎兵糾纏，雙方死傷慘重。盡管狐鹿姑單於想一口吃掉漢軍，但匈奴騎兵的一次次衝擊在漢軍精準的弩箭的射擊下一遍遍地敗退。
此時天色已暗，雙方才停止戰鬥，李廣利見軍隊已十分疲勞，匆忙安營紮寨。但是匈奴人並沒有休息，而是在漢軍前麵挖掘一道深數尺的塹壕。李廣利雖不明緣由，但他卻方寸已亂，不知何去何從。
夜深，漢軍正在熟睡中，突然，殺聲一片，潮水般的匈奴人從漢軍營後殺入。而漢軍犯了一個極大的錯誤，匆忙紮下的營寨沒有設置障礙工事，也沒有設置警衛和斥候。漢軍亂成一團，人們慌忙逃跑，卻沒想到前麵是深數尺的塹壕，黑夜中隻聽見士兵跌入發出的痛苦的喊叫。這是北征漢軍最悲慘的一夜，七萬大軍就這樣在匈奴人的夾擊下崩潰、覆滅。漢軍統帥李廣利走投無路，即使他能僥幸逃回去，也必定麵臨被處死的命運，他隻能可恥地向宿敵匈奴人投降。
這是一場徹底的慘敗，大部分漢軍在當夜喪生，即使有逃生者，由於此地遠離漢邊境近兩千裏，在沒有足夠的給養下他們也很難逃生。太史公司馬遷在《史記》中以沉痛的筆調記錄了這場戰爭的慘烈。
速邪烏燕然山戰役的悲劇很大程度上是漢武帝自己造成。漢武帝晚年很可能陷入歇斯底裏的精神恍惚中，特別是巫蠱之案的殺子之痛，使漢武帝陷入癲狂。居然在李廣利統帥大軍在外時拘押其妻，造成軍心不穩。否則，很難想像這樣的低級錯誤會出現在雄才大略的漢武帝身上。
而李廣利也再次顯示出在指揮上的低能，宿營時居然不設工事，輕易被敵人襲擊而造成全軍崩潰。漢軍最高指揮一而再的低級錯誤葬送了這支大軍，漢軍的悲劇也在於李廣利這樣的平庸之輩成為他們的統帥。
這場戰役的慘痛教訓終於使漢武帝從晚年的不正常中清醒過來，他意識到漢帝國正麵臨重蹈亡秦的覆轍的可能，他及時地調整了政策。不久劉徹下達了《輪台罪己詔》，公開向全國追悔了自己晚年的錯誤，宣布停止對外征討，而求發展耕稼及畜馬，以重整武備，提拔農業專家趙過為搜栗都尉，為“代田”，並改良農具，使民用力少而得穀多，重整國防，獎勵生產。
狐鹿姑單於則大為欣喜，速邪烏燕然山戰役是自漢匈開戰以來，匈奴取得的最大的一場勝利。狐鹿姑單於得意忘形地給漢武帝寫了一封極度傲慢的書信：“南有大漢，北有強胡，胡者，天之驕子也，不為小禮以自煩，今欲與漢闓大關，取漢女為妻，歲給遺我藥酒萬石，稷米五千斛，雜繒萬匹，它如故約，則邊不相盜矣。”同時，他又派使節到西域大肆宣言這場勝利。
但漢武帝對此信隻是笑而置之，還很有風度地派使者將匈奴使節送還。漢武帝晚年對匈奴就這樣拉下了帷幕。但這並不意味這兩個民族生死之戰的終止。
這次會戰，漢朝唯一的收獲是次要方向的西域攻克車師，給漢朝在西域又打下了一個鍥子，使漢的勢力向西域又深入一步。