李陵遵命帶領步卒5000人，從居延向北進軍，行了30多天，到達浚稽山，一麵安營紮寨，一麵將所經過的山川地形都畫好，令部下陳步樂回去向武帝報告。武帝聽陳步樂說李陵的土卒都願效死疆場，特別高興，連陳步樂也因此拜了郎官。
李陵不久就被3萬單於騎兵所包圍。李陵帶領士卒在營外設陣，讓前列的人都拿了朝盾，後行的人都拿了弓弩，下令道：“聞鼓聲而縱，聞金聲而止。”敵兵見李陵的兵並不多，便緊圍上來。於是李陵命他的步兵千弩齊發，匈奴騎兵大都應弦而倒，其餘的急忙抱頭鼠竄，逃到山上去了。漢軍乘勝追擊，又殺了數千敵人。單於大驚，急調8萬餘騎兵圍攻李陵。李陵率隊且戰且走，一路向南撤退。待退到山穀裏時，因為連戰的結果，士卒中箭受傷的人很多。李陵整編了軍隊，整頓了軍紀，明日再戰，又斬殺了3000多敵人。
李陵引兵繼續向南撤退，想沿到龍城的故道回師。經過四五天的急行軍，走到一個長滿蘆葦的沼澤地帶，敵人便在上風裏放起火來，李陵為自救計，也令軍中放火，預先燒掉周圍的草木，以免燒傷自己。接著繼續南行，便到了南山下。單於早已占據了山上，命他的兒子帶兵進攻李陵。漢軍在樹林間與匈奴騎兵展開肉搏戰，又殺敵數千人。李陵又命令士卒發連弩（一種可連發數矢的弩）射擊單於，單於隻好下山逃走。
正當單於懷疑漢軍有伏兵接應李陵，不敢再向南追趕，準備撤兵的時候，李陵部下有一個負責刺探軍情的軍官管敢，因為受到校尉的侮辱而懷恨在心，便投降了匈奴。他告訴單於說，李陵軍並無後援，箭也快用完了，隻有李陵和跟隨他的校尉韓延年各率800人為前鋒，分別以黃旗和白旗為標誌，隻要用精銳騎兵出擊他們，就可立即攻破。單於聽後大喜，即刻命令騎兵進攻李陵，一麵攻擊一麵高叫：“李陵、韓延年快降！”把李陵軍的退路擋住，四麵圍攻，李陵被困在山穀中，敵人居高臨下，箭如雨下。李陵率軍冒死突圍，往南撤退，在漢軍還沒有到達鞮汗山的時候，150萬枝箭早已用光了。這時還有3000多人，李陵命令士兵把軍車毀掉，用車輻作武器。他們退到一處峽穀，單於追了上來，堵住了穀口，向穀中投擲石塊，漢軍士卒死傷更多，沒法再走了。夜晚，李陵穿了便衣，單獨走出營寨來。叫左右都不要跟隨他，他說大丈夫應當一個人去把單於擒來。去了好久才回來，歎息說：“兵是敗了，隻有死了！”部下對他說：“將軍威震匈奴，現在不過是時運不濟罷了，以後總可以歸還，像浞野侯趙破奴為敵人獲，後來逃回，天子不仍是對他很好麼？”李陵答道：“你叫我不死，這是不配稱一個壯士的！”於是他把全部旌旗都斬斷了，把所有珍貴的東西都埋在地下，歎道：“假若再多幾十支箭，就一定可以突圍了！現在連作戰的東西也沒有了，挨到天明，便恐怕隻有受縛就擒了！現在不如作鳥獸散，有跑得脫的，還可以給天子報個信兒。”於是讓士卒每人帶上二升幹飯，一片冰，設法逃跑，約會逃到遮虜障（即居延城）等待集合。待到夜半，李陵令擊鼓出發，可是鼓敲不響了。李陵和韓延年都上了馬，跟隨的壯士僅十餘人。後邊追兵卻有好幾千。韓延年戰死了，李陵看到這種情況，說：“無麵目見天子。”就投降了。突圍的士卒都分散逃跑，有400多人逃回了邊塞。
李陵戰敗的地方，隔邊塞不過100多裏，邊塞上立刻把李陵投降的消息傳報到京城。武帝本來的意思是希望李陵不成功便成仁，於是把他的母親和妻子召了來。武帝後來聽說李陵投降了，便勃然大怒。先是責問日前回來報信的陳步樂，陳步樂嚇得自殺了。又問其他群臣，其他群臣也嚇得沒有一個敢說李陵的好話的。
李陵因寡不敵眾，才致全軍潰敗，不得已而投降匈奴的。但李廣利率3萬騎兵，而且也未遇到匈奴的主力，可是由於他根本不是個將才，指揮不力，被匈奴打得大敗。好大喜功的武帝，麵臨兩路出擊的失敗，食不甘味，情緒極壞。於是，一些阿諛苟合之徒諱言貳師將軍之慘敗，卻諉過於李陵。對此，正直的司馬遷是有看法的。所以，當武帝召問他的時候，司馬遷便直言陳述了自己對李陵投降的看法。他在後來寫的《報任安書》中，曾對自己當時的思想做了具體的敘述。他認為李陵“其為人自奇士，事親孝，與土信，臨財廉，取予義，分別有讓，恭儉下人，常思奮不顧身以徇國家之急。其素所畜積也，仆以為有國士之風”。他還不遺餘力地為李陵辯護說：
夫人臣出萬死不顧一生之計，赴公家之難，斯已奇矣。今舉事壹不當，而全軀保妻子之臣隨而媒孽其短，仆誠私心痛之。且李陵提步卒不滿五千，深踐戎馬之地，足曆王庭，垂餌虎口，橫挑強胡，印億萬之師，與單於連戰十餘日，所殺過當。虜救死扶傷不給，旃裘之君長鹹震怖，乃悉征左右賢王，舉引弓之民，一國共攻而圍之。轉鬥千裏，矢盡道窮。救兵不至，士卒死傷如積。然李陵一呼勞軍，士無不起，躬流涕，沫血飲泣，張空弮，冒白刃，北首爭死敵。陵未沒時，使有來報，漢公卿王侯皆奉筋上壽。後數日，陵敗書聞，主上為之食不甘味，聽朝不怡。大臣憂懼，不知所出。仆竊不自料其卑賤，見主上慘淒怛悼，誠欲效其款款之愚。以為李陵素與士大夫絕甘分少，能得人之死力，雖古名將不過也。身雖陷敗，彼觀其意，且欲得其當而報漢。事已無可奈何，其所摧敗，功亦足以暴於天下。（《漢書·司馬遷傳》）