形勢對李陵相當不利。他一邊戰鬥，一邊向南撤退，傷員成為行軍的最大問題。李陵下命令：身受三處箭傷者，可以坐在輜重車上；身受兩處箭傷者，充當駕駛；身受一處箭傷者，裹創再戰。在匈奴的尾隨追擊下，荊楚兵團傷亡很大，行軍緩慢，士氣越發低落。李陵知道，隻能通過一場勝利來挽回士氣，遂行至中途時，反戈一擊，再次取得大捷，射殺匈奴三千人。
這一勝利遲緩了敵人的追擊，李陵乘機折向東南，行軍四五日，到了一片蘆葦沼澤地帶。沼澤地形不利於馬匹通過，倘若李陵能涉過沼澤，全身而退的可能性很大。但老天爺不幫忙，突然刮起西北風，匈奴人乘機縱火焚燒蘆葦叢，由於李陵在下風向，火勢很快蔓延過來。為了避開熊熊大火，李陵隻得進入南部山區。
山地崎嶇難行，對步兵更加不利。匈奴騎兵又追了上來，縱馬登上山頂，李陵兵團的一舉一動盡在掌握之中。李陵隻得撤入樹林之中，以茂密的樹木為掩護，匈奴騎兵追至樹林，遭到迎頭痛擊，又損失數千人。
且鞮侯單於簡直失掉了信心。自己以八萬騎兵圍殲李陵五千步兵，竟然三戰慘敗，損失近萬人，真是奇恥大辱。他甚至懷疑漢軍設有重兵埋伏，李陵兵團不過是故意放出的誘餌。追擊一千多裏，竟然還消滅不了李陵，還是撤兵算了。就在且鞮侯單於心誌動搖時，其他將領提出一個折中的方案：倘若無法在山區消滅李陵，出了山地便撤軍。
這時，李陵隻要再前進四五十裏，就可以進入平原。然而，匈奴人已是孤注一擲，在一天之內發動數十次攻擊，李陵兵團英勇反擊，再殺敵兩千。且鞮侯單於完全崩潰，打算放棄了。就在這個時候，一件意外的事情發生了。這個意外終於導致李陵兵團全軍覆沒。
李陵麾下一名軍侯叛變，向匈奴單於和盤托出：李陵兵團既無援軍，箭矢也即將用光，除了李陵與韓延年麾下各八百人，建製比較完整外，其餘各部傷亡慘重。隻要單於以精銳騎兵猛攻，漢兵箭矢用盡，就隻能束手待斃。
叛徒的告密，泄露了李陵的底牌。且鞮侯單於大喜過望，速令急攻李陵，攻擊的猛烈程度，遠遠超出以前。李陵殊死抵擋，就在這一天，漢軍所有的箭矢全部用盡！
從撤退以來，李陵兵團已經陣亡將近兩千人。這個損失不算多，可是沒有武器，如何殺敵呢？能不能衝出重圍，隻能看運氣了。李陵下令丟棄輜重車輛，毀壞強弩，把車輛卸了，拿車輪上的輻條當作武器輕裝疾行，退到鞮汗山峽穀。
匈奴騎兵已經搶占峽穀兩側的山地，從山上扔下巨石，把峽穀通道堵死。天色快暗了，李陵心裏很清楚，大部隊突圍已不可能，現在隻能賭一把。他決定孤身一人，潛入匈奴營地生擒單於，這是唯一的出路。
要生擒單於，談何容易。夜幕降臨，李陵潛到匈奴營地附近，根本找不到機會下手，不得不放棄生擒單於的計劃。他回到部隊，歎了一口氣說：“兵敗死矣。”
有個部下說：“將軍何必求死呢？將軍此役威震匈奴，當年趙破奴將軍兵敗被俘，後來逃回中國（趙破奴在公元前100年逃出匈奴），皇帝仍優待他，更何況是將軍呢？”
李陵搖搖頭說：“我不死，非壯士也。”下令斬盡旌旗，把軍中值錢的東西掩埋於地下。看著剩下不到三千的疲憊之卒，李陵忽然湧出一種悲戚之情，長歎道：“如果每人還有數十支箭矢，便可以突出重圍。可是沒有武器了，隻要等到天一亮，必定成為匈奴的俘虜。從現在開始，大家各自為戰，或許有一部分人可以殺出重圍，回報天子。”
說罷，李陵涕淚長流，這支荊楚勇士組成的鐵血兵團，最終難逃全軍覆滅的下場。
這時，李陵距離漢邊境遮虜障僅有一百餘裏，可他已是強弩之末。眾將士每人攜帶兩升糧食與一片冰塊，相約如果得以突出重圍，就在遮虜障會合。軍隊化整為零散開，戰士們以幾個人為一組，在夜幕的掩護下，分道突圍。
李陵自己帶十幾名勇士突圍，很快被匈奴人發現。在激戰中，李陵的隨從全部戰死，最後隻剩下他一人，被匈奴人團團圍住。他原本已下必死的決心，到最後關頭，他並沒有選擇一死。他曾說過：“不死，非壯士也。”可是他竟然沒有選擇像英雄一樣死去，而是選擇投降，為什麼會這樣呢？我們無法知道李陵的真實想法。多年後，他曾向摯友蘇武透露過，投降的初衷，是想效法春秋時代的英雄曹沫，劫持匈奴單於返回漢地。不過計劃趕不上變化，人算不如天算，最後發生種種悲劇，使他永遠留在匈奴。臨降前，李陵說了一句話：“無顏麵以報陛下。”