對於李陵的不聽話，劉徹有點不高興。“你是不願意當貳師將軍的屬下吧！我可沒有多餘的騎兵給你。”
李陵說：“我不需要騎兵，願意以少擊眾，就用我的步兵五千人直攻單於庭。”
這下劉徹有點意外，反倒對李陵刮目相看，不但批準他的請求，而且派老將軍路博德做李陵的後衛，半路接應李陵。但路博德作為老資格的將領，不願意給一個毛頭小子當後衛，上奏章說：“現在正是秋天，匈奴兵強馬壯，不是攻打的好時候。不如等到春天再合兵出擊。”
劉徹誤會是李陵害怕了，故意叫路博德幫忙說情，延遲出兵。命令李陵九月份就出發，不得遲疑。於是李陵帶領部下步兵五千人，從名城居延（今內蒙古西部）出發，向北方走了30天，到了一座山，叫東浚稽山（今蒙古國圖音河南），這裏已經是匈奴腹地，李陵派了部下一名軍官叫陳步樂的，回去向朝廷報告自己的行軍路線。
陳步樂到達長安後，得到了皇帝的接見。皇帝聽了軍情報告，心情不錯，任命陳步樂為郎官，但不久便從邊境傳來了李陵戰敗浚稽山的消息。
確切的消息是從四百餘名李陵部下帶回來的。他們是戰事的幸存者，經曆苦戰，躲避追殺，終於逃到漢朝領土。
原來，李陵到浚稽山之後，便遇上了匈奴單於親自率領的近衛部隊，大概三萬騎兵包圍了李陵的五千步兵。李陵見情勢危急，把軍隊部署在兩山間，用車首尾連接成大營（作者注：大家看過美國西部片沒有，其中美國人遇到印第安人騎兵襲擊，也是這樣連車成營）。李陵自己帶領部分士兵在營外列陣，前排的士兵手持戟盾掩護，後排的士兵持弓弩射擊（作者再注：西方如英國的長弓手戰術以及初期火槍手的戰術也是如此。），發布軍令說：“聽到鼓聲就進攻，聽到鳴金就停止。”
匈奴發現漢軍人數很少，漫山遍野地展開騎兵衝鋒。李陵指揮漢軍千弩俱發，匈奴應弦而倒。匈奴騎兵潰敗，逃到山上，被漢軍追殺數千人。匈奴單於知道遇到了強敵，於是調動左右翼部隊八萬餘騎圍攻李陵軍團。李陵軍團一邊打，一邊向南方撤退。幾天後，李陵軍團退到山穀中。李陵下令，士卒中箭負傷有三處及其以上的，坐在車上作戰，中箭負傷有兩處的，駕駛車輛作戰，中箭負傷有一處和沒有受傷的，拿著武器步行作戰。
第二天，再和匈奴交戰，殺死三千餘名匈奴人。向東南方向撤退，又走了四五天，到了一片沼澤地，匈奴人在上風向放火燒蘆葦蕩，李陵下令部下也放火迷惑敵人。再向南走，到了一座山下，匈奴單於把指揮部設立在山上，派兒子帶領騎兵衝擊漢軍。李陵把軍隊部署在樹林中，運用複雜的地形射殺匈奴數千人，乘勢攻擊匈奴單於的指揮部，單於逃走。
這次，李陵抓到了一個匈奴軍官，匈奴軍官告訴李陵：“單於說你們這支軍隊是漢朝的精銳，我們匈奴日夜圍攻你們，也沒有消滅你們。現在離漢朝邊境越來越近，難道前麵有埋伏嗎？不如撤退算了。部落首領們一致反對，說單於你堂堂一國之首，統帥數萬騎兵追擊漢朝數千步兵卻不能消滅，傳出去不但漢朝輕視，連那些屬國都要恥笑我們匈奴了。所以單於決定繼續追擊四五十裏，等到了平原，還是消滅不了你們，再行撤軍。”
但這個時候，李陵軍團已經到了最後一戰的境地，匈奴人不斷攻擊，一天要打幾十次戰鬥，李陵鼓舞士兵，拚死抵抗，又殺死殺傷二千餘人。匈奴單於終於支撐不住，打算撤退。李陵軍團內部卻出了叛徒。叛徒逃到匈奴軍營，報告說：“李陵軍團外無援兵，內無糧草，箭已經快用完了，死傷過半，領兵的將領是李陵和成安侯韓延年，隻要匈奴加強攻勢，漢軍必敗！”
於是匈奴單於的鬥誌再次燃燒，集結所有兵力，大舉圍攻漢軍。匈奴人大喊：“李陵、韓延年快投降！”李陵軍團向南方突圍，戰鬥相當激烈，史書記載：漢軍南行，未至鞮汗山，一日五十萬矢皆盡。李陵下令放棄車輛，把車輪砍下來當盾牌，清點人數，還有三千餘人，退入峽穀地區。匈奴軍隊居高臨下，飛矢落石，李陵意識到已無扭轉的可能，情緒激動，獨自一個人出營，左右想跟隨保護，他大聲說：“不要跟著我，我要去單挑單於！”
單於當然不會給他這個機會。李陵無功而返。回到軍營，參謀對他說：“將軍你這一仗已經威震匈奴，隻不過差一點運氣。當年浞野侯趙破奴曾經被匈奴俘虜，後來逃回來，朝廷也善待他，何況將軍您呢？”李陵雖然拒絕了參謀的建議，但是這段話顯然對他後來的選擇起了很大的影響。