李陵敗降的消息傳到漢朝宮廷，不久以前還誇李陵多麼多麼厲害的大臣們，見到戰事突變，立刻換了張嘴臉來咒罵李陵，說李陵本來就不是個好東西，李陵本來就不是個好人。
惟有司馬遷在思考，他想，李陵隻不過帶了五千步兵，就敢深入漢匈多次作戰的戎馬之地，足踏匈奴王庭之所在，所冒的危險好比把自己當誘餌送入虎口，但他遇到強敵，仍不退縮，敢於向其挑戰，和多他好幾倍的大軍連戰十幾天，殺敵的數目遠超過他本身的能力範圍。匈奴被他殺得連救護傷亡也來不及，以致舉全國之力來圍攻李陵，李陵轉戰千裏，戰到箭已射完，路也不通了，可是救兵還是沒來。從這點來看，李陵並沒有辜負漢家，而是漢家辜負了李陵。
再者，司馬遷平時觀察李陵的為人，就知道他事親至孝，與人交往講究信實，遇財物時在取舍之間都合乎正義，對人有禮貌而且恭儉謙讓。常想奮不顧身，以赴皇家之急，與匈奴單於較量是他平日就有的抱負。真沒想到他這個英雄，卻落到兵敗被俘的下場。司馬遷認為，這種悲劇應該由漢家負責任。
司馬遷那顆赤熱的心腸，實在按捺不住想為李陵說幾句公平話。可是太史令官職不高，滿朝文武中，哪有他發言的餘地？終於機會來了，有一天，漢武帝召集群臣，討論李陵的罪狀。但朝臣們麵麵相覷，誰也不敢先開口。於是，武帝用點名的方法要臣僚開口，他首先問丞相公孫賀說：“葛繹侯，說說你的意見吧！”這公孫賀的夫人是武帝衛皇後的姐姐，有這重關係，他做將軍雖無大功，卻兩次封侯，並由太仆而升任丞相。此刻武帝問到他，他支支吾吾地說道：“主上聖明，主上認為該判何罪是絕不會錯的……”武帝早料到這個屍位素餐的俗吏講不出什麼意見，便把目光轉向執金吾杜周。杜周是個出名的酷吏，善於揣摩武帝的心思。此刻他見武帝看他，便立即俯伏奏道：“臣以為李陵辜負天恩，剛愎自用，喪師辱國，不能赦罪，其家屬也應當連坐。”這幾句話正是武帝願聽的。
這兩個帶了頭，其他公卿大臣們，像大鴻臚商丘成、光祿勳韓說等官僚，也就依樣畫葫蘆，都說李陵應重重治罪。本來司馬遷是用不著說話的，但武帝既欣賞其文才，又擔心這位史臣將來如何落筆，故而特地問到了他。司馬遷眼見這批官僚，前兩天還盛讚李陵，今天又痛罵李陵，不給他留條退路，早就憤憤不平了。現在武帝主動地問他的意見，他逮住機會，決定為李陵說幾句好話，也算是仗義執言，說道：“李陵隻率領五千步兵，深入匈奴，孤軍奮戰，殺死的敵人數量比自己的軍隊人數還多。在救兵遲遲不到，弓矢都用完了，糧食也沒有了的情況下，仍然奮勇殺敵。就是古代名將也不過如此。李陵自己雖然陷於失敗之中，而他殺傷的匈奴之多，立下的赫赫功勞，也足以顯赫天下了。他之所以不死，而是投降了匈奴，一定是想尋找適當的機會再報答漢室。”
待司馬遷說完，群臣噤若寒蟬，隻見漢武帝龍顏大怒，斥道：“你的語言含譏帶諷，似乎在暗示大將李廣利沒有盡到責任，是嗎？李陵叛國投敵，罪不容饒，你和李陵是什麼關係，竟要袒護他？”皇上將司馬遷的話無限上綱上線，和李廣利聯係起來，就麻煩了。要知道李廣利可是漢武帝當時最寵愛的女人的哥哥，豈能容得外人說他的壞話，即使暗示他無能也不行，攻擊李廣利就是攻擊皇上。因此，司馬遷一通大實話，反而給自己帶來牢獄之災。漢武帝當即以攻擊汙蔑咒罵皇上為罪名，將司馬遷打入大牢。
這次對匈奴的戰爭，皇上的計劃是以李廣利為主力，李陵的任務不過是戰略上幫他牽製匈奴兵力的助攻而已。但是仗打下來的結果，李廣利領軍從酒泉出發，和匈奴右賢王在天山（在今新疆吐魯番或哈密一帶）大戰，據說斬虜萬餘級，成績雖有，可是回來的路上卻被匈奴包圍，好幾天斷糧斷水，死傷甚多，後來還是靠英勇善戰的趙充國帶領百餘人組成的敢死隊英勇突圍，李廣利才率領大軍跟著逃出來，不致於全軍覆滅，而當初以三萬騎出戰，回來時已損失了三分之二，總而言之，無戰績可言。
反觀李陵，深入敵境，與且鞮侯單於相遇，以區區五千步兵，斬敵無數，幾乎牽動匈奴全國，戰果顯然在李廣利之上。
但武帝在軍隊配備及有關的部署方麵，始終是厚此薄彼，即偏重李廣利，而輕視李陵的。這是武帝絕不容許任何人觸碰的“隱痛”，也是他心虛的地方，可是正義的司馬遷，偏偏去碰了它，無意間去“刺傷”了它。本來，司馬遷準備好充分的說詞，想把事實的可能真相說清楚，同時用規勸的言辭排解武帝心中的鬱悶，誰知他剛一開口表示同情李陵，並推崇其戰果，就使“心虛”的武帝為之震怒。
武帝憤怒地認為他是以稱頌李陵來諷刺李廣利，所以不讓他繼續陳述意見就交付獄官審理。
司馬遷下獄是天漢三年（公元前98年）的事情，而李陵敗降匈奴是在前一年的冬天。