不久，朝中傳聞李陵帶著匈奴兵侵犯漢朝邊境，武帝大怒，對著滿朝文武說：“事實就在眼前，那李陵果然負我，誰還為李陵辯解？”遂下令殺了李陵的家人，司馬遷也被判了死刑。傳刑官來到獄中，問司馬遷：“你還有什麼後事要交代？”這一段時間以來，司馬遷雖然想過隨時會死，但是，當死亡突然來臨時，他還是震撼不已。倒不是司馬遷是個怕死的人，因為他突然想起了父親病危時說的話，以及父親深望著他的眼神。“我不能死？不能。”司馬遷喃喃地說。傳刑官說：“你不想死？那麼，你隻有選擇免死的方式了。”在漢朝當時，是可以選擇免死的，但是，一個條件是用重金贖罪，一個條件是接受腐刑。司馬遷一身清貧，自然拿不出錢來。他沉默了半晌，咬咬牙，說：“好，我願接受腐刑。”腐刑是一種極其殘酷的刑法，很多人寧可選擇去死，也不甘受其辱。但是，司馬遷知道自己不能死，他要完成父親的願望，繼續編著史書。於是，他接受了腐刑，忍辱負重地活了下來。
從此，司馬遷忍受著來自身心的巨大痛苦，發憤著書，到公元前93年，一部五十幾萬字的史書，基本完成，又兩年修改完畢。這部書上自皇帝，下至武帝，含十二“本紀”，三十“世家”，七十“列傳”，十“表”，八“書”計五大部分，共一百三十篇，成為中國第一部紀傳體通史。
魯迅先生曾在《漢文學史綱要》一書中稱《史記》是：“史家之絕唱，無韻之離騷”。可見，就中國史學的發展而言，《史記》的貢獻無疑是巨大的。