漢武帝聽了，認為司馬遷這樣是在為李陵辯護，便勃然大怒說：“你這樣替叛徒強辯，是不是存心反對朝廷？”
司馬遷為李陵辯護，觸怒了漢武帝，於是就把他投入了監獄。第二年，司馬遷被處以宮刑。他忍受了各種肉體和精神上的殘酷折磨，麵對酷刑，他始終不屈服，仍然堅持自己意見。宮刑在當時是個奇恥大辱，不僅有汙先人，也會讓親友恥笑。司馬遷在獄中備受淩辱，幾乎斷送了性命。
司馬遷本想一死，但是他想到父親的囑托，又想到了自己多年搜集資料的艱辛，為了實現編史的夙願，他是忍辱負重，苟且偷生，希望出現一線轉機。
後來，漢武帝改元，大赦天下，這時司馬遷已經50歲了。他出獄後當了中書令，在別人看來，他也許是“尊寵任職”。但司馬遷並不在意這些，他開始埋頭專心致誌地寫他的書。他知道自己所剩的時間不多了，於是爭分奪秒地進行撰述。
司馬遷一邊搜集和閱讀大量資料，一邊夜以繼日地進行撰寫、校正。公元前91年，司馬遷終於完成了這部曆史巨著。這部史書起初沒有固定書名，那時人們叫它《太史公書》，或稱《太史公記》，也稱《太史公》。“史記”是古代史書的通稱，因為司馬遷這部書包括了從三皇五帝到漢武帝2000多年的曆史，於是人們就叫它為《史記》。
《史記》是我國第一部紀傳體通史，被人們稱為“信史”。全書共有本紀12篇，表10篇，書8篇，世家30篇，列傳70篇，共130篇。
《史記》是以曆史上帝王等政治中心人物為史書編撰的主線，各種體例分類明確，其中包括“本紀”、“世家”、“列傳”3部分，占全書的大部分篇幅，都是以寫人物為中心來記載曆史的。因此，司馬遷創立了史書新體例的“紀傳體”。
《史記》分類明確，“本紀”是全書的提綱，按年月時間記述帝王的言行政績；“表”用表格來簡列世係、人物和史事；“書”則記述製度發展，涉及禮樂製度、天文兵律、社會經濟、河渠地理等諸方麵內容；“世家”記述子孫世襲的王侯封國史跡和特別重要的人物事跡；“列傳”是除帝王諸侯外其他各方麵代表人物的生平事跡和少數民族的傳記等。
《史記》在“本紀”、“世家”和“列傳”中所寫的一係列曆史人物，不僅表現了司馬遷對曆史的高度概括力和卓越見識，而且通過曆史人物的活動，生動展現了廣闊的社會生活，體現了司馬遷對曆史和現實的批判精神，以及同情廣大人民，為那些被汙辱、被冤枉的人鳴不平的正義行為。因此，《史記》不僅是後來曆史學家學習的典範，而且是後來文學家學習的典範。
《史記》不同於前代史書所采用的以時間為次序的編年體，或以地域為劃分的國別體，而是以人物傳記為中心來反映曆史內容的一種體例，這就是司馬遷開創的紀傳體。
在《史記》中，司馬遷對古代一些著名人物的事跡都做了詳細敘述。他對農民起義領袖陳勝、吳廣給予了高度評價，對廣大人民也表現出同情的態度。他還把古代文獻中過於生澀的文字改寫成當時比較淺近明白的文字，使人物描寫和情節描述更加形象鮮明，語言也更加生動活潑。《史記》不僅內容翔實可靠，並且文字生動優美，人物寫得栩栩如生，所以是一部了不起的文學著作。
《史記》對於繼承我國優秀文化遺產、弘揚民族精神都具有非常積極的意義，是我國文化的經典巨著，是世界文化寶庫中的一顆璀璨明珠。司馬遷的精神不僅感動了後人，他的著作也影響了後人，充分體現了我國偉大的民族精神，因此後人稱之為“史家之絕唱，無韻之離騷”。