司馬遷擔任太史令後，在改曆工作中所表現出的忠誠和才幹，博得了漢武帝的賞識和信任。事業上的成功使司馬遷的心情十分舒展，他有更充沛的精力去考慮將父親的遺命變為現實。他認為應該像父親說得那樣，繼孔子之後，在曆史著述上作一番努力，於是，他決心承擔起這個艱巨而又神聖的使命。
經過多年的苦心準備，漢武帝太初元年（公元前104年），司馬遷決心將他們父子幾代人的理想變為現實。他提起如椽大筆，開始了他那鴻篇巨製《史記》的寫作。
正當司馬遷雄心勃勃，準備建造他那文化史上最輝煌的大廈時，一場巨大的災難將他推進了深淵。
這場災難的導火線是李陵一案。李陵是名將李廣的孫子，精於騎射，有祖父李廣遺風，謙虛下士，為人守信，不貪財，有口皆碑。天漢二年（公元前99年）初秋時節，李陵接到漢武帝詔令率兵，北擊匈奴。最初，李陵所部長驅直入，進展相當順利，便派部將回報。漢武帝接報後十分高興，朝中諸大臣無不舉杯祝賀。豈料，就在這時，李陵部下，有個名叫管敢的人投降了匈奴，將李陵沒有援軍、射矢將盡的機密告訴了單於。單於得到這一情報後親自率領重兵，將李陵軍逼入狹穀團團包圍。匈奴騎兵從三萬增加到八萬，數十倍於漢軍，大有一舉殲滅漢軍的氣勢。陷入敵軍重圍中的李陵軍英勇奮戰，且戰且退。但終因寡不敵眾，矢盡糧絕，五千壯士死傷殆盡，李陵也成了匈奴的戰俘並最後投降了匈奴。
漢武帝聽說李陵做了俘虜且投降了匈奴，大為氣惱。於是便召集朝臣商議處置的方案。趨炎赴勢的大臣們將兵敗匈奴的全部責任和氣憤全傾注到李陵一人身上。有的甚至火上加油地說李陵辜負天恩，剛愎自用，喪師辱國，罪在不赦，其家屬也應連坐等，極力慫恿漢武帝重重治罪。
司馬遷以自己對漢武帝的“拳拳之忠”，以及坦率、耿直的性格，力排眾議，大膽地為李陵辯護。
司馬遷認為李陵能自守節操、講究信用，率兵遠擊匈奴，寡不敵重，投降也是情非得已，但不應該把所有的罪責推在他一人身上，也不應對他責罰太重。
司馬遷也發泄了他對那些“全軀保妻子之臣”、那些昧著良心、見風使舵的媚臣們的強烈不滿，希望皇上能夠公平對待李陵。
然而，在漢武帝看來，司馬遷為李陵開脫，無非是有意給他難堪。盛怒之下，全不顧及司馬遷多年侍從盡忠職守，將他打入監獄。在獄中，審訊司馬遷的，就是後來被他稱作“酷吏”的那些人。這班人殘忍狠毒，司馬遷在他們手中遭到了殘酷的折磨和非人的待遇，但一時也沒有定罪。天漢三年，漢武帝誤聽傳言，說李陵很受匈奴器重，單於已將女兒嫁給他做妻子，他正在為匈奴練兵。遂下令把李陵的全家抄斬了，連他無辜的老母也上了法場。司馬遷因此受到株連，被捉上誣罔“主上”的罪名，定了死罪。
按照漢代的法律，凡被判處死罪的人犯，若要求生，有兩條途徑可走。一是用錢贖罪，另一條是甘受宮刑。而司馬遷此時身無分文，世態炎涼，司馬遷也得不到親友的支持。所謂宮刑，也稱腐刑，是閹割生殖器的殘酷肉刑，是對人格最野蠻的侮辱。
作為士大夫的司馬遷，理所當然地非常重視作人的尊嚴，著重自己的人格和名節。於是他想到自殺，想到了慷慨赴死。然而，在這個世界上隻有一件事使他欲罷不能，這就是正在寫作中的《史記》，這是他們父子幾代人的理想和心血，他自己也已為之付出了多年的辛勤勞動，怎能忍心讓它半途而廢呢！
是艱難的環境造就了司馬遷堅韌的性格，在麵臨著生與死的抉擇關頭，司馬遷不禁徹夜難眠，思緒萬千。他想，自己的先人並沒有立過赫赫的功勳，自己也不過是一個為流俗所鄙薄的太史令，如果就此死去，是決不能和曆史上那些“死節”的人相比的，那不過“若九牛亡一毛，與螻蟻何異”。對於那些想將自己置於死地的人來說是無所痛惜的；對不明真相的人來說，也許還會產生誤會，以為是“智窮罪極，不能自免”才自尋短見的。人雖不免一死，但“死有重於泰山，或輕於鴻毛”，死的代價有大有小，如果這樣平白無故地死去，是很不值得的。