為了搜集史料，開闊眼界，司馬遷從20歲開始，就遊曆祖國各地。他到過浙江會稽，看了傳說中大禹召集部落首領開會的地方；到過長沙，在汨羅江邊憑吊愛國詩人屈原；他到過曲阜，考察孔子講學的遺址；他到過漢高祖的故鄉，聽取沛縣父老講述劉邦起兵的情況……這種遊覽和考察，使司馬遷獲得了大量的知識，又從民間語言中汲取了豐富的養料，給司馬遷的寫作打下了重要的基礎。
以後，司馬遷當了漢武帝的侍從官，又跟隨皇帝巡行各地，還奉命到巴蜀、昆明一帶視察。
司馬談死後，司馬遷繼承父親的職務，做了太史令，他閱讀和搜集的史料就更多了。
在他正準備著手寫作的時候，就為了替李陵辯護而得罪了武帝，下了監獄，受了刑。他痛苦地想：這是我自己的過錯呀，現在受了刑，身子毀了，沒有用了。但是他又想到了從前周文王被關在羑裏，寫了一部《周易》；孔子周遊列國的路上被困在陳蔡，後來編了一部《春秋》；屈原遭到放逐，寫了《離騷》；左丘明眼睛瞎了，寫了《國語》；孫臏被剜掉膝蓋骨，寫了《兵法》。還有《詩經》300篇，大都是古人在心情憂憤的情況下寫的。我的《史記》一書剛剛開始，為什麼不能含垢忍辱將它寫完呢？這樣，司馬遷為了完成《史記》這項偉大的“工程”，終於以堅強的隱忍精神活了下來，鼓起勇氣投入到忘我的寫作中去。難堪、恥辱、憤怒，統統凝聚到筆上，他把從傳說中的黃帝時代開始，一直到漢武帝大史2年（公元前95年）為止的這段曆史，編寫成一部52萬字的巨著。
司馬遷在他的《史記》中，對古代一些著名人物的事跡都作了詳細的敘述。他對於農民起義的領袖陳勝、吳廣，給予高度的評價；對被壓迫的下層人物往往表示同情的態度。他還把古代文獻中過於艱深的文字改寫成當時比較淺近的文字。人物描寫和情節描述，形象鮮明，語言生動活潑。因此，《史記》既是一部偉大的曆史著作，又是一部傑出的文學著作。
司馬遷出了監獄以後，擔任中書令。後來，終於鬱鬱不樂地死去。但他和他的著作《史記》在我國的史學史、文學史上都占有很高的地位。
對於普通人來說，在正常的環境中去為遠大理想目標而奮鬥是可以做到的，因為在這個過程中保險係數比較大，沒有大起大落，大喜大悲，雖然不太刺激，倒也平安無事，按部就班，輕鬆愉快。可是當厄運到來時，有人就會頓感萬念俱灰，自暴自棄，悲觀絕望，或者看破紅塵，玩世不恭。司馬遷則不同，他在遭受宮刑時雖痛不欲生，最終還是承受了巨大的心理壓力，忍住常人難忍之辱，終於以頑強的毅力完成了曆史巨著《史記》。
司馬遷不僅謳歌了曆史上的許多人重於泰山的精神，也鞭笞了某些人輕如鴻毛的人生。