司馬遷出生在黃河岸邊的龍門。他從小看著波濤滾滾的黃河從龍門下呼嘯而去，聽著父老鄉親們講述古代英雄的故事，心裏十分激動。父親司馬談是漢朝專門掌管修史的官員，立誌要編寫一部史書，記載從黃帝到漢武帝這兩千六百年間的曆史。受父親的影響，司馬遷努力讀書，大大充實了自己的曆史知識。
為了搜集史料，開闊眼界，司馬遷從二十歲開始，就遊曆祖國各地。他到過浙江會稽，看了傳說中大禹召集部落首領開會的地方；他到過長沙，在汨羅江邊憑吊愛國詩人屈原；他到過曲阜，考察孔子講學的遺址；他到過漢高祖的故鄉，聽取沛縣父老講述劉邦起兵的情況……這種遊覽和考察，使司馬遷獲得了大量的知識，又從民間語言中汲取了豐富的養料，給司馬遷的寫作打下了重要的基礎。
以後，司馬遷當了漢武帝的侍從官，又跟隨皇帝巡行各地，還奉命到巴、蜀、昆明一帶視察。
父親司馬談臨終之時，淚流滿麵地拉著兒子的手說：“我死之後，你千萬不要忘記我平生想要完成的史書哇！”司馬遷牢記父親的囑托，每天忙著研讀曆史文獻，整理父親留下來的史料和自己早年走遍全國搜集來的資料。
正當他專心致誌寫作《史記》的時候，一場飛來橫禍突然降臨到他的頭上。原來，司馬遷為了替李陵辯護得罪武帝，下了監獄，受了刑。司馬遷悲憤交加，幾次想血濺牆頭，了此殘生。但想到《史記》還沒有完成，便打消了這個念頭。他想：“人總是要死的，有的重於泰山，有的輕於鴻毛。我如果就這樣死了，不是比鴻毛還輕嗎？我一定要活下去！我一定要寫完這部史書！”他又想：“從前周文王被關在羑裏，寫了一部《周易》；孔子周遊列國的路上被困在陳蔡，後來編了一部《春秋》；屈原遭到放逐，寫了《離騷》；左丘明眼睛瞎了，寫了《國語》；孫臏被剜掉膝蓋骨，寫了《兵法》。還有《詩經》三百篇，大都是古人在心情憂憤的情況下寫的。這些著名的著作，都是作者心裏有鬱悶，或者理想行不通的時候才寫出來的。我為什麼不利用這個時候把這部史書寫好呢？”想到這裏，他盡力克製自己，把個人的恥辱、痛苦全都埋在心底，重又攤開光潔平滑的竹簡，在上麵寫下了一行行工整的隸字。
就這樣，司馬遷發奮寫作，用了整整十八年時間，在他六十歲時，終於完成了一部五十二萬字的輝煌巨著——《史記》。這部前無古人的著作，幾乎耗盡了他畢生的心血，是他用生命寫成的。
司馬遷出了監獄以後，擔任中書令。後來，終於鬱鬱不樂地死去。但他和他的著作《史記》在我國的史學史、文學史上都享有很高的地位。