中國人用文字記載曆史由來已久，據說孔子就曾經整理過一部記載魯國曆史的書《春秋》。但是，真正有理論指導、有計劃地安排、並想要達到預想目的來撰寫的史書，則是從漢朝司馬遷寫的《史記》才開始的，所以人們尊稱司馬遷為“中國史學之父”。
司馬遷是龍門（今陝西省韓城市）人。他的父親司司馬遷談在朝廷任太史令的官職，就是專門負責記載曆史的史官。西漢初年，史官的政治地位還比較高。司馬談希望兒子能繼承他的事業，將來也能做個史官，所以對司馬遷從小就進行十分嚴格的教育。司馬遷10歲的時候，父親就督促他誦讀《尚書》、《春秋》、《左傳》、《國語》等古代流傳下來的曆史書，讓他在曆史和文學兩個方麵打下堅實的基礎。
司馬遷讀書遇到疑難問題時，總要反複思考或請教父親，尋根究底地把問題弄清楚。他也喜歡尋訪名勝古跡，親眼看看那些曾經發生過曆史上重大事件的地方。從20歲那年起，司馬遷到全國各地去遊曆。他到過會稽山今浙江省紹興市廣考察了據說夏禹曾在那裏召開過各部落酋長大會的地方。他到過湖南的九嶷山和汨羅江，憑吊了屈原投江的遺址。他到過齊國的都城臨淄和魯國的都城曲阜，參觀了當年孔子、孟子講學的地方。別人告訴他或他自己在古書上見到的各地方有古跡，司馬遷就不管路程多遠，也要長途跋涉，親臨其境，去看個明白。司馬遷不光自己看，並且還要向當地的老年人仔細打聽那裏以往的情況。聽說戰國時代秦國的蜀郡太守李冰修築了都江堰，能防洪和灌溉，使四川變成了天府之國，司馬-遷就不顧路途艱險，特地趕到四川，爬上岷山眺望，跑到都江堰的離堆上去踏勘，並親手在水中試試水流湍急的程度。聽說秦均皐滅亡魏國的時候，曾經引黃河水去淹魏封都城大梁，司馬遷就風塵仆地跑到大梁，訊問老年人當年水有多璩，淹死了多少人，親自去觀察城牆上當年被水淹過的痕跡。對曆史上的名人，凡是有畫像留存下來的，他都要拿來親眼看一看。經過這次長時間在全國各地的遊曆考察，司馬遷開闊了眼界，增長了知識，鍛煉了觀察事物的能力，積累了大量原始資料，為寫作史書打下了堅實的基礎。
司馬遷36歲那年，父親司馬談因病去世。司馬談生前正在動手編纂一部曆史書，剛剛搜集了一些資料，寫了幾篇，還沒有寫完。他臨死時，拉著兒子的手再三囑咐說：“漢朝興起以後，海內又統一了，上有聖明的君主，下有眾多的忠臣義士，他們的事跡很豐富感人。我們做太史令的，如果不能把他們的業績記載下來，就算失職。我死以後，你一定要繼承我的事業，把書寫完”。司馬遷流著眼淚，連連點頭，表示一定遵照父親的囑咐，去完成父親的未完成的事業。
過了兩年，司馬遷接替父親做了太史令，開始繼續編纂父沒有編完的曆史書。這時候，他有機會接觸政府的各種文書檔案，還能到皇家圖書館裏去查閱許多珍貴的書籍，這樣就更加豐富了自己的知識，獲得了更多的曆史資料。
可是，正當編纂史書的工作在順利地進行，一樁意外的不幸事件降臨到了司馬遷的頭上，在他48歲那年，他的老朋友李陵去征討匈奴時被俘了。李陵是在孤軍深人、糧盡援絕的情況下被俘的，這本是戰爭中時常會發生的事情。李陵被俘後，有人傳說他投降了匈奴。漢武帝一生氣，把他的全家老小都殺了。李陵聽到這個消息，於悲憤之中真的投降了匈奴。這件事在朝廷上沸沸揚揚地一傳開，有人罵李陵沒有骨氣，也有人說李陵本不會投降，是因為漢武帝操之過急，才逼得他投降了。許多人隻是在背後議論議論，不敢在大庭廣眾之間公開地說。司馬澤自認為跟李陵認識多年，對李陵比較了解，就當著漢武帝的麵替李陵辯解了幾句。這一下可不得了，觸犯了漢武帝，他被下令處以死刑，幸虧那時候有花錢贖罪改死刑為腐刑的辦法，所以最後他被處以腐刑。