遷到茂陵後，司馬遷家離京師很近，近水樓台先得月，司馬遷可以通過父親的關係，結識許多名人和學者，並接受他們的指導，其中包括當時的大儒孔安國和董仲舒，司馬遷有幸拜他倆為師。孔安國和董仲舒是兩個頗具特色而又十分典型的人物，兩相對照，各領風騷。今天沒有保存下來他們的畫像，但後人揣摩，他倆在長相上可能不同，孔安國細瘦修長，微微駝背，密髭短須，神色嚴肅，終日鎖眉，不苟言笑；董仲舒不過五尺，身單力薄，但身材緊湊協調，顯得精明強悍，須髯飄飄，麵色慈祥，風度瀟灑。其次，在性格上他倆也可能各異：孔安國沉穩斯文，山嶽一樣，清池一般；董仲舒活潑開朗，像一團火，似一江水。第三，在教授方法上他倆也可能有不同的方法：孔安國隻作指導點撥，解惑答疑，很少講解。董仲舒擅長講解，口若懸河，滔滔不絕，感情投入，眉飛色舞，慷慨激昂。
孔安國是孔子的十二世孫，是個古文經學大師。漢朝初年，發生了一件文化史上的大事，被封為魯恭王的新貴族劉餘在魯地曲阜大興土木，拆除孔子的舊宅，為自己修建宮室，無意中在舊宅牆壁中發現了《古文尚書》《論語》《孝經》等典籍，這些書全部用蝌蚪文字（大篆）寫成，周圍無人能認識，於是將孔子的嫡係子孫孔安國請來，要他解讀這些書的內容。從此以後，研究這批新發現的古文經典，成了一門獨立的學問，習慣稱為古文經學，而孔安國理所當然地成為這門學問的宗師。
當時還有一門研究用今文（隸書）書寫的《尚書》的學問，被稱為今文經學。今文經學和古文經學，這兩種相對應的學問研究的主要內容都是《尚書》，隻是所研究的文本不同。今文經學研究的《尚書》的文本不是出自孔子舊宅，而是由一個秦代的博士伏生口授、晁錯用今文隸書記錄的，這個文本被稱作《今文尚書》。
《今文尚書》的出爐詳細經過是這樣的：秦始皇焚書坑儒時，把《尚書》列為禁書，博士伏生把《尚書》藏在牆壁內，便逃亡在外。漢朝立國以後，伏生返回故居，從牆壁裏尋找《尚書》，僅剩下二十九篇。文帝尋求研究《尚書》的儒士，隻找到伏生一個人。當時伏生已經九十多歲了，無法出門遠行，文帝就詔令太常，派掌故晁錯登門拜伏生為師，學習《尚書》。晁錯可能沒有看過伏生收藏的殘存的尚書竹簡，即使看了也不認識，隻是將伏生口授的內容筆記下來。伏生的口音很重，口齒又不清，隻能讓女兒向晁錯轉譯，這樣的記錄自然有錯。況且隻有二十九篇，僅就內容的豐富而言，《古文尚書》就比《今文尚書》多十六篇。
當時孔安國官任侍中，可以經常進入皇宮，從而和太史令司馬談會麵。而孔安國的堂哥孔臧任太常，太常管理太史令，是司馬談的上司。孔家和司馬家一定非常熟悉，常常來往。孔安國府中可能還珍藏著《古文尚書》的原本，司馬遷也因此得以從孔安國那裏見到這個原本，這是極珍貴的原始資料，對司馬遷日後編寫《史記》有重大作用。
司馬遷是什麼時候師事孔安國的呢？可能從他家遷到茂陵後，他就開始向孔安國學習了，但係統地學習古文經學可能是他二十歲壯遊歸來京師以後，應在元朔末年至元狩末年，當時司馬遷的年齡在二十二三歲至二十七八歲之間。
西漢的經學既然分為古文經學和今文經學兩派，那麼兩派之間的爭論就是不可避免的了。爭論的焦點是對《尚書》各有各的解說。古文經學家的治學特點是：解釋較簡單明了，不隨便增加臆說，學術修養較高深，但政治方麵較保守，不在意改革。今文經學家主張改革，對《尚書》《春秋》等書任意解釋，以符合當前的需要，甚至解釋一個字也要用數萬言，十分煩瑣複雜，由於這種治學方法迎合統治者，所以今文經學在漢朝占上風。但東漢以後，隨著漢朝的衰落，今文經學也衰落了，古文經學複起，最後成為正統。