司馬遷的另一個老師董仲舒，是廣川縣（今河北棗強縣東）人，乃西漢今文經學的代表人物之一。但董仲舒不怎麼研究《尚書》，他一心撲向《公羊》《春秋》等古籍。從狹義來說，董仲舒隻是“公羊學派”的領袖，但從廣義來說，他的影響改變了整個今文經學。首先，他把陰陽五行作為經學的核心，將春秋戰國以來的百家學說都納入儒學一家，同時主張社會要更新、政治要改革。在他的引領和推動下，今文經學家對經書可以依政治需要而隨意解釋，以適應大漢帝國的政治需要，這麼一來，今文經學就成為了西漢時的官方禦用哲學。
景帝時，董仲舒已被看成是今文經學的代表，被選為博士。漢武帝登基後，於建元元年（公元前140年）革新政治，下令全國選拔賢良之士，優秀者可錄用做官（這項改革措施前已述及），董仲舒再次中選。元光元年（公元前134年），漢武帝親自考察他的學問，他一一答複漢武帝的提問。
他向武帝呈上對策三篇，史家稱其為《天人三策》，他在《三策》中提出自己的哲學體係，即天人合一學說，這種學說的目的是要構建天地萬物歸於一元的統一世界，因而很適合漢朝的大一統政治，為漢武帝所采納。
董仲舒的思想也有進步的成分，如其中的天人感應說，目的是要限製君權。董仲舒也提倡仁政，主張薄賦斂，讓耕者有其田；又提出興學校，讓賢人從政，宣揚行善者得眾。
董仲舒提出的三綱五常倫理學說，即君為臣綱，父為子綱，夫為妻綱，以及“仁、義、禮、智、信”五項經常要遵循的道德準則，對後世影響很大，甚至成了維係兩千年中國封建皇權社會的準繩。
當時，董仲舒的威望很高，被尊為群儒之首。他從公元前140年起就開始做官，曆任江都相、中大夫和膠西相等職。元朔五年（公元前124年），朝廷興立太學，設立公羊春秋學，這是一門專門研究古籍《公羊》《春秋》等的學科，董仲舒的學說成了該學科的典範教義。元狩二年（公元前121年），董仲舒辭掉官職回家，潛心於學問之中。據說三年之內，他強製自己的眼睛不離開書本，連窗外的花園也不偷看一眼，其治學的精誠一貫達到無人可比的程度。
司馬遷出外遊曆之前，就仰慕董仲舒的大名，可能也和這位大儒見過麵，聆聽過他的教誨。元朔三年（公元前126年），司馬遷二十歲時，出外壯遊，按照父親和老師們的指示，采集各地的舊聞軼事，以便寫作曆史。他遊曆歸來時，大約是公元前124年，也就是他二十二歲時。之後不久，就逢上董仲舒居家茂陵的時候，這樣司馬遷就可以正式拜董仲舒為師，常常向其求教了。這段時間，估算起來，正是司馬遷二十五到二十九歲之時（公元前121年—前117年）。
司馬遷主要是向董仲舒學習《春秋》和《公羊傳》兩書。
《春秋》是儒家經典之一，也是我國現存最早的編年體史書，記載了上自魯隱公元年（公元前722年），下至魯哀公十四年（公元前481年）的曆史。其寫作特點是所謂“春秋筆法，微言大義”，但全書隻有一萬七千字，過於簡略。後世學者為了豐富曆史細節，還原曆史真實，對《春秋》這部經典加了許多引申和解釋，稱之為“傳”。到了漢代，為《春秋》作的傳已有五種之多，它們是《左氏傳》三十卷，《公羊傳》《榖梁傳》《夾氏傳》和《鄒氏傳》各十一卷。漢代時，董仲舒是對《春秋》這部經典最精通的一個人，而在解釋這部經典的各種“傳”中，董仲舒最擅長、最精通的是《公羊傳》。