司馬遷是我國曆史上偉大的文學家和史學家，多數史書關於司馬遷的記載皆止於《史記》的撰寫，而對於司馬遷的卒年和死因這個問題，由於缺少史料，始終是懸在人們心頭的一個謎。
關於司馬遷死的具體時間，有人認為這是司馬遷壽終正寢的證明，也有人認為這正好說明司馬遷死得不明不白，值得探究。《史記·集解》引東漢學者衛宏《漢舊儀注》雲：“司馬遷作景帝本紀，極言其短，及武帝過，武帝怒而削去之。後坐舉李陵，李陵降匈奴，故下蠶室。有怨言，下獄死。”葛洪《西京雜記》也有與此類似的記載。有人據此推斷司馬遷是因作《報任安書》而死的，且死在作《報任安書》那年（據王國維考證，《報任安書》作於太初四年）。郭沫若認為司馬遷下獄的事必定在當時有很多入知道，故衛宏、葛洪將它寫下來。衛宏和葛洪都是當時著名的大學問家，不會無中生有，捏造事實。在《漢書·司馬遷》“讚”中，班固歎息“以遷之博物洽聞而不能以知自全”，悲其“既陷極刪”（指腐刑）之後，又不“能自保其身”，這說明司馬遷的死很不正常。
有的學者對此則提出異議。考察目前存在的有關司馬遷行事的記載，共有四條，其中，至少有兩條不符合史實，因此衛宏說司馬遷“下獄死”這件事，因證據不足，不可全信。古書有“身體發膚，受之父母，不敢毀傷，孝之始也”。《漢書》中司馬遷“既陷極刑”，不“能自保其身”也許就是這個意思。
還有一些認為司馬遷可能死於漢武帝晚年的“巫蠱之獄”。巫蠱案發生在征和元年，當時江充任治巫蠱使者，他與衛太子有怨，恐武帝晏駕後太子對自己不利，因此想借機除掉太子。太子殺江充後自殺，武帝窮治巫蠱之獄，轉而窮治太子死之獄，一直到征和四年，前後死者達十幾萬，任安也是“巫蠱之獄”的殉難者之一。這場災難，牽連到當時許多文武官員，司馬遷恐怕也難以幸免。從《史記》記事內容可以發現，太初四年至征和二年還有記事，征和一年後就沒有記事，司馬遷很可能是《漢書》所說的“巫蠱之禍，流及士大夫”的犧牲者。
還有人認為司馬遷死於武帝之後，《史記》各篇裏有漢世宗的諡號“武帝”。西漢學者褚少陽曾說過“太史公記事，盡於孝武之事”。“武帝”是漢世宗劉徹死後後人所追加的諡號，如司馬遷比武帝先死，怎麼會知道這諡號呢？有人考證司馬遷《報任安書》作於征和二年十一月，在武帝駕崩前4年，從《報任安書》的內容可以知道當時《史記》並未全部完成，以後還有補輯，故涉及到武帝的地方，改稱諡號，也就不足為奇了。
總而言之，司馬遷到底是“有怨言，下獄死”或因“巫蠱之獄”而死，還是平安地活到武帝之後，壽終正寢，目前還沒有充分的證據來進行確定，有待於今後新史料的發現和人們的進一步考證。