傑斐遜78歲的時候，他不小心從破損的台階上摔了下來，左手腕和左手臂都斷了，等到骨頭長好之後，手腕一直是腫脹著的。
雖然在蒙特沙羅安裝了富蘭克林式的爐子，比普通的壁爐溫暖得多，但是傑斐遜到了冬天還是很怕冷。後來，傑斐遜患了前列腺肥大症（男性特有的腺體的良性腫瘤），再加上他雙腿腫脹，走起路來都十分困難。剛走一小段的距離，他就會感到格外痛苦。
1824年12月，有個老朋友過來拜訪傑斐遜，發現他在82歲這麼大的年紀之時，還每天騎馬鍛煉身體。有一次，傑斐遜的馬失足跌到了急流中，他那已經殘廢了的手腕又剛好套在韁繩中，這下差點把他淹死。傑斐遜很害怕老去，他認為一個人老了，就算仍然身體硬朗，但是神誌已經開始不清，記憶也逐漸喪失，活著沒有什麼意思。
1824年，很長時間沒有聯係的老朋友拉法耶特從法國過來拜訪傑斐遜。與他一起來的人當中，有個蘇格蘭的女子叫弗朗西斯·賴特。她的思想十分激進，而且十分厭惡種族歧視。當從蒙特沙羅回去不久，她就寫信給傑斐遜，主張建造黑白人混合的學校和小區，並且普及教育，請求傑斐遜給予她聲援。傑斐遜回信說，他已經年紀大了，對於政事已經不想過多過問了，但是傑斐遜認為她的想法很好，一定會得到人們的幫助的。結果弗朗西斯真的在田納西州建立了一所黑白人混合小區，而這是美國第一個種族混合的小區。
拉法耶特返回法國之後，傑斐遜的債務情況更為嚴重，債主們總是不停地催促，萬般無奈之下傑斐遜隻有讓孫子取得弗吉尼亞議會的同意，用賣彩票的形式出售所有的土地，打算借此能夠暫時籌錢應付那些債主，同時還打算留下錢給女兒瑪莎和她幼小的子女當教育費用。雖然倫道夫很努力，彩票卻幾乎賣不出去，這讓傑斐遜十分愁悶。不過後來傑斐遜的這種狀況傳到了北方的其他州裏，有人打算對傑斐遜的土地進行私人購買，因此彩票的計劃就中斷了。傑斐遜在他生命中的最後兩個月裏還是比較輕鬆快樂的，因為他的蒙特沙羅得以保全了。
這個時候的傑斐遜，病症總是不斷地纏繞著他。很久之前，傑斐遜就從來不信任醫生，但是他現在實在疼得痛不欲生了，隻好勉強去費城找一個醫生去看病。這個醫生在檢查完傑斐遜的症狀之後，用塑膠的導尿管給他導尿，這才讓他覺得舒服了很多。
在傑斐遜生命的最後幾個月當中，他每天晚上必須服用一些鴉片才能忍住疼痛入睡。讓人吃驚的是他的頑強意誌，盡管他的病情十分嚴重，但是依然繼續騎馬從不停歇。
因為仍然存在著債務的關係，賣田賣地的那些錢還債還是還不起，所以之前想要釋放所有黑奴的計劃也不能實施了，隻是，有些奴隸是必須要釋放的。最後，傑斐遜挑選了五個全是赫明斯家的人，將他們釋放了，隻是傑斐遜還是沒有釋放薩莉。
不過，最讓人稱奇的是傑斐遜竟然能夠“控製”自己死亡的時間！事實是這樣的，約翰·亞當斯和傑斐遜兩個人約定好了等過了《獨立宣言》簽署50周年之後再死，結果兩人真的都做到了。
1826年7月3日晚上，傑斐遜忍著最後一點生氣抬頭問自己的孫女婿說：“今天是4號嗎？”因為過了4號，就是獨立宣言的50周年了。到了晚上12點的時候，家人都害怕他隨時都會去世，傑斐遜就再也見不到他想看到的4號了，就請他服藥。但是傑斐遜憑著自己頑強的意誌，不再服藥，直到堅持到了4號，傑斐遜才安靜地離開了人世。
傑斐遜的去世，立刻讓蒙特沙羅陷入了慌亂之中。女兒瑪莎悲痛欲絕，帶著她的兒女抵達波士頓吊唁，並且在那裏住了一陣子。過了不久，蒙特沙羅就被出售了，許多奴隸也都不得不被拍賣了。
而蒙特沙羅這個地方，因為偉人的去世，也逐漸衰敗下來。後來，弗吉尼亞人在《獨立宣言》簽署150周年與傑斐遜逝世100周年的紀念日上買下了蒙特沙羅，作為國家的聖地。