1809年的時候，傑斐遜回到了弗吉尼亞養老。他的親朋好友都希望他馬上開始寫回憶錄，但是他一再婉言拒絕。直到他到77歲的時候才開始寫自傳，隻是，他很不願敘述自己的私生活，總是記載他事業裏的一件件沒有任何味道的事跡，傑斐遜寫了60多頁之後，就覺得談論自己實在是沒什麼用處，直到他把1789年離開巴黎的事情寫完，就把寫回憶錄的事全部都拋棄了。
傑斐遜即使在77歲的時候仍然像27歲時那樣充滿了理想。此時他正積極地準備籌建弗吉尼亞大學，把他那好像永遠用不完的精力都花在這個大學的興建上。
傑斐遜在兩個著名建築家的幫助之下草擬了校內大部分建築的藍圖。傑斐遜同時還計劃好了課程，盡力挑選了課程的教授，其中大部分是來自歐洲的學者。
自從退休以來，傑斐遜就在白楊林的農莊建造了第二個居所，用來躲避那些蒙特沙羅的訪客。為了弗吉尼亞大學，傑斐遜把校園設計成自己認為最嚴肅而讚賞的樣式，後來他還加以修改變化，讓它適合大學的實際需要。
弗吉尼亞大學校內有個圓廳，是他照著羅馬的萬神殿為模型而設計的，用來當圖書館用的，但是傑斐遜本來打算把它用作星象館，讓星星在各自的位置上投影出來，而且可以讓一個人在可移動的座位上操作。雖然學校建成後與傑斐遜之前的設計有些差別，但是大學仍舊是美國文明中最傑出的建築設計之一。
傑斐遜為他的大學所設計的課程，也是美國教育史上的一大成就。大學的課程包括現代和古代語言、純數學、陸海軍的興建、機械學、光學、天文學、氣象學、地理學、解剖學、物理化學、礦物學、哲學、博物學、法學、純文學與美術，隻是沒有宗教方麵的學科，而醫學的研究也隻是限於理論方麵。
這所大學最後在1824年5月正式啟用，共有10個館，109間宿舍房間，學生218人。傑斐遜為自己寫的墓誌銘是這樣的：“獨立宣言與弗吉尼亞宗教自由法的起草人，與弗吉尼亞大學之父。”他這麼寫，是因為這些事跡是他最希望人們懷念的。
傑斐遜在最後幾年的時光中，身體狀況不是很好，經常會焦躁不已。1819年的經濟恐慌，還有連年的農作物歉收，讓他想逃脫出債務困境的希望破滅了。傑斐遜一直期盼第二年會豐收，偏偏遇上意外的天災，結果他的債務越積越多，後來終於破產。盡管這樣，傑斐遜的某些花費還是有增無減，尤其是他在好客這方麵，他出手十分闊氣，不願讓別人覺得他小氣。
傑斐遜對自己的債務總是憂心忡忡，他此時內心特別矛盾，他既害怕別人說他吝嗇，又不情願清償舊欠。他擔任總統的時候，曾經成功地減少了國債，然而為什麼自己的債務卻屢屢增加了呢？傑斐遜的母親在1770年積欠英國銀行的債款，他到了1808年的時候還沒有還清。傑斐遜自己也欠了好朋友威廉·肖特等人的錢，拖了好幾年，如果不是把自己的藏書賣給了國會圖書館，估計也是還不清了。
很多債務是傑斐遜不想還的：一些他認為根本就不欠，還有一些是迫於現實的需要，不得不一直拖欠，另外一些就是他著急要還的。傑斐遜對錢財的這種放任不羈，可能從小就養成了，特別是他的父親，因為他是繼承人，而且是家中天分最高的孩子，不免對他放縱。而且傑斐遜自己也不願做個小氣鬼的父親，不管是在情愛方麵，還是在金錢方麵，所以他經常對家裏的人付出大量的愛和錢。
1818年時，尼古拉斯擔任弗吉尼亞州州長，是裏士滿一家銀行的董事。他有一個達2萬美元的借貸，需要傑斐遜簽名作保，而此時的傑斐遜稀裏糊塗地就把名字簽上了。到1819年經濟開始出現恐慌，弗吉尼亞境內的所有銀行都關門大吉，而尼古拉斯這時也被拖垮了，沒過多久就去世了。悲慘的傑斐遜現在自己要負責這2萬元的貸款了，每年光是利息就要付1200元。無奈之下，傑斐遜把大批的黑奴賣給了外孫弗朗西斯·埃普斯，得到了3500元。但是這些錢跟那2萬元實在是差太多了，這時，他的孫子托馬斯·傑斐遜·倫道夫建議他，讓他來處理傑斐遜所有的財產，傑斐遜就同意了。
自從銀行倒閉之後，許多人都對銀行的設立心懷恨意，於是人們想起傑斐遜之前也是不信任銀行的，就有人希望他的女婿托馬斯·倫道夫競選州長。人們都不知道他的精神有毛病，而且他竟然連續三年都贏得了選舉。在職期間，倫道夫實行的是傑斐遜的共和主義，提倡逐步解放與準許黑奴出境，並且積極修建弗吉尼亞大學。傑斐遜的女兒瑪莎很少跟他住在裏士滿，後來倫道夫就開始酗酒，這樣的舉動讓人們把他看成是個失敗者。而倫道夫離職的時候，他已經欠下三萬多元。倫道夫把自己的財產契約都移交給兒子後，人開始變得更陰沉了，一定要到了晚上才肯去蒙特沙羅，最後他索性不再與嶽父傑斐遜和他的兒子來往。1823年，傑斐遜的女婿約翰·埃普斯過世了。