傑斐遜在總統的任期之內，遇上了很多人的死亡。卡倫德的死確實讓他長長地舒了一口氣，但是他的一些老朋友，比如塞繆爾·亞當斯、埃德蒙·彭德爾頓等也都相繼去世了。而在傑斐遜競選總統的前幾個月時間，跟他同歲而且一直是如影隨形的服侍著他的老奴也去世了。
1801年裏的一段時間，傑斐遜突然患上了赤痢，他原本以為自己也要死了，就對自己的病守口如瓶，後來他堅持每天騎馬兩小時鍛煉身體，竟然痊愈了。
1804年年間，傑斐遜的二妹瑪麗在1月去世，隨後他的愛女波麗在4月也不幸去世。7月裏，艾倫·伯爾在決鬥場一槍打死了亞曆山大·漢密爾頓。1806年，喬治·威思被心狠手辣的侄孫用砒霜毒死了。1809年，趕往太平洋岸探測而成英雄人物的梅裏韋瑟·劉易斯，在一次自殺事件中也去世了。
1802年，傑斐遜的女兒瑪莎和波麗的丈夫同時都被選入國會，傑斐遜堅持讓他們住進總統府，像對待自己的兒子一樣。傑斐遜對兩個人所表現出來的敬愛也是十分滿意的。傑斐遜以內舉不避親的胸懷，竭盡所能地協助他們兩人發展事業，並以謹小慎微的方式對待兩人，與他們經常討論政治方麵的問題。傑斐遜更喜歡埃普斯多一點，因為他秉性開朗活潑，而鬱鬱寡歡的倫道夫，時不時地要使幾下他的壞點子。
1804年2月15日，波麗生下一名女嬰，也取名叫瑪莎。女兒雖然日益成長，作為母親的自己身體狀況卻每況愈下。當傑斐遜知道她的胸部長了膿瘡並且嘔吐不止的時候，他讓她丈夫一定要從蒙特沙羅帶回一些真醇的陳年雪利酒過去。他催促波麗的丈夫帶她來蒙特沙羅過夏天。奴隸們做了個擔架，非常小心地抬著這個年輕的母親，走了很長的路，爬上了小山頭。4月17日，傑斐遜的愛女波麗去世了，這時她才25歲。
1804年4月4日至5月11日，就在傑斐遜返家探視波麗病情期間，薩莉·赫明斯又懷了另一個孩子，並在1805年1月19日生下了一個兒子。
1804年7月11日，傑斐遜的副總統艾倫·伯爾決定和亞曆山大·漢密爾頓來一場決鬥。伯爾一槍射穿了漢密爾頓的肝髒和脊骨。漢密爾頓在中槍30小時之後死亡，這個消息立刻像炸了鍋般地四處傳開，驚動了全國。很多人都知道，決鬥是違反紐約的法律的，無論是要求或是接受決鬥，都算犯法，可以判處剝奪權利長達20年。更為嘲諷的是，漢密爾頓自己還曾經大力協助通過這項民事法律。漢密爾頓是在自己的事業、家庭都下滑的情況下接受伯爾的挑戰的。兩人是因為漢密爾頓揭發伯爾的瘡疤而起的爭執。這樣伯爾的政治前途，隨著漢密爾頓的死結束了。
1804年選舉總統時，傑斐遜的競選夥伴是喬治·克林頓，這個人又老又病，不是傑斐遜的對手，而且連麥迪遜的對手都當不成。本來，傑斐遜是打算要讓麥迪遜繼承自己衣缽的。但是這次選舉，176張選票裏，傑斐遜自己就贏得了162張。
傑斐遜從小接受的教養就是沉默勝於攻擊，所謂病從口入禍從口出，漢密爾頓的嘴讓自己送了命，更證明了沉默的價值，尤其是對於別人的惡意毀謗，保持緘默是很好的辦法。傑斐遜對於決鬥的事沒有發表任何意見。
1806年6月4日，傑斐遜接到裏士滿友人的來信，說他的老師威思一家，在吃草莓喝咖啡的時候，被他的侄孫用砒霜毒害了。這“一家”指的是威思、他黑白混血的女奴，還有女奴的兒子邁可·布朗。威思在遺囑中，把半數的銀行存款給了邁可，並指定傑斐遜為執行人，負責這孩子的撫養、教育和其他事項。他還遺贈給傑斐遜兩隻銀杯、自己的金頭手杖，還有全部上好的藏書。邁可死了，他媽媽獲救，威思自己在說出中毒真相之後去世了。威思公然地遺贈屋產給自己的混血管家，把銀行積蓄給混血管家的黃皮膚兒子，又把他的教養托付給傑斐遜。這種舉動明顯是告訴整個美國，傑斐遜是孩子的父親。弗吉尼亞的白人因此十分震驚，當時弗吉尼亞法律是不許黑人為白人作證的，威思侄孫的罪因此而開脫。
這件事情也是對傑斐遜的一種公開的警告。弗吉尼亞白人最痛恨的就是白人依法接納承認自己的黃皮膚孩子了。如果傑斐遜曾經在什麼時候想過，要讓薩莉的孩子平等地享受權利，這件下毒的事情，就再度把他拉回現實當中。顯而易見的是，如果想要使這些孩子能過上自由自在的生活，隻有一種可行的方法，那就是想辦法讓他們受教育，並且讓他們以白人的身份進入白人的社會。威思被毒害的時候，薩莉33歲，傑斐遜已經有63歲。他從此對薩莉一家就更緘默守秘了。
1805年間，前副總統伯爾因為決鬥事件而不得不打算結束他的政壇生涯，但是他與英政府密謀，想發兵侵占華盛頓，刺殺傑斐遜。伯爾打算建立一個西部聯盟，並且去往墨西哥，推翻西班牙人的統治，而後在那裏稱帝。但是，事情馬上就敗露了，傑斐遜在1806年11月27日發出通告，呼籲人民協助平亂，伯爾被捕入獄。但是經過審判之後，他竟然無罪釋放了。