在林肯離開白宮後，林肯夫人陷入了巨大的困境。她還自己舉辦展覽會，這成為國人議論的熱點問題。
在家庭開銷問題上，她顯得異常吝嗇，過去在每個季節，按照慣例都是總統家庭點出很多全美國的“國菜”，但林肯夫人一直催促林肯打破這個傳統，並表示這些菜肴都很貴，現在是戰爭時期，公共招待可以更節約點。
一次，林肯不得不提醒林肯夫人：“我們必須要考慮一些節約之外的東西。”
但當買一些能滿足她虛榮心的東西時，比如衣服及首飾，她卻不僅忘記了節約這個字眼，而且還失去理智地沉迷在各類奇怪的花銷中。
1861年，林肯夫人離開了大草原，她自信地預計，作為總統夫人，她可能成為華盛頓群星璀璨的中心。但讓她蒙羞並吃驚的是，她發現自己在這個城市被傲慢的貴族們藐視並怠慢。而在南方人眼中林肯夫人作為一個肯塔基州人，她是不忠的，她與一個粗魯且笨拙地讚成廢除黑奴製的人結婚，這個人還對南方發動戰事。
除此之外，林肯夫人幾乎沒有可愛的個人品質，她是個卑鄙、庸俗、嫉妒、虛假且沒禮貌的潑婦。
因為自己不能得到社會聲望，林肯夫人就特別嫉妒那些得到社會聲望的人，華盛頓社區的統治女王就是著名的美人安迪科斯·道格拉斯，她的丈夫就是瑪麗·林肯的前情人史蒂芬·道格拉斯。道格拉斯夫人及蔡斯的女兒的名望都讓林肯夫人產生了強烈的嫉妒感，她決心用金錢給自己帶來社會名望，那就是用錢買衣服和首飾打扮自己。
“為了趕上時髦，我必須要有錢，我得到的錢要比林肯給我的還要多。林肯太老實了，因此，我還是沒辦法，隻能繼續欠債。”林肯夫人說道。
林肯夫人的欠債量達到了幾乎7萬美元，這是個龐大的數字，而林肯當總統的工資才25美元。為了還債，必須將林肯兩年零九個月的工資全部積攢下來。
我從伊麗莎白·凱克莉那裏得到了幾次證實。凱克莉是一個很不平常且聰明的黑人婦女，她付錢為自己買到了自由，然後來到華盛頓，開了個專門製作女童衣服的小店。在很短時間內，她就得到了華盛頓一些主要社會名流的青睞。
1861年到1865年，凱克莉幾乎每天都與林肯夫人待在白宮，並作為一個私人女仆伺候林肯夫人。最終，她不僅成為林肯夫人的知己與顧問，還成了她最親密的朋友。在林肯遇刺後垂死掙紮的那晚，林肯夫人唯一呼喊的就是伊麗莎白·凱克莉。
曆史是幸運的，凱克莉女士寫了一本關於自己人生經曆的書，已有半年沒有出版了，但破舊的一些副本偶爾仍能在稀罕書經銷商那裏買到，價格是10至20美元。標題很長：“下麵的文字是關於伊麗莎白·凱克莉。她以前是個黑奴，但後來成為童裝店的經營者，然後成了林肯夫人的朋友，或者可以說成‘三十年的奴隸生涯及四年的白宮生活’”。
伊麗莎白·凱克莉在1864年夏天寫了這些回憶錄。當時林肯準備為連任總統而努力。
林肯夫人幾乎要瘋了，她心裏滿是恐懼與焦慮。為什麼？因為林肯夫人在紐約的一個債權人威脅要起訴她。林肯的政治敵人可能利用林肯夫人的債務問題在大選中製造“政治轟鳴”，並讓林肯夫人達到發狂的程度。
“如果林肯連任了，我就能在他麵前瞞住我欠債的事。但如果林肯失敗了，債權人會跑進門，然後林肯就會知道。”林肯夫人歇斯底裏地哭泣並說道。
“我會跪下來，為你去求選票。”林肯夫人對林肯哭著說。
“瑪麗，我恐怕你將會因這種無法抵抗的焦慮而遭受懲罰。如果我被選上了，一切都會好的。但如果失敗了，會給你帶來失望。”
“林肯先生懷疑你欠賬了嗎？”凱克莉問道。
下麵就是回憶錄的一百五十頁寫的答案：
“上帝啊，不，”這是林肯夫人最喜歡的一個表達，“我將不會讓林肯懷疑，如果他知道自己的妻子做事做到這種程度了，會讓他變瘋的。”
林肯被刺殺帶來的唯一好的因素，就是他在沒有知道這些債務的情況下死了。
林肯被刺前一周，林肯夫人在賓夕法尼亞大街的一個店子裏，嚐試賣掉印有自己名字字母的襯衣。
西沃德聽說此事後，他帶著沉重的心情將很多衣服買了下來。
當林肯夫人離開白宮時，她帶了二十個箱子及五十個包。
這也引發了很多閑言碎語。
此前，林肯夫人已被公開地且反複地指控，通過偽造款待那波利亞王子的娛樂報銷單詐騙美國財政部。林肯夫人的政治敵人還指出，盡管當時她隻帶著幾隻箱子來到白宮，但她離開時所帶的東西足以裝滿一輛載貨車。為什麼？難道她來白宮掠奪了嗎？她赤裸裸地拿走了她能拿的一切東西了嗎？
即使到了1867年10月6日，也就是林肯夫人離開華盛頓兩年半後，《克利夫蘭先驅報》在談到林肯夫人時這樣說道：
“要讓整個國家知道，彌補白宮被掠奪的一切，需要差不多10萬美元，讓我們來證實到底誰是掠奪行動的受益者。”
的確，在“玫瑰女人”統治時期，白宮的很多東西都被偷走了，但很難說是林肯夫人的錯。當然，她犯過錯，在白宮她做的第一件事就是開除白宮幹事和其他的雇員，並表示她要自己管理這個地方，讓白宮的一切活動都要以節約為標準。
除了門把手和廚灶外，仆人們幾乎把所有的東西都偷走了。1861年3月9日，《華盛頓明星報》報道，許多參加白宮招待會的客人都發現自己的外套及晚裝不見了。不久前，白宮的家具也被人用車拖走了。
五十個包及二十個箱子！那裏麵到底放的什麼？很多都是無用之物：廢棄的贈品、雕像、無價值的圖畫和書籍、蠟花、鹿頭及其他大量舊衣和舊帽子。