當林肯回到自己的內閣時，他發現內閣中也有軍隊裏存在的嫉妒和爭吵。國務卿西沃德將自己看成是總理，他故意怠慢內閣中的其他成員，並管他們的閑事，這給他招來了很深的怨恨。
財政部長蔡斯輕視西沃德，憎恨麥克萊倫將軍，蔡斯還憎恨戰事部長斯坦頓及郵政部長布萊爾。
反過來，布萊爾也開始“踢翻蜂窩”，並自誇他為戰鬥而進入內閣，他進入內閣還為了葬禮。布萊爾稱西沃德是個不道德的說謊者，他拒絕與西沃德有任何交往，對於斯坦頓及蔡斯，布萊爾也毫不留情麵，他稱他們為無賴，甚至在內閣會上也毫不留情麵。
布萊爾參與了如此多的爭鬥，以至於最終將自己推進了墳墓。他引發的憎恨猛烈且分布廣泛，以至於林肯要他辭職。在內閣中，憎恨無處不在。
副總統漢尼拔·哈姆林不會對海軍部長吉登·威爾斯說話，威爾斯頭戴假發並留著生長極快的白胡須。威爾斯寫日記，在日記的每頁上，他幾乎記錄下了對自己所有朋友的嘲笑與蔑視。威爾斯特別憎恨格蘭特、西沃德及斯坦頓。對充滿暴力及傲慢的斯坦頓，他是最大的懷恨者，他輕視蔡斯、威爾斯、布萊爾、林肯夫人及其他人。
“他根本不在乎別人的感受，他總是拒絕別人，因為這比答應別人能給他帶來更多快樂。”格蘭特說道。
謝爾曼對斯坦頓的憎恨如此深，以至於他在大庭廣眾之下羞辱了斯坦頓一番。十年後，當他在寫回憶錄時，謝爾曼還為這件事情欣喜。
“當我走到斯坦頓身邊時，他將手伸過來要和我握手，但我在大庭廣眾之下拒絕了他，此後這件事就大麵積傳開了。”謝爾曼說道。
沒有人比斯坦頓遭受到更多的野蠻憎恨了。
幾乎所有的內閣成員都認為自己的地位要高於林肯。
在他們看來，林肯來自西部地區，粗魯、笨拙且隻擅長講故事，內閣成員中有誰願意在這樣一個人手下做事？
由於一次政治事件，一匹黑馬偶然殺了進來，並將他們趕出白宮。
1860年時，司法部長貝茨在總統大選時被寄予很高希望。當時，他在自己的日記中這樣寫道：共和黨提名林肯為總統候選人是個致命錯誤。他認為林肯缺乏意誌和目標，且沒有指揮能力。
蔡斯當時有希望被提名為總統候選人，在自己的餘生裏，他將林肯看做“一種慈善蔑視”。
西沃德也很痛苦並充滿憎恨，有一次他對朋友大聲嚷著：“失望？你對我說你失望？我本該成為共和黨總統候選人，結果呢？你看看，總統候選人成了伊利諾斯州的一個小律師了！”
“你對我說你失望？”
西沃德認為，如果不是霍裏斯·格裏搗亂，他自己很有可能成為美國總統。他知道怎樣去運作一些事，在處理國家大事上，他有著二十多年的經驗。
但林肯憑什麼資曆成為總統？除了在新塞勒姆經營小木屋雜貨店外，他是在一窮二白的基礎上競選總統的。
對了，林肯還在郵政局幹過，帽子裏放滿信件到處送信，這就是這個“草原政治家”的管理資曆。
現在他坐在白宮裏，沮喪且煩惱，讓一切放任自流，什麼也沒有做，然而整個國家即將麵臨一場巨大災難。
西沃德被選為國務卿是為了統治這個國家，而林肯就是個擺設。對此，西沃德是這樣認為的，其他數千人也是這樣認為的。人們稱西沃德為“總理”，他自己喜歡這個稱謂，他還認為拯救國家的任務落在他一個人身上。
“我會努力嚐試去拯救自由，拯救我的國家。”西沃德在接受委任時這樣說道。
在林肯擔任總統前五周，西沃德給林肯寄去了一個備忘錄，態度專橫且帶有侮辱性的話，令人吃驚。在美國曆史上，還從未有過內閣成員給總統寄過如此放肆且傲慢的文件。
“我們執政已經一個月，卻沒有對內和對外的政績。”西沃德說道。隨後，他開始對林肯進行冷靜的評價，然後開始批評這個來自新塞勒姆的雜貨店老板，並告誡林肯究竟該怎樣進行政府運作。
最後，他還厚顏無恥地建議林肯應該退居幕後，並讓他開始掌權，這樣才能防止整個國家陷入地獄。
西沃德的一個建議太粗野且聽上去極其古怪，讓林肯幾乎暈倒。西沃德不喜歡法國及西班牙在墨西哥橫行霸道的做法，所以，他提議美國政府將他們叫過來，讓他們對自己的行為作出解釋。是的，還要將英國和俄國也叫過來。如果沒有得到一個滿意的解釋，你猜他西沃德打算怎麼辦？
發動戰爭。是的，這位精明的政治家認為一場戰爭不夠，他要讓美國同時麵對幾場戰爭，那才夠熱鬧。
這不是隨便說說的，西沃德還真的寫了一封短信給英國，裏麵充滿警告、威脅及侮辱。要不是林肯將其中一些最傷人的語句刪掉的話，很可能這封短信就引發了戰爭。
西沃德捏了捏鼻子，宣布他願意看到歐洲勢力幹涉並支持南卡羅來納州，然後北方軍就能利用這個機會攻擊外敵，這樣南方所有的州都會開始一致對外。
當時，美國與英國差點開戰。一艘北方軍的炮艇在公海上攔截了一艘英國郵輪，抓獲了兩名準備前往法國和英國的南方邦聯專員，並將他們關在波士頓的監獄裏。
於是英國開始備戰，運送了數千名士兵穿越大西洋，在加拿大登陸，準備進攻北方。
盡管林肯承認這是他有史以來吃的最厲害的一次虧，不過，他還是不得不將南方邦聯的兩個專員釋放並對此道歉。
林肯對西沃德的野蠻計劃大吃一驚，從一開始，林肯就敏銳地意識到，他自己在承擔這些沉重而繁雜的責任時顯得經驗不足。他需要智慧和幫助，還需要引導，他委任西沃德為國務卿的目的就是想得到這些。然而，看看現在發生的一切，林肯得到了什麼。
整個華盛頓都在談論關於西沃德執掌政府的事。這觸動了林肯夫人，也激起了她的憤怒，她眼睛裏冒火，敦促自己的丈夫要表現自己。“我可以不統治自己，但西沃德必須不能淩駕於我之上，我唯一擁有的統治者就是上帝和我自己，這些人將會認識到這些。”林肯確定地對她說。
其他人很快就意識到這點了。
蔡斯是林肯政府裏的標誌性人物：長相特別英俊，六英尺二英寸高，看上去像一個有修養有文化的古典派學者，懂三國語言，其女兒是華盛頓最迷人且受歡迎的社會名媛。坦誠地說，當他發現白宮的主人竟然不知道該怎麼點菜時，他感到非常詫異。
蔡斯是非常虔誠的基督徒：每個周日，他都要去教堂三次，在浴缸裏洗澡時都要唱聖歌，並將格言“我們相信上帝”寫在國家錢幣上。在退休前，他每天睡覺前都要讀《聖經》和訓誡書，他不能理解一個總統每天晚上帶著一些與上帝無關的書睡覺。更讓他惱火的是，無論在什麼時間、什麼場合下，林肯總能那樣幽默。
一天，林肯一個在伊利諾斯州的親信來白宮找林肯，看門人用疑惑的眼光打量著這個人，然後說總統現在正在內閣開會，不能見客。“開不開會都一樣，你告訴總統，就說奧蘭多·凱洛格來了，要和他說說結巴法官的故事，他就會見我。”
林肯馬上接見了他，並和他握手打招呼。然後林肯對整個內閣說：“先生們，這是我的老朋友奧蘭多·凱洛格，他想告訴我們一個結巴法官的故事，這是個很好的故事，現在，我們先把手頭的事放一放。”當奧蘭多講著自己的故事，林肯大笑時，整個內閣成員及國家大事都被暫時擱置了。
蔡斯感到很不滿，他開始為國家的未來擔憂，他控訴林肯在打仗時還說笑話，並控訴他正將整個國家帶入破產及毀滅的深淵。
蔡斯喜歡嫉妒，簡直像個女中學生。他期望自己能當上國務卿，為什麼他沒能當上？為什麼他被怠慢了？為什麼這個職位給了傲慢的西沃德？為什麼他隻能當一個財政部長？蔡斯很痛苦且充滿憎恨。
他現在不得不充當老三的角色，但蔡斯會做給他們看，1864年要來臨了，到時會有另外一個選舉，他決心到時自己競選總統。蔡斯現在什麼也沒想，正如林肯所說，他將自己的全部精力都投入到“瘋狂獵取總統寶座”的競選中去了。
麵對林肯時，蔡斯假裝成朋友，但當林肯不在身邊時，蔡斯就成了懷恨並反對林肯的人。林肯經常被迫作出的一些決定得罪了那些有影響力的人，當林肯這樣做了後，蔡斯就會跑到那些受害者身邊，安慰並同情他們，並說服他們將憎恨朝林肯發泄過去。蔡斯還讓這些受傷者相信，如果是他當總統，他們就不會受到傷害了。
“蔡斯就像一隻飛來飛去的肉蠅，在自己能找到的每一個腐爛的地方產卵。”林肯說道。幾個月後，林肯就知道了這一切，但寬宏大量的他這樣說：
“蔡斯這個人有能力，但在總統這個問題上，我認為他在發瘋，最近他表現得並不好。人們告訴我現在是將其驅逐出去的時候了，而我並不想將任何人趕出去，如果有適合某人的事且他能做好，我就會讓他繼續做。所以我決定，讓他繼續做財政部長。對於他攻擊白宮的事，我會假裝沒看見。”
但情況越來越糟，當事情沒有朝蔡斯預期的方向發展時，他遞交了辭呈，此前他一共交了五次辭呈，林肯去見他，並讚揚了他過去的成績，說服他繼續擔任財政部長。但最後，連林肯都受夠了，在他們之間已形成了一種病態感覺，他們相互見麵時會感覺很不自在。所以這一次，林肯接受了蔡斯的辭呈。
蔡斯對此感到震驚。
參議院財務委員會全體成員迅速趕往白宮，他們對林肯讓蔡斯辭職表示抗議，蔡斯的辭職將會是一個不幸，一個災難。林肯一直在聽，並讓他們把話說完。然後，林肯就把與蔡斯交涉的痛苦經曆說給他們聽。他表示，一直以來，蔡斯都執著於追逐總統之位，憎恨自己的權力。
“蔡斯下定決心要煩擾我，我也會拍拍他的肩膀，然後哄他讓他留下來，可是我想我再也不能這樣做了，所以我同意了他的請求。他不能再留在內閣了，我不會繼續讓他做財政部長了。如果需要的話，我也願意辭去總統的職位，我會返回伊利諾斯州的農場並靠耕地養牛為生，而不是繼續忍受現在的痛苦。”
但對於這個攻擊並傷害林肯的人，林肯是怎樣評價他的？“在我所認識的大人物中，蔡斯是最有才幹的。”
盡管激起了一些不好的感覺，但林肯此後還是做了一些在自己事業中最漂亮最輝煌的事，他將一個美國總統能授予的最高榮譽授予了蔡斯：聯邦最高法院首席大法官。