八年來，亨利·基辛格這是第一次沒有乘坐豪華的噴氣式總統專機抵達紐約。這是在吉米·卡特宣誓就職日過後一星期。春風得意、意氣風發的感覺已消失得無影無蹤，但灰溜溜地離開白宮，基辛格心有不甘，雖然沒有供自己使用的空軍噴氣式飛機，基辛格可不願意讓人看到他在機場大樓等行李這一情景，於是，他借了納爾遜的私人飛機。他認為對他這種身份的人來說，乘坐商業航班旅行是一種羞辱，並且太惹人議論。
基辛格還急於保住有特工日夜保護的地位，這對一個將在曼哈頓定居的有爭議的公眾人物來說無可厚非，但這裏麵仍包含有一種自以為是。在特工簇擁下去餐館或開商務會議，即使在曼哈頓的豪富區也是尊貴的標誌，可減去被請求在吧櫃等桌子的可能性。
有好幾個月，新政府繼續維持基辛格的特工保護費用。但這沒有持續多久，因為卡特是一個堅持自己拿行李的人，他的國家安全事務助理布熱津斯基對基辛格鬱積了20年的怨恨。布熱津斯基開始嘲弄特工保護是一種代價甚高的追求個人享受，不久就取消提供給基辛格的這種待遇。基辛格別無他法，隻得自己掏腰包請私人保鏢為他提供全天候保護，每年的費用達15萬美元。
私人飛機和私人保鏢使基辛格不會湮沒無聞。前幾任國務卿都能夠過上隱居生活，並且，假裝欣賞在這些已獲得尊貴身份的人看來是一種奢侈的隱居生活方式，但不是基辛格。在一個新聞熱點經常變更的時代，基辛格竟可以在他的繼任者再度走進飯館卻不被人注意的情況下仍舊保持頭上的光環。
卡特執政兩年過去了，《華盛頓市》雜誌問道：“誰是華盛頓最耀眼的明星？”伊莉莎白·泰勒？吉米·卡特？它在肯尼迪中心一個歡慶儀式上找到了答案：在這個明星薈萃之地，最引起觀眾喊叫或發出嗬嗬讚美聲的頭號明星是前國務卿亨利·基辛格。令人驚訝的是，15年後做同樣的調查，結果還是一樣。
基辛格經久不衰的聲望有一部分來自於他的個性和頭腦。盡管在野，他在公開場合依然炫目，在私下裏依然富有魅力。他在電視上發表有分量的見解，在晚宴上跟人建立親密關係，給聽他演講的聽眾準備好膾炙人口的箴言和趣聞。
他承認他的自尊心驅使他努力擺脫普通人的生活方式。他是如此自負，以至於他自己都拿這個特點開玩笑。有一次，他到羅馬為電視台準備一個特別節目，得知教皇為兩位新聖徒準備慶典儀式。“第三位是誰？”他問道。
他對那些小小的怠慢、冷落很敏感。基辛格安裝了一個直通國務卿辦公室的私人電梯，但他的朋友、繼任者萬斯國務卿卻陪他走到公用電梯旁，這叫他很沮喪。
基辛格夫婦在曼哈頓52號街購買了一套二聯式公寓套房，帶4個臥室，其中兩個留給前來度暑假的大衛和伊莉莎白住。他們另外花了47萬美元在康涅狄格州的西北角買了一個占地50公頃帶殖民地時代建築風格的農莊。這一帶都是富人和藝術家的居住區。農莊原來的主人種植了成片的藍漿果，每年夏末，人們來這裏采集果實，農莊主人向他們索要80美分一磅，並把賣果子的錢全部捐給教堂。這種別致奇特的采集活動深受當地人愛戴，但基辛格夫婦不喜歡陌生人在他們的領地上閑逛，在人們的驚愕聲中，他們把藍漿果樹連根拔掉，並把一片美麗的樹林砍掉，因為這片樹林阻擋基辛格眺望屬於他的湖和山丘。