在夏季過去之後，優雅的普林斯頓再一次染上溫室般的學術氣氛。1937年6月愛因斯坦在一封信裏寫道："我現在像個老光棍似的，住在綠陰叢中的一問漂亮的小房子裏，還是以昔日的喜悅努力鑽研問題。"
在德國的時候，他也不時地人住在一個鄉村別墅裏，過上幾個星期，自己做飯，就像過去的隱士那樣。1929年他在給貝索的信中描述過這種生活。總之，"孤獨地生活在鄉下"，這句話對於愛因斯坦確實是一個生動的寫照。
在普林斯頓，愛因斯坦似乎願用全部時間來保障對統一場論問題的"孤獨"思考，但他的思考又常被人們打斷。許多人期待愛因斯坦的忠告、幫助、演說。在大多數情況下，他們既得到忠告，又得到幫助，還聽到演說，這就使得情況變得複雜起來。一個向往孤獨的人在同大量的人打交道，這在全世界科學家中是絕無僅有的。這種局麵不僅同科學家的外部環境有關，而且同他世界觀的內在基礎是聯係在一起的。
有一次，愛因斯坦在倫敦演講，當時那裏正在討論德國移民科學家的命運。他建議說，看守燈塔的職務對科學家來說是最合適的職位。要是旁人提出這種語驚四座的建議大概是極不妥當的，但大家明白，他在說自己。他認為，孤單一人在燈塔上有助於研究思考，這表達了他早年的夢想。
愛因斯坦想去看守燈塔，也是為了逃避訪問和邀請，這些訪問和邀請使他失去工作時間。他對人們的愛並不帶有抽象的性質，愛因斯坦不屬於那種雖對人類命運感興趣，而對日常生活中碰到的具體的個人命運漠不關心的思想家。但是，他的內心並不是充滿了日常生活，占據他思想的也不是這種對無數有求於他的人們的經常關心。他的思想聚集在超日常的東西上，並且總是每時每刻都在思考著工作。
因此，這種對孤獨的向往，不能歸結為他的意識裏充滿了科學任務，而是一種更深邃的感情。愛因斯坦在《我的世界觀》一書中，開門見山地說明了自己對人們的態度。他講到對社會正義的強烈興趣和對孤獨的向往之間的矛盾："興趣和社會責任感與我對接近人們和社會團體所抱有的成見發生了矛盾。我向來是一匹拉單套輕車的馬，我也不曾全心全意地獻身給自己的地區、國家、朋友、親人和家庭。所有這些關係引起我對孤獨的向往，而且想擺脫這些關係並與外界隔絕的意向與日俱增。我敏銳地感覺到缺少理解和同情，這是由於孤獨造成的，同時我也感覺到能和未來和諧地結合在一起。一個具有這種性格的人會部分地喪失熱情和同情心。但是，這個"損失"不為種種意見、習慣和閑話所左右，也不把自己的內心平衡建立在不牢靠的基礎之上，利用某種誘惑作為補償。"
到普林斯頓後不久，艾莎的大女兒伊麗莎在巴黎去世。艾莎把女兒的骨灰帶回了普林斯頓。自從大女兒死後，艾莎一下子變得老態龍鍾，二女兒瑪戈爾陪著她。不久，艾莎的雙目又出現了病態。
艾莎終於病了，這是心腎嚴重疾患的症狀，她臥床不起。瑪戈爾曾離家幾天去了一趟紐約，回來後發現自己的母親完全變樣了。愛因斯坦非常沮喪，本來蒼白的臉色更加蒼白，眼神充滿無限哀傷，他對瑪戈爾說："你離家這幾天，她差一點就離我們去了。"
艾莎的病情越來越糟，愛因斯坦整日陪著她。艾莎感到很欣慰，她對好友說："我從來都沒有想到我對於他是這樣的珍貴，我感到快樂並為此而幸福著。"
但是後來，艾莎的病情急轉直下。1936年12月20日，艾莎撒手人寰。
愛因斯坦又繼續過著像從前那樣的生活。他常在普林斯頓紅磚房之間的林陰道上散步，這些房子使人想起古老的英國。他坐在自己的辦公室裏，研究統一場論的數學問題。但愛因斯坦變化很大。有一次，還是在普林斯頓的時候，艾莎就說過："由於受內心渴望與外部作用的支配，我們全部在隨時間的流逝而變化，相反，阿爾伯特卻猶如童年時一樣。"但是實際上，愛因斯坦在30年代初已喪失了早年生活的樂趣，在艾莎死後，他更加無法擺脫孤獨感和憂傷感。
這種感情在40年代更加劇了，愛因斯坦在回致朋友們祝賀他70歲日生日的賀信中，充滿了這種感情。當時，他做了胃部大手術後剛康複。幸好，手術沒有引起並發症，但是他長期都很虛弱。愛因斯坦的身體狀況並不影響他一貫的幽默、誠懇和對周圍事物的興趣，更沒有妨礙他全力以赴地研究統一場論的具體問題。但總的來說，他的情緒是憂鬱的。