他非常難為情，並且十分頹喪。
頹喪的情緒是許多因素造成的。愛因斯坦忘不了兒子的悲慘命運。納粹勢力的一天天擴張，反理性的勢力壓製著科學的和社會的唯理論擁護者的意識。愛因斯坦已經不能進入純物理思維的環境中去了。他的脾氣變大了，昔日的幽默也一天天少下去了。
在帕薩迪納，有不少隆重的接待和講話，但印象被更多的科學集會、座談和私人交談所衝淡。必要的參觀名勝和郊遊在這裏不像在紐約附近那樣勞累。在亞利桑那，愛因斯坦參觀了印第安部落。印第安人授予他首領的尊號，贈送他一套印第安服裝。他獲得了一個名字：
“偉大的相對性首領”。
愛因斯坦和艾爾莎參觀了馬溫特—威爾遜天文台，對巨型望遠鏡很感興趣。艾爾莎問：
“為什麼需要這麼大？”
“為了弄清宇宙的構造”，天文台台長回答說。
“真的嗎？我丈夫經常在舊信封背麵幹這事。”1931年春，愛因斯坦離開美國，應允第二年再來加裏福尼亞學院，他們帶走許多紀念品，包括那套印第安首領的服裝、夏威夷籃子、亞利桑那的樹枝化石，但謝絕了像無價之寶的古爾涅爾小提琴之類的禮物。愛因斯坦說：
“應當由真正的大師來用它演奏。”
1931年末安排了下一次帕薩迪納之行，愛因斯坦在和加裏福尼亞物理學家們的交往中度過了整個冬天。看來，吸引他的不隻是帕薩迪納的科學界，旅行本身也吸引著他；旅行切斷了柏林的印象，那些讓人痛苦的印象。此外，同歐洲物理學家習慣了的環境的科學聯係本身變得不太必要了。熱衷於量子力學成就的晚輩走上了新的道路，這條道路當時似乎離愛因斯坦的道路甚遠。旅行、同新環境的交往、參與創新，對愛因斯坦來說變得日益重要了。
在赴美途中，他在日記中記下：
“我決定不再定居柏林，變成一隻飛鳥度過餘生。海鷗像從前一樣以自己不知停息的翱翔護送著航船。他們就是我的新同事。”
愛因斯坦在加裏福尼亞呆了整整一個冬天，1932年春才返回柏林。
此時的柏林，已是“山雨欲來風滿樓”。1929年爆發的經濟危機像一場大火，迅速席卷全世界。德國經濟形勢迅速惡化，工廠倒閉、失業大軍流落街頭。
人民的痛苦和絕望，在納粹黨頭子希特勒眼裏，是天賜良機。這個煽動家、陰謀家喋喋不休，向迷惘的德國人民許下諾言：在國家社會主義製度下，將給每一個人工作和麵包。希特勒又向軍隊將領、大金融家、大工業家頻送秋波。他保證，一旦上台，將立即讓馬克思主義者和猶太人“人頭落地”。他保證，要為1918德國的戰敗報仇雪恨。
德國一切最反動的勢力，都把希特勒當成挽救德國的救星。在他們的支持下，希特勒日益得勢，扶搖直上。到1932年，納粹黨一躍而為國會中的第一大黨。希特勒像一頭餓狼，對著共和國瞪圓了兩隻貪婪的眼睛。他在等待時機，準備猛撲過去，一口把共和國吞掉。
愛因斯坦又要走了。1930年接受美國加州理工學院院長密立根的邀請，每年冬天去講學，為期3年。這是最後一次了。
離開卡普特別墅時，愛因斯坦有預感似地對妻子說：
“這次你好好看一眼你的別墅吧！你再也看不到它了。”
艾爾莎笑了，她以為丈夫在說笑話。愛因斯坦沒再做聲，默默地上路了。
這一次離別，是在柏林創下豐功偉績的愛因斯坦與德國的生死離別。