所以，當戰後籌備召開索耳末物理學討論會時，有人提出原則上排除德國科學家參加，對此，愛因斯坦極為憤怒。盡管1923年7月，洛倫茲試探愛因斯坦是否願意單獨接受邀請時，愛因斯坦堅決加以拒絕。他討厭在科學領域中以任何形式出現的民族主義情緒。這也是他退出國際聯盟的重要原因。1923年12月25日，愛因斯坦給他一向敬重的居裏夫人寫了一封信。信中再次表達了他對國際聯盟的不滿：
“我明白，我退出國聯委員會，並且發表了一個措詞尖銳的聲明，您會生我的氣，這是理所當然的。可是，在這以前不到半年，我自己還勸您參加這個委員會的工作呢！我的辭職，不是出於卑下的動機，也不是由於同情德國人。我已經深信，國聯（不同於我所屬的那個委員會）盡管還虛飾著一層薄薄的客觀的外表，但它的所作所為已經像一個強權政治的馴服工具。在這種情況下，我不願同國聯發生任何關係。我覺得這樣一個直率的聲明不會有什麼害處。也許我是錯了，但當時我的信念確是這樣。
“而且我還請求過，不要邀我去布魯塞爾，雖然從心理上來說，我能夠充分理解為什麼法國人和比利時人不喜歡碰上德國人，可是，如果像那些為盅惑人心的輿論所操縱的群氓一樣，按照各自的國籍或者其他淺薄的準則來相互對待，那肯定是不配做真正有文化的人的。如果世道正是如此，我寧願呆在自己的書房裏，不願為外界人們的行為而心煩。請一刻也不要以為我會認為本國同胞優越而對其他國家的人有誤解；那可是決不符合相對論的精神的。……不過話也說夠了。要是我不是把您當作一個可以鬧別扭的姐妹，一個在她的靈魂深處對這種感情總是有所理解，而且使我始終感到特別親近的姐妹，我是不敢以這種態度向您發牢騷的。”
可是一年之後，愛因斯坦的態度又發生了變化。他於1924年5月30日給委員會副主席、英國古典文學家吉爾伯特·默裏寫信說：
“我坦率地告訴您，我的最親密和最開明的朋友們對我的辭職都深為惋惜。我自己慢慢地感覺到，我主要是受著幻想破滅後那種一時出現的情緒的影響，而不是由於清醒的思考。
固然國聯至今常常失敗，但在如此黯淡的日子裏，它畢竟還應當被看作是這樣一個機構，這個機構對於那些為國際和解而忠誠工作的人們去進行有效行動能夠提供最大的希望。”1924年6月21日，國聯秘書長埃裏克·德拉蒙德正式邀請愛因斯坦重新參加國聯知識界合作委員會時，他欣然表示同意，並於當年7月25—29日首次出席會議。
愛因斯坦在“國際知識分子合作委員會”任職的8年裏，斷斷續續地出席過一些會議，作了許多次發言。他呼籲改革中小學教育，因為現在的教育正在播種誤解和仇恨的種子，把戰爭美化為一種高尚的事業。他倡議成立世界政府，因為超越國家之上的世界政府能防止國與國之間的衝突。然而，愛因斯坦一切善良的願望都化為了泡影。
作為一個偉大的物理學家，愛因斯坦在宇宙間找到了和諧與秩序；作為一個善良的人，愛因斯坦在人世間看到的卻是永無止盡的分裂與混亂。
根據荷蘭皇家1920年6月24日的法令，愛因斯坦是萊頓的特邀訪問教授，這樣，他可以在方便的時候，到萊頓大學作短期講學。1920年10月27日，愛因斯坦就任萊頓的新職務，並就以太和相對論問題發表就職演講。1921年11月愛因斯坦訪問萊頓，並且還在1922年5月、1924年10月、1925年2月、1930年4月多次去萊頓講學。第一任的任期為3年，可是任期一直延長，到1952年9月23日才正式結束。
愛因斯坦喜歡萊頓，那兒有老朋友埃倫費斯特，可以自由暢快地談物理學問題；那兒有讓人心曠神怡的自然風光，古老幽靜的小城，四周是大大小小的風車，悠然自得地轉動，唱著“吱呦、吱呦”的歌聲；那兒可以穿著軟鞋、汗衫，隨意散步，沒有繁文縟節，沒有令人討厭的社交活動。
在萊頓大學，愛因斯坦總是過得舒暢順心，隻是有一天，愛因斯坦和埃倫費斯特吃完飯正在午睡。電話鈴響了，原來荷蘭女王陛下前來視察，聽說著名的愛因斯坦教授正在萊頓講學，很想見見他。這一下可忙壞了埃倫費斯特夫人。愛因斯坦的大禮服遠在800公裏之外的柏林家中，愛因斯坦從不帶禮服到萊頓。夫人急忙到處打電話，找朋友借一身“中等身材穿的禮服”，才算搪塞過去。
愛因斯坦與埃倫費斯特一家結下了深厚的友誼。埃倫費斯特一家人都忘不了愛因斯坦每次進門的歡快聲，也總記得愛因斯坦的話：
“一個人除了提琴、床、桌子和椅子之外，還需要什麼！”1919年11月9日後，世界各地的請帖潮水般地湧來。出訪荷蘭後，愛因斯坦風塵仆仆，從一個首都趕到另一個首都。他到處作關於相對論的演講，也到處呼籲和平、寬容與理解。他像一位巡回大使，執行著民族和解的神聖使命。為了恢複戰敗國德意誌共和國的國際地位，他把德國科學的威望帶到世界各地，又把自信心帶回德國，鼓舞德國人民建設一個民主、自由的新德國。德國統治者也想通過愛因斯坦的巨大名聲使德國重新獲得世界各國的承認，所以，對愛因斯坦的頻繁出訪，他們給予默認，並密切注視著世界各地的反響。
萊頓之行後，布拉格“烏蘭尼亞”科學協會邀請愛因斯坦演講。愛因斯坦來到布拉格，這也是舊地重遊。他成了菲力普·弗朗克的客人。
到達布拉格的當天晚上，在擠滿了人的“烏蘭尼亞”協會大廳裏舉行了愛因斯坦的演講會，而後是該協會的會員們同愛因斯坦見麵。在一連串歡迎辭後，總算該輪到愛因斯坦講話了。愛因斯坦出人意料地在台上拿起小提琴，不無幽默地說：
“女士們，先生們，這兒氣氛太嚴肅了。讓我先為大家演奏小提琴吧，那將更愉快，更易理解。”
莫紮特的奏鳴曲響起來了。音樂為人們進入物理學奧秘的天地奏響了前奏曲。
愛因斯坦離開布拉格後又直赴維也納，他在坐滿三千人的音樂大廳裏發表了公開演講。
愛因斯坦的維也納之行留下一個小小的趣話。愛因斯坦在維也納住在奧地利物理學家費利克斯·埃倫哈夫特家裏。他們是一對永遠不會停止爭議的老朋友。埃倫哈夫特的妻子是奧地利有名的婦女教育組織家，她想讓愛因斯坦在演講會上顯得儀表堂堂，就從愛因斯坦帶來的兩條褲子中拿出一條讓裁縫熨平，並親手把褲子交給了愛因斯坦。可到了演講廳，埃倫哈夫特夫人大吃一驚，愛因斯坦博士仍然穿著那條皺巴巴的褲子。
1921年3月底，愛因斯坦踏上了訪美的旅途。
在紐約港口，迎候愛因斯坦的人群人山人海。當“鹿特丹號”郵輪靠岸時，采訪記者爭先恐後蜂擁而上，把愛因斯坦圍在甲板上。無論愛因斯坦怎樣竭力逃避記者的采訪，也不論艾爾莎有多大擋駕的本事，愛因斯坦第一次見識到美國新聞記者的厲害。記者們一再請求愛因斯坦用幾句話說明相對論的本質。用幾句話解釋一門新科學理論，科學家們會覺得這問題本身就是天方夜譚，可新聞記者就隻要幾句話，你說多了，他們也不懂。
愛因斯坦的回答絕妙無比，他說：
“如果你們同意不過分苛求答案並把它當作一種玩笑來接受的話，我可以作如下解釋。
從前人們以為，如果所有的物體從宇宙中消失掉，時間和空間依然存在。而根據相對論，時間和空間將同物體一起消失。”
記者們繼續追問：
“全世界隻有十二個人懂得相對論，這是真的嗎？”
愛因斯坦一臉天真無邪，兩手一攤，說：
“怎麼會呢，任何一個物理學家都能容易地弄懂相對論，我在柏林的所有學生都懂得它。事實上，在這期間所有國家的物理學家不僅懂得相對論，並且還參與了對它的進一步加工和發展。”
喜歡花邊新聞的記者們又把問題拋向艾爾莎：“你懂不懂相對論？”
“哦，不懂，雖然他不止一次地向我解釋過相對論，但這對於我的幸福是完全不必要的，我的數學隻需要夠記帳就行了。”
艾爾莎的外交辭令把新聞記者們逗樂了。
從船碼頭到下榻的地方，街上湧動著目睹愛因斯坦風采的紐約人。美國人把愛因斯坦擁上一輛敞篷汽車，讓他接受紐約人的歡迎。愛因斯坦不知所措，在車上一會拿煙鬥，一會拿小提琴，弄得艾爾莎不斷提醒他：“你該向大家致意。”
愛因斯坦這才明白了自己坐敞篷車的意義是什麼，真誠的孩子般的笑容浮上了臉龐。這富有詩意的笑容，一下就抓住了美國人民的心。新大陸上刮起的愛因斯坦旋風，比歐洲更強勁，更持久。
在訪美期間，愛因斯坦作過許多學術報告，尤其是在普林斯頓大學的四次報告最成功。
這幾篇報告後來幾經修改，以《相對論的四個講座》為題出版。該書後來又更名為《相對論的意義》，是愛因斯坦的主要科學著作。
愛因斯坦訪美時，美國正處於“相對論熱”之中。在歐洲，盡管他極力回避種種公開場合，但對他的個人崇拜已經使他無法再呆下去。然而，到了美國，熱浪更高。而且，美國人對愛因斯坦的興趣更濃厚，他們似乎更關心相對論之外的東西。美國報刊上津津樂道的是愛因斯坦的小提琴，如：
“這位教授胳膊下夾著提琴盒，小心翼翼地走下扶梯。他看上去更像是歐洲的著名琴師；比起許多著名的‘藝術大師’來說，就是他的頭發太少了。”
“愛因斯坦和提琴形影不離，是一位醉心的提琴迷！”
還有笑話說，“愛因斯坦熱”也刮到了國會山上。參眾兩院的議員先生們，都扔下手裏的憲法修正案，討論起相對論和愛因斯坦來。一位議員先生坦白承認，自己不懂相對論。另一位議員先生說，他企圖了解愛因斯坦的相對論，結果差一點兒發了瘋。還有一位議員先生引證某某伯爵的宏論，說是世界上隻有兩個人懂得愛因斯坦最新的理論。可惜一位已經故世，而愛因斯坦教授本人，由於“年事已高”，也把自己最新發現的理論給忘了。這一番妙言，贏得了全場拍手叫好。議員們雄辯滔滔，最後大家一致承認，參眾兩院裏誰都不懂相對論，所以，誰也沒有丟麵子。
愛因斯坦是歐洲古典學風的典範。美國人活潑開朗、喜歡評頭論足、對新生事物特感興趣的特點，他不僅不欣賞，反而作出了多少有些偏頗的評論。回到德國後，他對一家荷蘭報紙談過訪美的印象，說：
“要是我沒有理解錯誤的話，原因是那裏的人太無賴了。紐約、波士頓和芝加哥等城市盡管都有戲院、劇場，但此外還有什麼呐？上百萬居民的城市在精神上是那麼空虛！能有一點使人們迷醉的東西，他們就會興高采烈。”
在離開美國的歸途中，愛因斯坦應哈定勳爵的邀請在倫敦短暫停留。一到英國，在東道主的陪同下，來到威斯敏斯特大廳拜謁牛頓墓，恭恭敬敬獻上一個大花圈。接著就去皇家學會演講。廣大聽眾對待愛因斯坦的態度是審慎的，因為他是世界知名的學者，然而卻代表著德國的科學。開始人們並沒有以掌聲來歡迎他。愛因斯坦講了科學的國際意義，關於學者們的接觸，關於英國人民在科學發展上的作用，關於牛頓。他感謝了英國的同行們，並且注意到了，如果沒有他們參加，他未必能看到自己理論的最重要的證明。
坦誠的愛因斯坦，以真切的語言、真摯的情感、深刻的思想打動了英國的聽眾，扭轉了他們的情緒，也大大扭轉了英國科學界的情緒。可以說，倫敦演講成為學者們國際合作的一個綱領。
在倫敦，愛因斯坦和艾爾莎住在一幢貴族宅邸中，在那裏給他們安排的住處規模比他們在柏林的寓所大多了。愛因斯坦被英國人數不清的嚴格禮節弄得很窘，貼身仆人一步不離地隨時侍候他，這種窘相又變成萬分驚恐。愛因斯坦看見這個身穿製服的石雕似的人，就轉身對妻子說：
“艾爾莎，你對這怎麼想？要是我們企圖逃跑，他們會允許我們出去嗎？”
他們在一間掛著厚厚窗簾的巨大臥室中就寢。早晨，愛因斯坦像平常一樣起得很早，他打算拉開窗簾，然而背後響起妻子愉快的聲音：
“阿爾貝特，你為什麼不叫仆人？讓他來幹這個。”“不用了，這太可怕了。”
最後，夫妻兩人使勁征服了窗簾，愛因斯坦才偕同艾爾莎去餐廳用早點。