對伊爾莎有欲望
愛因斯坦就在與米列娃離婚不到4個月後，1919年6月2日，他的感情人生梅開二度，即與他的表姐（同時也可以說是堂姐）愛爾莎正式登記結婚。
當時，這個決定讓愛因斯坦的朋友們也頗感吃驚。
其實，愛因斯坦自己也有些勉強。
因為其中有他寡居的母親波林的施壓。不久，她也搬來與他們同住了。
此時愛因斯坦40歲，愛爾莎43歲。
但要不是當時一道難題橫在愛因斯坦的心坎裏，讓他舉棋不定，難以取舍，也許他們結婚的日子還更要提前。
這道難題也許並不比什麼狹義、廣義相對論容易——當然是對於愛因斯坦來說。
那就是，他究竟是娶愛爾莎，還是娶她的女兒伊爾莎？
不管怎樣，愛因斯坦總算從一場不幸福的婚姻中脫身而出了，似乎可以開始他一直想要的那種新生活了。但是，又出現了一個新的問題，他又愛上了另一個女人——年輕、漂亮的伊爾莎。
愛爾莎帶著與前夫生的兩個女兒生活在一起。伊爾莎（Ilse）是埃爾莎的長女，長得很是俊俏、嫵媚，1918年剛滿20歲，正是情竇初開的妙佳年齡。愛因斯坦和她們母女住在一幢房子裏，天天有接觸，感情豐富的愛教授難保不對她產生非非之想。
事實上，伊爾莎給愛因斯坦當秘書已經有一段時間了。當他應奧斯陸大學學生聯合會的邀請去挪威作短暫訪問的時候，陪伴他的是女兒伊爾莎而不是母親愛爾莎。為此，他對朋友馬克斯·博恩解釋道：“她更健康，更務實。”
所以也有朋友提出，或許愛因斯坦與伊爾莎結婚更加合適。
麵對這個提議，大度、清醒的愛爾莎便將主動權讓給愛因斯坦，讓他自己拿主意。愛因斯坦實在無法定奪，隻好長時間不置可否。
本來伊爾莎要嫁給愛因斯坦也未嚐不可，但她對愛因斯坦愛上自己仍感到非常困擾，因為她也知道母親和愛因斯坦的關係。
為此，不知所措的伊爾莎隻得寫信給朋友喬治·尼古萊請救：“昨天，這個問題突然提了出來：阿爾伯特究竟想和媽媽結婚還是和我結婚。阿爾伯特拒絕作出任何決定，他可以和兩人中的任何一個結婚。”由於情況特殊，她在信文的上方寫道：“看完此信請立即銷毀。”但尼古萊顯然並沒有照辦。
伊爾莎在給尼古萊的信中這樣寫道：“我知道愛因斯坦非常愛我，也許超過了一切可能愛我的男人，他昨天甚至自己也對我這樣說了。”她透露愛因斯坦曾經承認，他和她在一起時，很難控製自己的性欲。
不過，在有過最初短暫的一段時間傾慕、依戀（其中當然不乏愛的成分）愛因斯坦之後，伊爾莎其實內心深處並沒有真正愛上他。她說：
“如果兩個不同類型的人之間確實存在著友誼和同誌之情，他們之間當然應該是像我對愛因斯坦的這種感覺。不過我從來沒有在身體上有接近他的願望或者最輕微的渴望，也從來沒有感覺到這種欲望。而他卻相反——至少在最近。他本人甚至對我承認，對他來說，要管住自己是多麼困難。”
沒有激情，伊爾莎無法維持一段婚姻，而且她也害怕會變得不再愛他，甚至怨恨他。她認為，她對他的感情還不足以使自己和他結為夫妻。“最後一點，但一樣重要，到頭來我會覺得自己像個賣身為奴的女人。必須承認，這有點兒不合常情。（雖然阿爾伯特堅持說這些都是社會偏見。）”