兩度婚姻
愛因斯坦和第一個妻子米列娃
愛因斯坦和第二個妻子愛爾莎
大科學家愛因斯坦的一生中，主要有過兩次婚姻；此外，他還有不少情人，大多難以統計。而他晚年在美國的兩次“黃昏戀”，更是鮮為世人所了解，直到近幾年才披露。
《愛因斯坦·畢加索》的作者阿瑟·米勒說：“愛因斯坦對女人的態度，是他那個時代非常典型的。”對他來說，科學上的追求永遠是第一位，至於婚姻是否美滿，或許他並沒有考慮太多。不可否認，他喜歡女性，也喜歡活在女人堆裏，但也僅止於此，他的首要目標還是科學。一旦這些事情影響了他對科學的追求，他就會立即停止。任何事情都不會改變他喜歡科學的初衷。
愛因斯坦不太關心衣著，他悠閑的態度，一頭蓬亂的黑發，加上他對音樂和哲學的熱愛，使他更像一位詩人，而不是科學家。從外觀上看，他對女人們很有吸引力。他的漫不經心的方式、他演奏小提琴時非常明顯的熱情，以及他後來具有傳奇色彩的智力，都極大地加深他的吸引力。但當他的追求有可能變成一種嚴肅的關係時，愛因斯坦就會趕緊回到他的“小天地”。
在愛因斯坦讀中學的時候，“外表英俊”的他就很受女孩子們喜歡。他也喜歡與她們在一起，說說笑笑，有時還寫上幾行調情的“打油詩”。1899年夏天，20歲的愛因斯坦在蘇黎世州梅特門斯特坦附近一個名叫“天堂”的旅館度假時，結識了這家旅館主人的小姨子安娜·施密德，應邀在她的照片簿上寫道：“姑娘你小巧又美貌，我為你題點什麼好？我會想到好多事，也包括一個小親親，落在你那小秀唇。你若因此而生氣，可別立即就哭泣，懲罰我的最佳法，就是還給我一個吻。”當然，這並不是愛因斯坦第一次向女性表達自己調皮詼諧的一麵。
在上大學前，愛因斯坦曾有過一段美好的初戀。對象是他在阿勞上補習班的老師溫特勒的女兒瑪麗。他們的關係，在他上大學後並沒有維持下來。愛因斯坦開始控製自己的情感。他的處理方式很明顯地服務於理性目的。
愛因斯坦在1897年寫給溫特勒媽媽（“親愛的媽咪”）的信中寫到：“我寫信給您，是為了減輕我內心鬥爭的痛苦。事實上，這種鬥爭的結果已經堅定地駐紮在我心中……勤奮的智力工作和對上帝性質的沉思，將會是引導我經受生活中所有煩惱的天使，她們安撫我、激勵我，卻又嚴酷無情……每個人為自己創造了一片小天地。”事實上，他在他的整個一生中都將這樣做。
愛因斯坦的第一任妻子米列娃（1875～1948），出生於塞爾維亞。她在中學時代就顯示出了對數學和物理的天賦和熱愛，總是得到最高分。父親於是讓她到瑞士和德國學習。米列娃最初在海德堡學習，後來轉到蘇黎世聯邦工學院學物理。正是在這裏，她結識了愛因斯坦，並和他一起探討物理問題。
米列娃長得較為俊俏，心氣很高，感情豐富而脆弱；但因患小兒麻痹，有點跛腳，又比愛因斯坦大4歲，因此，他們之間的友情遭到了愛因斯坦父母的強烈反對。尤其他的母親保利娜，更是想盡一切辦法來阻止他們的結合。但友誼還是發展成了戀愛，有了男女關係。
1902年，米列娃未婚生下女兒莉莎。由於愛因斯坦的工作沒有著落，他們將女兒托人收養。1903年，被愛情衝昏了頭的愛因斯坦，在搞到伯爾尼專利局的飯碗後，仍舊義無反顧地娶了她。他們婚後又生了兩個兒子。
但由於性格不合，而且經濟拮據，沒過幾年，米列娃就被愛因斯坦稱為“我的十字架”。到了1909年，他倆之間卿卿我我的日子已經結束，從此開始長達4年的分居生活。1913年愛因斯坦寫信給表姐愛爾莎說：“我對待妻子就像對待一個不能解雇的雇員。我有自己的臥室，避免和她單獨呆在一起。對於這種方式的‘同居’，我頗能忍受。”1914年，米列娃負氣帶著兩個孩子離開柏林回到蘇黎世，夫婦二人的關係徹底崩潰。1919年他們正式離婚。
盡管愛因斯坦與米列娃離婚了，但仍關心她的安全。納粹上台後，愛因斯坦希望米列娃離開瑞士，回到她的出生地塞爾維亞。米列娃沒有接受他的意見。幸運的是，塞爾維亞後來被德軍占領，而瑞士卻沒受打擾。此後，米列娃直到去世都生活在蘇黎世。她的晚年飽受病痛折磨，生活頗為淒慘。
愛爾莎（1876～1936）是愛因斯坦的表姐，比他大3歲，從小就與他相熟。1896年，她嫁給了一個紡織業主，生下了兩個女兒，1908年離婚。1912年，她與愛因斯坦取得聯係，不久他們之間的關係發展為戀愛關係。愛因斯坦1913年返回德國，其實很大原因是與她有關。1916年到1917年間愛因斯坦胃痛齊發，臥病在床，差點了賬時，得到了愛爾莎無微不至的照顧，他才從鬼門關爬了回來。
那時愛爾莎還是情人，所以她經常能收到愛因斯坦這樣的文字：“如果允許我在您身旁散步，即使隻有幾次，我也會感到幸福；或者隻要我能靠近您，我也會感到歡樂。我很痛苦，因為不允許我真正地愛。愛一個女人而我對她隻能看看。我甚至比您更痛苦，因為您的痛苦隻在於無法擁有。”
據傳記作家的說法，愛因斯坦對女人“最大的獎賞”，就是“收用”她們為情人；但是，女人一旦被他收用，便立刻貶值萬丈，成為他發號施令的對象、不屑一顧的累贅。但是，一生對紅顏無情寡信的愛因斯坦，竟獨向愛爾莎低頭。他們1919年結婚，1933年移居美國，直到1936年愛爾莎死於循環係統和腎方麵的疾病。在她臨終前的那些日子裏，愛因斯坦對飽受病痛折磨的愛妻關愛備至。
與米列娃不一樣，愛爾莎在學識上與愛因斯坦並不般配，可她仰慕他的名氣，保護他不受外界的打擾。雖然愛因斯坦不一定是最忠實、稱職的丈夫，對她卻關愛有加，喜歡她在家裏營造的溫馨氛圍。
可是，愛因斯坦對愛爾莎也不是十分用心。論到對待愛人，愛因斯坦比席勒可差遠了，很少有感恩之心。嫁給愛因斯坦之後，單是為教他習慣使用牙刷、梳子和肥皂，愛爾莎就奮鬥了整整一生，而其收獲是愛因斯坦的火冒三丈。在柏林，有一次愛因斯坦給愛爾莎寫了個紙條：“如果我讓你如此倒胃口的話，那就去找個合你胃口的男朋友吧！”落款是：“你的邋遢鬼阿爾伯特”。
不過，縱觀愛因斯坦的所有女人，愛爾莎肯定最適合做他的太太。卓別林曾這樣描述她：“這是個身寬體胖的女人，生氣勃勃，非常樂於做身邊這個偉人的妻子，並且絲毫不隱藏這一事實。