二戰結束後，愛因斯坦繼續積極參加多種社會活動。1946年，他支持黑人歌手、演員和運動員團結起來反對私刑。1952年，他公開呼籲給因間諜罪被判死刑的朱利葉斯·羅森堡夫婦免除死刑等。
傑羅姆的書中說，也許正是因為如此，胡佛就認為愛因斯坦是一個左翼人士，是有著共產主義意識的人物，也就是一個“危險的人物”。
胡佛曾專門寫了封信總結愛因斯坦的反戰和左翼活動，還擬就了一個未署名、未標明日期的“傳記梗概”。這個梗概中說，在20世紀30年代初，即愛因斯坦於1933年到美前的兩三年裏，愛因斯坦在柏林的住宅是“一個共產主義活動的中心”，他在英國卡珀斯鄉下的別墅是“莫斯科特使的匿身之處”。這份梗概因此推測：“基於這種背景，此人在短短時間內搖身一變，成為一個忠誠的美國人，看來是不可能的。”一些曆史學家懷疑，胡佛受到了德國右翼情報來源的影響。
一些曆史學家都認為，FBI盯上愛因斯坦一點也不奇怪。《沒有象牙塔：麥卡錫主義和大學》的作者、耶希瓦大學曆史學家埃倫·施雷克說：“愛因斯坦危險，因為他讚同共產主義者的理想。”“他們認為愛因斯坦是左翼人士，因而是危險人物。”《秘密的權力：埃德加·胡佛的一生》的作者、市立紐約大學的曆史學家理查德·吉德·鮑爾也認為，這並不奇怪，因為愛因斯坦太出名了，美國政府勢必擔心他這樣的知名人物批評美國的政策，那會“誤導”老百姓，所以FBI隻有選擇監視他，特別是在二戰後。
二戰後，FBI對愛因斯坦的監視工作逐漸升級，他們監視的範圍已經不限於愛因斯坦本人。愛因斯坦的秘書海倫·杜卡。愛因斯坦的姐姐，還有他的繼女馬戈都受到了監視。
FBI對愛因斯坦的秘書杜卡可謂“情有獨鍾”。1943年，FBI就曾闖入杜卡的侄子、一個反法西斯組織的領導者家中“收集證據”。1944年，FBI又表示，杜卡很可能已經通過愛因斯坦取得有關原子彈的情報，聲稱她卷入了“高度可疑的”活動。到了二戰後的1946年，根據FBI文件備忘錄，負責監視愛因斯坦的情報人員一度要求允許監聽杜卡的電話，但FBI上層拒絕了這一請求，因為擔心“畫虎不成反類犬”，如果被抓住的話，容易惹火上身。然而，情報人員仍然跟蹤打到愛因斯坦家的電話和送到他家的郵件，前與收集有關愛因斯坦所接觸人物的資料。然而，他們並沒有得到什麼有“價值”的“情報”。
1950年2月2日，美國逮捕了參與“曼哈頓計劃”的德國籍科學家克勞斯·富克斯。據稱此人向克裏姆林宮透露了關於1945年第一次原子彈試驗的情況，並提供了一張原子彈的草圖；富克斯的被捕，引發了美國對蘇聯間諜的大搜捕，FBI對愛因斯坦監視也相應進一步加強。據傑羅姆說，巧合的是，當年2月12日，愛因斯坦出席了埃莉諾·羅斯福的電視節目，討論軍備競賽的危險。13日早晨，該節目第一次播出後，胡佛立即要求對愛因斯坦進行全麵調查，並命令取得所有相關的“反麵信息”。
傑羅姆的新書透露，FBI也注意到愛因斯坦曾與馬加麗塔·科年科娃有過密切接觸，後來有人說馬加麗塔·科年科娃是蘇聯間諜，但證據並不足。而據1998年在索斯比拍賣行拍賣的愛因斯坦的有關手寫信件中發現，科年科娃其實是愛因斯坦的情人，但FBI沒有注意到這一點。
直到愛因斯坦去世，胡佛也沒有找到能證實愛因斯坦是間諜的材料，隻好封存檔案，不了了之。