同居期間，為了討胡蝶的歡心，戴笠又為胡蝶修建了好幾處住所，如羅家灣19號、重慶南岸汪山、嘉陵新村、浮圖關李家花園等等。另外在楊家山公館前麵還特地修建了一處很考究的花園，花費了近一萬銀元購買了各種名貴奇花異卉用以裝點花園。他和胡蝶住在這裏時，每天早晚都要陪胡蝶去花園散步。胡蝶雖然生活在這樣優越的環境裏，但由於不能與自己的家人在一起，又不能從事自己深愛的電影事業，所以她仍然天天悶悶不樂，戴笠對她越好，她越覺得自己的人生是一個悲劇。她覺得自己一步步地被毀滅掉了，再也找不回原來那個純潔、坦率的自己了，一念及此，她就常常淚濕衣襟。
1946年，胡蝶隨戴笠回到了她思念了8年之久的上海，令她沒有想到的是戴笠向她提出了結婚的要求。戴笠動情地說：“我今生最大的心願，是與你正式結為夫妻，你是我的唯一，其他什麼事都不能改變我對你的愛。我是真心愛你的，為了你，我什麼都可以不要。我現在最大的心願就是與你正式結婚。”為了達到和胡蝶結婚的目的，戴笠再次安排潛伏特務拘押了潘有聲，並暗中讓人誘勸他解除與胡蝶的夫妻關係，以便他與胡蝶正式結婚。期待著與家人團聚的胡蝶含著眼淚對丈夫說：“有聲，雖然我們辦了離婚手續，但是我的心是永遠屬於你的，姓戴的隻能霸占我的身體，卻霸占不了我的心。”就在戴笠一心準備在1946年3月下旬與胡蝶正式舉行婚禮時，他卻因飛機失事燒死在南京西郊的戴山上。
戴笠的突然離世，使胡蝶重獲自由，她又回到了丈夫和孩子的身邊。可是當一家人終於團聚在上海，準備開始新的生活時，她又猶豫了。經過抗日烽火洗禮的上海，活躍著的是新一代更加年輕有為的女影星，上海電影的未來已經不再是屬於她的了；生活上，她與戴笠之間的關係，使她無法從容麵對從重慶等地重返上海的左翼影人，尤其是無法逃避一批有“隱私癖”的黃色報刊記者，好友阮玲玉悲憤自殺一事使她對“人言可畏”更增添了一份恐懼。經過一番慎重的討論，胡蝶和潘有聲決定攜一雙兒女去香港發展。
到香港後，潘有聲創辦了以生產“蝴蝶牌”係列熱水瓶為主的興華洋行。胡蝶傾注了全力，輔佐潘有聲從事經營。這種苦盡甘來，朝夕相處的生活隻持續了六年，潘有聲就病逝了。她這一生隻有兩個最愛，一個是潘有聲，一個是電影。丈夫先她而去，使她始終無法擺脫孤獨和傷感，對電影的思念一日濃似一日。
1959年，在親友的鼓勵下，已年過半百的胡蝶加盟邵氏公司，回到了闊別十年的電影界。她先後為邵氏公司主演了《街童》、《苦兒流浪記》、《兩代女性》、《後門》等片，其中《後門》一片獲第七屆亞洲電影節最佳影片金禾獎，而她則獲得了最佳女主角獎。
1975年，胡蝶移居加拿大溫哥華，並改名為潘寶娟。寶娟是她父母為她起的乳名，以潘為姓則表達了她對亡夫潘有聲的懷念之情。告別了影壇又身居異地的胡蝶，時常懷念著祖國，關注著中國電影的情況。每當有人去看望她時，她總是不忘叮囑來人回國後，代她向國內觀眾，尤其是上海觀眾問好。上海是她真正的家，每當她心潮澎湃，思緒激蕩時，她就恨不得身上長出雙翅，立刻飛回到那塊生她養她造就她事業的熱土。
在她的回憶錄裏，她深情寫道：“據說溫哥華的地形像攤開的右手，手的方向是伸向太平洋彼岸的亞洲，伸向中國。我住在這濱海城市的臨海大廈，不論是晴朗的白天，或是群星燦爛、燈火閃爍的夜晚，當我站在窗戶邊向遠處眺望時，我的心也像溫哥華的地形似的，伸向東方，希望握著祖國——我的母親的溫暖的手。”但是麵對祖國朋友和故鄉影迷的召喚，她卻以身體不濟，力不從心為借口一次次的推脫，與戴笠之間那段難於啟齒的往事，是橫亙在她與故鄉之間一堵無形的牆，情感上的難堪使她邁不動回家的步伐。她害怕記者會問起這段封鎖在她內心最深處的記憶，甚至於在她自己晚年所寫的回憶錄裏，她也有意地回避了這段讓她不堪回首的前塵往事。
1989年4月25日，翩舞人間近百年的胡蝶在溫哥華因病與世長辭，應她的要求，她的骨灰被安葬在她深愛了一生的親人旁邊。這位中國第一位影後留給世人的最後一句話是：“胡蝶要飛走了！”