胡蝶能夠在失敗的戀愛中，總結教訓，避免人生重蹈覆轍，當不失為明智之舉。
一段緋聞關乎“九?一八之夜”
眾所周知，1931年9月18日晚上，日軍炮轟沈陽，東北三省相繼淪陷，這就是著名的“九一八事變”。
噩報傳來，舉國震驚，全民悲憤！而與此同時，一則關於東北軍將領、少帥張學良的不利消息也不脛而走。刹那間，謠言飛得滿天都是，令卷入其中的張學良將軍和同樣無辜的胡蝶深受其辱。
“南社”著名詩人、廣西大學校長馬君武在1931年11月20日的上海《時事新報》上，以“馬君武感時近作”為題，發表了《哀沈陽?二首》：
（一）
趙四風流朱五狂，翩翩蝴蝶最當行。
溫柔鄉是英雄塚，哪管東師入沈陽。
（二）
告急軍書夜半來，開場弦管又相催。
沈陽已陷休回顧，更抱阿嬌舞幾回。
可以想象，在國難當頭的時機，這首詩一經發表，立即就引起了全國性的轟動。各種新聞報紙紛紛轉載馬君武的詩。當時的《庸報》上還出現了一篇《張學良的“九?一八之夜”》：“民國二十年九月十八日夜，日本關東軍發動大規模進攻，一路燒殺搶掠，無惡不作，東北三省之同胞陷入水深火熱之中，而東北軍之最高統帥張學良將軍彼時卻正與紅粉佳人胡蝶共舞於北平六國飯店……”
有些小報更是添油加醋，把事情說得越來越玄乎。它們“披露”說，胡蝶與張學良如何由跳舞而相識，進而“過從甚密”，“張贈胡以十萬巨款”。一時間，“花邊新聞”到處都是。
很多年之後，《胡蝶回憶錄》追憶此事，胡蝶這樣寫道：“世間荒唐的事情還真不少，沈陽事件發生的時候，我那時還跟明星公司攝影隊一起逗留在天津，沒有踏入北平一步……後來為拍《自由之花》到北平時，已是‘九一八’事變約一周，未料此行會引起一段莫須有公案。”
等到胡蝶拍攝完畢回到上海，已是11月下旬了。她剛一到家，就發現氣氛不對：母親似乎剛哭過，而父親也在生氣。她正在疑慮出什麼事了，父親卻把一摞報紙摔過來：“你在北平幹什麼事我們不知道呀，你自己看看吧！”
胡蝶拿過報紙，赫然幾個大字標題映入眼簾：《紅顏禍國》、《不愛江山愛美人》、《東三省就是這樣丟掉的》。等到看完內容，胡蝶又驚又怒，她厲聲斥責：“這根本不是事實，全是造謠！”聞訊趕來的張石川、洪深等看到了這些文章也很氣憤。起初，他們想登報澄清，又擔心會被人認為是欲蓋彌彰。誰知，事態卻越鬧越大。很快，《時事新報》上就出現了馬君武的《哀沈陽》詩，並登有胡蝶的照片。一時間，輿論對胡蝶非常不利，到處都是指指點點。
此時，明星公司認為不能再沉默了，再沉默下去無論對胡蝶本人還是對公司都是一種巨大的傷害。就在馬君武詩發表的第二天，《申報》連續在11月21日、22日刊登《胡蝶辟謠》的啟事：
蝶亦國民一分子也，雖尚未能以頸血濺仇人，豈能於國難當頭之時，與負守土之責者相與跳舞耶？‘商女不知亡國恨’，是豬狗不如者矣！
盡管發表了辟謠啟事，胡蝶對於馬君武還是采取了理解的態度：“馬君武激於義憤，一時也未能考證事情的可靠與否，隻是將我也牽連進去了……是日本通訊社從中造謠中傷張學良，以引起國人對他的憤慨，轉移目標。”在她看來，“對於個人生活瑣事，雖有訛傳，也不必過於討較，緊要的是在民族大義的問題匕不要含糊就可以了。”
這就是胡蝶，一個大義凜然和胸襟寬闊的女人。
她還說，“我和張學良不僅那時未謀麵，以後也未見過，真可謂素昧平生。1964年6月，我赴台灣出席第十一屆亞洲影展時，還曾有記者問我要不要見張學良，我回答說：‘專程拜訪就不必了，既未相識就不必相識了。’”
潘郎：夙願同償胡蝶夢
從“雪蝶分飛”這段感情裏狼狽逃出來的胡蝶，輕易不再許心以人，直到那一天，她遇到了他。
他們是在一個朋友的私人舞會上認識的，這個叫潘有聲的人，在禮和洋行工作，後又到德興洋行任總經理，是個做事業的人，但卻又是一派儒雅作風。與胡蝶拍戲的導演鄭正秋說：“潘有聲雖會做生意，而神氣完全是個大學生。”他做事穩重的態度，又有淵博的知識，這讓胡蝶欽慕，而胡蝶亦是他的傾慕之人，於是他們談戀愛了。
但經曆過一次感情創傷的胡蝶，遲遲不敢步入婚姻的殿堂，潘有聲始終保持無微不至的關懷，這終於贏得了胡蝶的信賴。和潘有聲在一起，她感覺到的是一種安詳的寧靜，在外麵弄得一池漣漪的心回到這裏後總能很快恢複平靜，這是一種寧謐的愛。
於是1935年11月23日，胡蝶與潘有聲在教堂結婚了，他們結婚的時候，這位其貌不揚的夫君，還被人寫賀詩調侃：
喜聞寶劍合延律，畢竟潘郎近至尊（潘有聲長下似明太祖）。
夙願同償胡蝶夢，萬人爭看阮修婚。
明星夜照雙星燦，情舌私調閩舌溫。
寵集應防傾國妒，萬千尊重美人恩。
此時，胡蝶的聲譽如日中天，她已經到達了演員的巔峰之處，而這個女人顯然十分理性，也十分清楚自己即將麵臨什麼，所以她做了一個決定，那就是激流勇退——如果你仔細看她的每一張照片的話，你會從她的眼睛中看到一種女人的深邃和睿智。
結婚之後，胡蝶息影，急流勇退，移居香港。
避難香港：有原則有立場
胡蝶雖然極會做人，但她是有原則有立場的。這是她值得肯定的一麵。胡蝶在避難香港時，體現了她性格中的這一麵。
起初剛到香港，戰爭還未波及此地，現世尚安穩，歲月還靜好。潘有聲努力工作養家，這期間，胡蝶偶爾又出來玩票一般拍過幾部電影。但珍珠港事變後，日機開始轟炸香港，這個幸福的小家庭也開始疲於奔命，他們已經深知香港非久居之地，還在給孩子喂奶的胡蝶和潘有聲在猶豫之時，1941年12月25日，港九殖民當局向日本華南派遣軍總司令酒井隆中將投降。入夜後，飄揚在香港上空的英國米字旗換成日本太陽旗，對胡蝶來說，這是一個黑色聖誕節——就在英軍向日軍投降的這一天，以《駙馬豔史》出名的紅影星梅琦小姐偏偏把與有“華南影帝”稱號的張瑛的婚禮定在了這一天，結果，前來的不僅有嘉賓，還有不速之客日本兵，日本兵當著張瑛的麵將梅琦潔白的婚紗扒下，然後強奸了她。當得到這個消息後，同為影星的胡蝶自然有一種不寒而栗的感覺，因此，她後來把香港投降日稱之為又一個“蝶恥日”。
胡蝶開始深居簡出，然而，日本也開始采取一些懷柔政策，想籠統一批中國的著名人物，為他們的“大東亞共榮圈”作宣傳。胡蝶成了要籠絡的對象，日本要求她與日本的電影公司合作，到日本拍攝《胡蝶遊東京》。胡蝶推說有孕，不便拍片，等分娩後再說，一方麵開始積極準備暗中逃亡之事。
當年代表上海租界數百萬民眾，向堅守在四行倉庫的八百名壯士獻旗慰問、而名揚天下的楊惠敏帶人營救胡蝶一行知名愛國人士。臨走前，楊惠敏還特意提醒胡蝶，行李不要帶的太多，一兩件就可以了。人與行李必須分開，以免泄露行藏。
於是，胡蝶將全部家產整理出三十箱細軟，分開先行。他們由遊擊隊員護送，長途跋涉，終於到達廣東。在廣東曲江蓋了所簡易的房子，取名為“蝶聲小築”。