之後，她聽到潘讚化的嗬斥：“輕點兒，你是大戶人家的出身，要懂得什麼是知書達理。”潘玉良聽出潘讚化的真摯來。
於是，為了不讓潘讚化為難，進屋後，她就啪的一下跪在了大太太的麵前。但這對於一向好強的她而言，內心的苦痛和委屈是深刻的。她好像又回到了那個看似早已與她脫了幹係的“前世”裏了。她愛潘讚化，但是這愛讓她覺得太沉重、太壓抑。她知，他一直對她好，知他的為難。可是，愛情裏一旦有了傷痛或者阻礙，相愛的兩個人就如同掉進了深淵。
緊接著，又發生了一件讓她至為傷心的事情。
那是在第五次個人畫展上發生的事情。當時，她展出了一幅名為《人力壯士》的油畫。描繪的是一個肌肉非常發達的男子，用他非常有力的雙臂努力地搬開一塊巨大的岩石，好讓下麵脆弱的花朵能夠綻露。其象征意義是，表達中國人抗日的決心。
當時，教育部部長亦來參觀了這次畫展，並當場定下了這幅畫。玉良的意思是等畫展結束以後再把這幅畫送過去。可就在付訂金的當天晚上，整個畫展遭到了致命的人為破壞，許多畫被撕掉，那一幅訂購的《人力壯士》不僅被撕毀，在上麵還貼著一張令她心寒的紙條：這是妓女對嫖客的歌頌。
再堅強的心，在這一刻也頃刻瓦碎，支離破碎了。她終知道，在這個國度裏，那所謂的凡俗道德是不會放過她的。即使她做了西伯利亞的蝴蝶，度過了寒冬，獲得了重生又如何？那過往前塵終若那布上的血漬，洗掉的是浮華，永留下的是痕跡。
於是，潘玉良再一次選擇離開，把她和他的傷情離歌唱不休。
她，這一走就是40多年。
相思成災
帶著深深傷痛的潘玉良再次來到法國，一個人堅韌地、孤獨地居住在巴黎郊區的一個閣樓裏。此刻，她隻把自己沉浸在色彩繽紛的顏料裏，而讓思念的種子隻在心靈深處相思成災。
她用自己的方式愛著她生命中最重要的男人，她給自己製訂了一個“三不主義”：一是，不戀愛；二是，不入外國籍；三是，不簽約於畫廊。三項中有兩項是為他而訂的。
她的“不戀愛”，是源於她對他的感情。在這感情裏有很深的感激、感恩，她一直深念著他的好。她深知她的一切榮譽、一切快樂都是源於他，他讓沒有靈魂的張玉良變成了一個有靈魂的潘玉良。他對她而言，是刻骨銘心的，亦是無法忘懷的。所以，她用這樣真摯的犧牲去回報。
她的“不入國籍”，其實是她一直希望他能給她寫信讓自己回去。遠在異國他鄉的她無時無刻不思念著他，她一直希望他能寫信讓她回家。
可是，她不知道，這時的祖國已發生了天翻地覆的變化。
這一時期，因為政治問題，潘讚化丟掉了海關監督一職，成了一名南京政府實業部的專員。這專員的職位，說白了就是一個閑職。所以，這時候的潘生活很困苦。
也許因著這樣的情況，他不情願讓潘玉良回來吧。這世界諸多事情的微妙關係，我們也無從揣測，隻是我們知道，潘玉良等到人生的暮年，她也沒能等到他的邀請。這造成了她終生的遺憾，使她一生都滯留在孤寂的異國他鄉。
1960年，當她把獲得的巴黎市市長親自頒發的“多爾烈”獎和頒獎照片寄給潘讚化時，她深愛一生的丈夫卻已在安徽病逝。得知此事的她悲痛欲絕，遙望藍天，她感到自己的心空了。她陷入了一生中從來沒有過的孤寂和疼痛，往事一幕幕在腦海中浮現：他偕她漫步荷塘；耳鬢廝磨在燈下給她授課；他端碗熱氣騰騰的銀耳湯藥向她走來，一匙一匙送到她嘴邊；他貓腰鑽出了假山洞；他翹首在吳淞口巴望她回來……一合上眼，他就微笑著向她走來。
此後，潘玉良的身體進入了一個惡性的循環之中，她把思念彙聚成災，在追憶中思念著關於他的一切。她誓要，即便是山重水複她也要等到柳暗花明；即使是天人兩隔她也要堅定地心心念念著他。
所以，多年後，人們在她的遺物中發現了她保存一生的兩件物品：一件是結婚時潘讚化送給她的西式雞心盒項鏈；一件是當年蔡鍔將軍送給潘讚化的金懷表。西式項鏈裏藏著兩幅她和他的照片；懷表則是他作為一種信物、一份諾言，送給再次赴法的她。於此，我們看到了隔著浩瀚的海洋，隔著催人老的光陰，她和他續寫著一個偉大的愛情：兩情若是久長時，又豈在朝朝暮暮！
他鄉遇故知
張愛玲說過，一個女人莫大的悲哀莫過於牆上的釘子都是自己釘上去的。
第二次赴法的潘玉良，因著她的“三不主義”，使她在沒有任何親人朋友，沒有固定收入的情況下，生活得拮據而沒有著落。誠然，她是用“三不主義”死死地把自己釘在了牆上的。
但是，人們常說山不轉水轉，總有一天會轉到你家門口。看，在如此境遇中的她遇到了她生命中第二個男人—王守義。王守義是早期來法勤工儉學的學生，是潘玉良在上海任美專教授時的學生。他們邂逅相遇在彌爾畫苑。之後，這個比她小10多歲的學生就成了她忠實的崇拜者和朋友，小心翼翼地在她的生活中占據了一席不小的位置，成了她法國巴黎的情人。
他為人善良，富有同情心，在巴黎聖？米歇街開一間中餐館。對於玉良，他除了仰慕、除了尊敬，還有一種懵懂的愛戀。所以，他常在工作之餘，去看望清貧的玉良，不但照顧她的生活，還常常陪伴在日益孤寂的她的身邊。他猶如一個神聖的人，一個老天為眷顧苦難重重的她的禮物。
對於這樣一個正直的，有著孩子般可愛心智的王守義，潘玉良不是沒有想法的。所以，她惶惑了。於是，她開始為他張羅婚事，為他介紹女朋友，然而，幾番下來發覺全都是白費。王守義成了別人眼裏的怪人，對於給他介紹的女朋友，他是連見一麵都不會見。於是，她隻好作罷。她不想就此斷了他的幸福。於是，他們有了一次交心的長談。她有些殘忍地對他說，他們之間不可能有愛情，有的是姐姐和弟弟的親情。王守義在不能接受也得接受的情況下，淚流了滿麵。在他內疚地向她道歉的時候，不忍的玉良把他情不自禁地抱在了懷裏。這應該是他們唯一的一次擁抱，但不是情人與情人的擁抱，而是姐弟心靈溝通的擁抱。
之後，他們恢複最初，他依然無微不至地陪伴在她左右，直到她辭世。以至於，許多不明就裏的人們紛紛認定，他就是她在法蘭西的情人。可能，就是這樣的原由，在巴黎蒙巴納斯墓園潘玉良的墓碑上，除了她的名字外還刻有王守義的名字。如此，生前純潔相守的一對知音，死後終得身心相依伴千古。這樣未免不好！
魂歸故裏
“邊塞峽江三更月，揚子江頭萬裏心。”（玉良詩）。越是暮年，玉良思鄉之心越切，尤其到了最後的歲月，自知來日不多。所以，她在枕頭下麵留有一張字條，上麵寫著：
“這是我的家信，如果我死了，煩朋友們將這封信寄給小孫潘忠玉留作紀念。中國，安慶市，郭家橋41號。”
1977年7月22日，潘玉良默默地離開了人間。臨死前，她把自己珍藏一輩子的那兩件遺物交到王守義的手上，要他帶回故裏交到孫兒們的手上。如此，她到生命的最後一刻，還心心念念著他。不知他泉下可知。
1985年，經過呂霞光等人的努力，玉良2000多件遺作得以運回到故鄉，籌建成“潘玉良紀念館”。至此，這位細膩、剛強、堅韌的女畫家終於圓了她的願望，得以魂歸故裏。彼時，這個女子非同尋常的一生無疑成了一個傳說，像是達？芬奇筆下蒙娜麗莎那一絲永恒如謎一樣縈繞於唇邊的微笑，令人回味無窮！從十裏洋場的上海灘輾轉到藝術之都的巴黎，她帶給我們的是一段摻雜了舊上海和異國風情的紅顏沉香。她，用她如煙花一般寂寞的傳說，終給我們一個永恒的傳奇。