邊塞峽口三更月，揚子江頭萬裏心。
新中國剛成立，潘玉良就來信說要回國。潘讚化回信：“朝鮮戰爭爆發，上海‘天天空襲，人心惶惶’，還是在國外安居幾年為是。”這才擱置下來。此後，她鼻疾發作，多次手術，尤其是1952年的手術，術中遇險。
1953年以後的幾年，由於王守義為她策劃的展覽成功，她就忙了起來。那幾年是她事業上最成功的幾年。1956年，她第二次正式申請回國，但因法國當局不準帶回作品而滯留交涉。她曾函請安慶市民政局協助解決此事，卻因中法無外交關係未果。
1958年，潘玉良致信潘讚化：“讚兄，我雖然不便同你一起生活，但精神方麵你我是相通的……” 1965年，中法建交，年邁的潘玉良多次來信要大孫潘忠立去巴黎，一邊幫她整理作品，一邊好接她回國。然而“文革”爆發了，潘玉良回國夢再次成為泡影。她信中屢屢說自己在精神方麵相當痛苦，有家回不得。潘讚化安慰她：“我中國數千年的故事小說，人生遭遇結局總是大團圓，你放心罷，也不能例外嗬！”的確，“大團圓”是中國傳統故事的統一結局。潘讚化樂觀的安慰，還是中國思維。
“三不女人”潘玉良
在法國，潘玉良長期住在窮學生常住的小閣樓。和她接觸過的人都說她為人善良、內心堅韌。旅法畫家賀慕群曾回憶說：“潘玉良生活並不富裕，但是生性豪爽樂於助人。氣勢不讓須眉，頗有男子氣度。”晚年時她生活在蒙帕納斯附近的一條小街，住在頂樓，住房兼畫室，生活清苦，但仍勤於作畫，有時候一天到晚在家作畫，整天都不出來。
她在法國的時候，有個“三不女人”名聲：一不戀愛，二不入外籍，三不簽約於畫廊。
不戀愛，是對潘讚化的忠貞，亦是為自己的名聲守節。她一生受恩於潘讚化，而最終卻未能留在他身邊，心中難免有愧。因而，她一直堅持獨身。
不入外籍：她離開祖國的時候，中國正處於危難，她常常在畫中寫“邊塞峽關三更月，揚子江頭萬裏心”之類的句子，以遣鄉愁。她對祖國的忠烈，大概是類似於南渡之時的李清照，雖然一腔熱血未能在戰場上揮灑，她們卻都用藝術的形式將之傳承下來。1937年，日本占領南京之時，潘玉良懷著憂憤之情連夜做了《中國女詩人》的雕塑，而這個雕塑的原型便是李清照。
而不簽約於畫廊，則像是一種固執的堅持。潘玉良不是梵高，她活著的時候就在國際上獲得了很高的聲譽。她的畫在哪兒都能賣到很高的價格，可是她在法國期間卻從不與畫商合作。缺錢的時候，她就把平庸的作品拿去賣了換麵包。然而，那些好作品，她都一一珍藏下來，在她逝世後送回了祖國。
在潘玉良的心中，有很多東西都是被奉在神龕裏的，它們比金錢更寶貴，比生命更重要，所以她願意去做一些看似無意義的堅守。她默默地想著，留住一個名頭也是好的。比如說愛情，比如說藝術……
異國他鄉 相依為命
1951年，潘玉良接到潘讚化的來信，得知潘牟被打成“右派分子”，劉海粟也被打成“右派分子”。潘讚化讓潘玉良與潘牟和劉海粟劃清界限，實則暗示她此時不宜回家。這讓一直苦盼回國和親人團聚的潘玉良，一顆火熱的心，直跌落到冰點。
她隻好留居法國。就在這以後，在她的生活的圈子裏，有了一個相守相知幾十年的藍領知己。他就是王守義。可以說，潘玉良在她的後半生與在巴黎開中餐館的王守義相依為命。
上世紀四十年代的法國亦是戰亂四起。潘玉良鮮少售畫，而她也早與潘讚化斷了音訊，生計很快就成了問題。在一次猛烈的暴風雨中，她的畫室也被摧毀。是王守義的接濟，使她有了安定的生活環境。
她與王守義也不單隻一個擁抱，潘讚化於1959年去世後，他們同居在一起，直到去世。
那一年，潘玉良已65歲，王守義大她一歲。兩顆孤獨的靈魂遂相互依傍，相互取暖。但她並未嫁給王守義，他在出國前已娶妻生子。
王守義還是潘玉良從事繪畫和雕塑時的助手、追隨者，或者仰慕者。他懂得欣賞潘玉良的品德和才情，無論是輝煌的時刻，還是落魄的歲月，王守義總是默默地陪伴和幫助她，在她的孤獨和寂寞裏邂逅了很多的溫暖。這是潘玉良的一種幸福。這幸福的模式也是很多女人想要的：平淡而真實，有安全感，那是身心疲憊不堪時的最好歸宿。
葬入巴黎 遺作歸國
潘玉良極具滄桑，卻又不能事事明講的，是她所付出的艱辛和所經曆的坎坷。從一個沒有受過最基本教育的青樓女子成為蜚聲世界藝壇的藝術家，潘玉良所走過的每一步，都是在以最拚命的方式邁出。
1977年4月，王守義和潘玉良離開巴黎郊外的住宅，搬進了巴黎政府官員的宿舍。
1977年7月22日潘玉良在巴黎病逝。王守義以十萬法郎重金在蒙帕納斯公墓租下為期一百年的墓地，又為潘玉良舉行了隆重的葬禮。
潘玉良著旗袍入殮。墓前鮮花遍地，參加者不同膚色，人們手捧翠菊和紫紅色康乃馨，表情肅穆。平滑如鏡的黑色大理石墓碑上，鑲嵌著長眠者的白色大理石浮雕像。雕像的下方，懸掛著十多枚造型各異而又美觀的獎章；右邊是一行用中國漢隸體鐫刻的碑文：藝術家潘玉良之墓。這是潘牟請安慶的書法家用整張的宣紙書寫的。
得知潘玉良已經棺葬於巴黎巴拉斯公墓，家人便將王守義帶回來的潘玉良衣物葬成衣冠塚，與潘讚化合葬在一起，並立了漢白玉的墓表。
1985年，在中國駐法使館的幫助下，經過後人的諸多努力，潘玉良的兩千多件遺作終於運回了潘玉良的故鄉安徽省博物館。而她畢生的藝術心血結晶，直到這時才終於回到了祖國的懷抱。
就這樣，從孤兒到雛妓，再到小妾，複至畫家，乃至中國最高學府的教授，最後是世界藝壇上著名藝術家，潘玉良在古今中外的經傳中，她以不可代替的位置，成為了一個非常特殊的典型：二十世紀中國政治動蕩和文化碰撞的社會巨大變革背景下，經過個人努力獲得成功的女性。由於她與眾不同的經曆和性格，使她成為二十世紀中國最為突兀，也最具代表性的女性藝術家。她的傳奇色彩，隔了半個世紀，縱橫交錯在了我們的今天。
潘玉良警示錄：
人生不相信眼淚，縱然嫁得一個有錢男人，還得自身過硬才行。要不然，潘玉良那一生都無法擺脫的出身陰影，就足以讓她毀了再毀，崩潰了再崩潰。殘酷的現實總是這樣，怕什麼偏來什麼，那一大堆的麻煩，在惡意煽動下，總是會找上門來。
這時候，救苦救難的觀世音菩薩，就是女人自己。潘玉良就是這樣，她做了自己的菩薩，在一道道難關前，她拯救自己於苦難之中。
菩薩就是你自己！