潘玉良不僅感激王守義，還把他作為情感傾訴的對象。她有兩件最經典最得意的雕塑作品，一件是張大千塑像，另一件便是王守義塑像。王守義塑像完成後，她把它放在自己的臥室，其中的意義不言而喻。
南京陷落後，潘玉良與潘讚化失去聯係，這讓她痛苦萬分。這時，王守義向她求愛，她抑製著淚水婉拒：“我不諱言，我有痛苦，但也有寬慰，那就是讚化和我真誠相愛，我雖然和他隔著異國他鄉，但我相信總有一天，我還要回他的身邊。”王守義眼淚奪眶而出，聲音顫抖地對玉良說：“好姐姐，你！……原諒我吧！”玉良又說：“都怨我不好，惹你傷心，好兄弟，你恨我吧？”守義，守義，這個名如其人的男人，此後再也沒和潘玉良言及婚姻。
1977年潘玉良去世，王守義主持了她的後事，並花重金在蒙巴納斯公墓買了一塊使用期100年的墓地，安葬這位孑然一身客死他鄉的女畫家。他還在大理石墓碑上親筆書寫了“潘玉良藝術家之墓”幾個漢字。
中法建交之後，王守義思鄉心切，因為在家鄉還有他的結發妻子和離家時才2歲的兒子。當他辦好手續準備回國探親之際，“文化大革命”打碎了王守義的思親之夢。一直到1978年，王守義才得以成行，回到魂牽夢繞的故國，並將潘玉良的遺物交給了潘讚化的後人。他決定要落葉歸根，回國定居。
就在王守義返回巴黎，辦理好回國定居的手續，準備回國的前幾天，他被查出患上惡性腫瘤。住院僅10多天，沒有留下任何遺囑，就帶著遺憾離開了人間。他匆匆去世後，旅法華僑俱樂部及親朋好友一起商量決定，將王守義的遺體安葬在潘玉良的墓地。這兩位“同是天涯淪落人”的好朋友，從此就互相為伴，長相廝守。墳墓上隻有一個墓碑。是命運還是緣分，有意或無意地把兩個孤獨的老人，安葬在異國他鄉的同一塊土地上，讓王守義繼續默默地照顧這位漂泊天涯的藝術家。
潘玉良比張大千大4歲。兩人在近30年的交往中，一直以“大千弟”、“玉良大姊”相稱，彼此結下深厚的友誼。潘玉良的作品中有一幅彩墨《豢貓圖》立軸，這幅畫的背後，其實還有一段令人無法不為之動容的故事。
那是1956年的5月，57歲的張大千第一次赴巴黎舉辦畫展，他第一個要見的人就是61歲的“玉良大姊”，這是兩人自1937年於南京分別20年後的相逢。畫展期間，玉良多次請“大千弟”到家敘舊。一日下午，潘玉良備了一桌好酒菜，陪客的隻有常玉和王守義兩人。常玉是四川人，旅法著名油畫家；王守義是她的藍顏知己。邀四川同鄉陪客，請知己兼高級廚師做菜，如此一頓盛情款款的飯，足見潘玉良的用心。張大千在萬裏之外的國度，見到久未相見的老友，吃到地道的家鄉菜，心中的喜悅自是無法言喻。
夜闌人靜，幾個人仍在促膝長談，這時，張大千的視線投向牆上圖釘按著的一幅彩墨畫，它是潘玉良剛完成的立軸《豢貓圖》，畫中是兩隻與真貓一樣大小的白貓，相互嬉戲，形象生動。背景是簡筆山石，斜出的枝頭擺動幾片綠葉，筆墨清雅，主題突出。
“能在上麵題幾個字嗎？”潘玉良說著，常玉便取下畫，王守義清理案桌，大千略加思索，揮毫寫下五行長長的題語：“宋人最重寫生，體會物情物理，傳神寫照，栩栩如生。元明以來，但從紙上討生活，是以每況愈下，有清三百年更無進者。今觀玉良大家寫真所豢貓，溫婉如生，用筆用墨的為國畫正派，尤可佩也。”下麵是落款鈐印。於是，便有了後來世人在畫展上見到的書畫合璧的《豢貓圖》。
題完字後，張大千赫然發現，潘玉良臥室鏡框內的一幅《墨荷畫》很麵熟，想了半天，才想起那是20年前他繪贈潘玉良的。
原來，早在20世紀30年代初期，潘玉良在南京中央大學美術係任教，家住上海，與當時同住滬上的張大千就有交往。1936年，張大千受聘南京中央大學美術係教授，二人交往更加密切。就在潘玉良決定二次赴法前，張大千特作《墨荷圖》惠贈，此後，潘玉良就一直將此圖掛於臥室。
據同期留學法國的友人描述：潘玉良性格爽快，敢說敢為。她身材不高，留齊耳兒短發，喜歡喝酒，說話嗓門很大。和她在一起，一般人不會把她當成女人，常常把她當成“哥們兒”一樣看待。潘玉良愛唱京戲，猶擅黑頭（花臉），友人說她唱黑頭不用假嗓，扮相也不用特意化妝，隻要往台上一站，活脫脫的就是一個竇爾敦。那時候留學生的生活都比較單調，也隻有唱幾出京劇，聊表思鄉之情。