1918年，潘玉良考入了上海圖畫美術院（後改為上海美術專門學校）。
潘玉良在學校的生活可說是非常美妙的，但是也有著許多的波折。那個時候，要找一個人體模特可說是非常之難，人們對於自己的裸體也不像現在這般，會抱持著一種欣賞的態度，裸露在當時是一件非常罪惡的事情。潘玉良雖然說出身風塵，卻一直以來都十分矜持自重，對人的裸體也沒有一個特別清晰的認識。於是在人體畫上，一直都是弱項，總是沒有辦法畫出真實正常的比例。對此潘玉良一直耿耿於懷。
有一次，潘玉良在一個公共浴室洗澡，看著眼前走過的一具具身體，突然眼前一亮，這不是現成的模特嗎！於是情不自禁地拿出了包裏的畫筆開始畫，畫得如癡如醉。正在此時，一個女人發現了潘玉良在畫畫，驚叫了起來，浴室裏的人團團圍了上來，憤怒地朝潘玉良撲過去。還沒等潘玉良反應過來，臉就不知被誰打了一巴掌，她緊緊地把畫護在懷裏，好不容易才從這堆瘋了一般的女人堆裏爬出來。
鬧出了這麼一個風波以後，潘玉良感到十分苦惱，但是她隨即想到，不能畫別人，我還能畫自己呀。於是，她開始做了自己的裸體模特。有了活生生的模特，潘玉良的畫技便越來越好了。當然，這絕不能讓別人知道，於是潘玉良每次都會刻意地不把自己的頭部畫上去，避免別人知道這是她。
又到了潘讚化來看望她的時候了，潘玉良十分開心，迫不及待地要和自己的情郎分享自己的成果，當潘讚化看到玉良鋪在桌上的一張張裸女圖的時候，他仿佛晴空霹靂一般，萬萬也沒想到眼前出現的竟然是這些不堪入目的東西。而玉良並未察覺到這些，而是繼續很興奮地展示著她的作品。潘讚化沉下臉來，十分不高興地問玉良誰是模特，當玉良十分自豪地道出自己給自己做模特的事情的時候，潘讚化再也忍受不住了，發起飆來。他憤怒地撕毀了桌上的畫，第一次開口罵起玉良。潘玉良被這突如其來的事情嚇得呆住了，眼淚順著臉頰流了下來，就在那一瞬間，她終於意識到，自己所追求的藝術之路並不像預期的那般平順，前方充滿了更多更多的挫折與痛苦。但她也更加清楚，這個夢想將是她一生的追求，甚至勝過她的生命。
潘讚化的大夫人是一個裹著小腳的舊式女人，極為陳腐，對於潘玉良這個突然闖入她的生活、與她爭奪丈夫的女子，她睚眥必報，寸土必爭。大主小卑，是她堅信的原則。稍有不從，她就會給潘玉良難堪，弄得潘讚化又心疼又無助。為了提高畫藝，也為了躲避難纏的大夫人，在潘讚化的鼓勵下，潘玉良在上海圖畫美術院畢業後，又考取安徽省公費津貼留法的資格，成為裏昂中法大學的第一批學生，憑著繪畫的天分和努力，兩年後她又成為巴黎國立美術專門學校油畫班的插班生，與大名鼎鼎的徐悲鴻同學……九年異國他鄉的漂泊，潘玉良曆盡艱辛，亦飲盡了相思的苦，帶著學有所成的喜悅和對潘讚化的刻骨思念，她回國了。船到港口，當潘讚化像捧珍寶一樣把她緊緊擁到懷裏時，她的淚水湧了上來，心裏有個聲音在說：我再也不離開你！
但是，潘讚化的大夫人卻纏住潘玉良不放，你不惹她，她卻惹你，處處與潘玉良作對，這讓潘玉良的精神壓力很大。
這時，剛巧又發生了在畫展上《人力壯士》被人貼上惡毒的紙條一事。這紙條像一記響亮的耳光，登時把潘玉良的心擊痛。在家庭和事業的雙重傷害之下，潘玉良別無選擇，又重新開始了孤身旅居巴黎的生活。其實，這時候，她已經感覺到愛的無能為力，但是就像她一直把嵌有同潘讚化合影的項鏈戴在脖子上一樣，她固執地相信真愛不怕距離的遙遠。
在法國巴黎蒙巴納斯公墓第七墓區，靜靜地躺著潘玉良的墓。而在潘玉良的墓碑上，還刻有一個叫做“王守義”的人的名字和生卒年份，這多少讓人感到有些不解。
王守義是在1920年赴法勤工儉學的。學習成績平平，但是“勤工”成績很突出，由於能吃苦耐勞，心靈手巧，當汽車修理工時，技術就比其他同學好，錢也掙得比別人多。後來，他在巴黎開了一家中餐館，取名“東方飯店”，並出任旅法華僑俱樂部主任。雖然他當時並不富有，但時常接濟有困難的旅法同胞。
1937年潘玉良再次來法國時，他們相識了。潘玉良性格耿直，又不善經營，很少賣畫，生活上一直比較拮據，王守義為她送去了麵包黃油，還為她設置畫室，舉辦沙龍，並陪著她到外景地寫生。後來，王守義設法籌資，為潘玉良在法國、瑞士、意大利、希臘、比利時等國家舉辦畫展。潘玉良在西歐畫壇上的聲名與王守義的多方努力密不可分。