當晚，玉良留下來了。潘讚化把床讓給她，自己打了個地鋪睡。
一個正直而有憐憫心的男人總是讓女人敬慕的，況且他重情重義，不鄙視一個青樓女子，所以，潘玉良當即在心裏認定了這個男人，哪怕做牛做馬，哪怕吃糠咽菜。次日，潘讚化一早就出門了，玉良多少有點失望，那感覺像是一個新嫁娘盼郎歸。她在房間裏一個人低聲唱曲：溪中春水清，岸上春花明。潘讚化是讚著“好好好”進來的，窘得玉良羞紅了臉，起身說了聲“大人你回來了？”以掩飾自己的表情。潘讚化坐下，拿了一套新編高級小學課本給玉良。從此，他認真教，她努力學，知識的力量，讓玉良心底的藝術之夢複蘇了。
看她如此好學，潘讚化決定給她贖身回老家蘇州，但是玉良的反應是“大人，你讓我回蘇州，那不等於讓我從火海裏往火坑裏跳嗎？舅舅還能容我嗎？我寧願守在大人身邊，無怨無悔伺候你一輩子。”潘讚化不是不喜歡玉良，隻是因為家中還有妻室。玉良再三表態不計名分，潘讚化也就無話可說了，就這樣，潘玉良做了潘讚化的小妾。
婚後，二人去了上海，過著相知相愛並相惜的生活。有一天，潘玉良在自己的作品《荷花》中具名張玉良的上麵工整的加了一個“潘”字，讚化說：“你怎麼把姓改了？我是尊重女權和民主的，還是姓張吧。
”玉良回首一笑，撒著嬌：“我應該姓潘，我是屬於你的，沒有你就沒有我！”很多年以後，潘玉良被尊為“一代畫魂”。但當她還叫張玉良的時候，她隻是一個沒有靈魂的女人。這位命運多舛的女畫家幼時父母雙亡，14歲被舅舅賣入青樓。後來，她被潘讚化贖身並納為小妾，改名潘玉良，才“把脂粉化成油彩，重新塗抹了自己的生命”。
在丈夫潘讚化的鼓勵下，潘玉良報考了上海圖畫美術院（後改為上海美術專科學校）。據說考試成績相當好，榜單上卻沒有她的名字。愛才心切的校長劉海粟頂著社會壓力，提筆在榜上添上她的名字——就這樣，潘玉良成為上海圖畫美術院的第一個女學生。等到要畢業的時候，潘玉良展出了她的所有習作，其中就有她在浴室裏的人體素描和自畫像。民國初年，女性畫者限於社會環境等因素，往往要付出更多的努力，才能成就事業。何況，潘玉良始終背負著妓妾的身份。人們把她習畫的曆程當做豔聞傳遞。一名女同學甚至要求退學，“誓不與妓女同校”。校長劉海粟在敬佩潘玉良之餘，建議她去歐洲留學。因為他已經清醒地意識到，在當時的道德環境裏，潘玉良的繪畫才能會被扼殺掉。
在丈夫的支持下，潘玉良踏上了追尋藝術的苦旅。她於1921年到法國，先後在裏昂中法大學、巴黎國立美術專門學校學習油畫和雕塑。1926年她的作品在羅馬國際藝術展覽會上榮獲金獎，打破了曆史上沒有中國人獲得該獎的紀錄。
1929年，潘玉良回國，受導師劉海粟之聘，到上海美專任教，之後亦被南京中央大學藝術係聘為教授，後來還舉辦了“中國第一個女西畫家畫展”。其中最著名的一幅《人力壯士》，描繪的是一個肌肉發達的男子正努力地搬開一塊巨岩，岩石下脆弱的小花才得以綻露笑臉。其時，日本人已經入侵東三省，這幅極具象征意味、表達中國人抗日決心的畫作，被當時的一政府官員以1000塊大洋的天價訂購。
不料在收展時，有人蓄意破壞了潘玉良的所有作品，《人力壯士》那幅畫也被寫上“妓女對嫖客的頌歌”。潘玉良所麵對的不僅是世俗的偏見。在上海美專時的文人曾當麵嘲諷她是“鳳凰死光光，野雞稱霸王”。潘玉良一句話沒有說，一記耳光就打上去了。
潘玉良下定決心與這個不能見容於她的社會徹底決裂。她又一次求學法國。隨著後來國內的政治風雲變幻和潘讚化的去世，再也不曾回國。她自稱“三不女人”：不談戀愛，不加入外國籍，不依附畫廊拍賣作品。潘玉良客居海外40年，終日在臥室作畫，靠友人接濟度日。
臨終前，潘玉良隻委托友人將兩件遺物送回國內，那是結婚時潘讚化送她的項鏈和懷表。
愛上了繪畫的潘玉良獨自在上海的生活變得充滿樂趣了。潘讚化每到休息的時候都會去上海看望潘玉良，他發現，愛上繪畫以後的潘玉良仿佛變了一個人似的，每當談起繪畫，潘玉良整個人就仿佛閃爍著奇妙的光芒一般，和當初他看到的那個悲悲戚戚的小姑娘已經判若兩人，對此，潘讚化感到十分開心。
有一天，潘玉良對著潘讚化欲言又止，最後在潘讚化的一再追問下，潘玉良才鼓起勇氣告訴潘讚化，她想要去投考上海圖畫潘玉良作品美術院。那個時候，藝術在中國並未得到多大的重視，尤其是美術專業，因為需要人體模特，在外界一些衛道士看來，這是有傷風化的。但是潘玉良對於繪畫的熱愛，讓她的心中開始向往著那個地方，向往著通往藝術天堂的大門。好在潘讚化並不像那些食古不化的人，稍微猶豫了一下，便表示支持潘玉良的決定。