有次去吃花酒，張伯駒和潘素相遇了。那時，張伯駒出任鹽業銀行總管理處總稽核，每年要到上海分行查賬兩次。張伯駒去上海，王韻緗本要跟隨，但是公婆不同意，因為王韻緗若去上海，必定要帶著幼子，公婆舍不得離開孫子。再說，王韻緗在天津，管理全家的家務和一切收支，她要是去了上海，家中怎麼辦呢？
男人遠走他鄉，妻子不在身邊，沒幾個男人會耐得住寂寞。若是個慣吃花酒的，更了不得了，譬如魚兒逢著水，想不搖頭擺尾興風作浪的確是難。
那次吃花酒，張伯駒撞上了潘素。張伯駒見著潘素，驚為天女下凡，才情大發，提筆就是一聯：“潘步掌中輕，十步香塵生羅襪；妃彈塞上曲，千秋胡語入琵琶。”這一聯不僅將“潘妃”二字巧妙地嵌入，而且把素有“潘妃”之譽的潘素比作王昭君，又將潘素善琵琶也概括進去了。張伯駒此聯一出，席上人人無不擊掌歡呼。
最開心的當然是潘素。她對張伯駒亦是一見傾心。
美中不足的是，此時潘素已是名花有主，國民黨的一個叫臧卓的中將和潘素已到了談婚論嫁的程度。在遇見張伯駒之前，或許潘素認為臧卓就是最合適的結婚對象，張伯駒一出，她知道自己錯了。知錯必改，決不滑入深淵。潘素立意跟定張伯駒。
臧卓豈肯善罷甘休？到嘴的肥肉豈能再讓她滑溜？臧卓將潘素軟禁起來，使她不能再和張伯駒見麵。潘素究竟隻是一個弱女子，無可反抗，終日以淚洗麵。
張伯駒在上海人生地不熟，情敵又是國民黨中將，若是硬拚，恐怕將惹出亂子。和朋友商議一番後，張伯駒買通了臧卓的衛兵，瞅著臧卓不在的空當，闖進潘素被軟禁的地方，拉起就走。張伯駒心中已有主張：“趕快回到北方，就沒事了。”
雖經一番波折，張伯駒和潘素到底在一起了。
張伯駒一生寫了不少詞，關於愛情的也有不少，但幾乎隻寫給一個女子，那就是潘素。
從張伯駒的詞中，不難體味出他對這份得來不易的良緣的慶幸和滿意。
婚後，張伯駒偕潘素登峨眉山，寫下：“相攜翠袖，萬裏看山來。雲鬢整，風鬟豔，兩眉開，淨如揩。”每逢佳節良辰，張伯駒亦總是有詞贈與潘素，尤其每年元宵，恰逢潘素生日，張伯駒更為動情，他曾寫道：“明月一年好，始見此宵圓。人間不照離別，隻是照歡顏。侍婢梅花萬樹，杯酒五湖千頃，天地敞華宴。主客我與汝，歌嘯坐花間。當時事，浮雲去，尚依然。年少一雙璧玉，人望若神仙。經慣桑田滄海，踏遍千山萬水，壯采入毫端。白眼看人世，梁孟日隨肩。”
在這首詞中，張伯駒將他和潘素比作梁鴻與孟光，不但要舉案齊眉，更要“日隨肩”，這真是隻羨鴛鴦不羨仙了。
元宵節送與潘素的詞，張伯駒還寫過很多，比如：“年年長願如今夜，明月隨人一樣圓。”還有：“齊眉對月，交杯換盞，猶似當年。紅塵世上，百年餘幾，莫負嬋娟。”再如：“白頭猶覺似青春，共進交杯酒一巡。喜是團圓今夜月，年年偏照有情人。”
即使是在二人結婚四十多年後，年近八旬的張伯駒去西安女兒家小住，與老妻暫別，仍然寫下深情款款的《鵲橋仙》送潘素：“不求蛛巧，長安鳩拙，何羨神仙同度。百年夫婦百年恩，縱滄海，石填難數。白頭共詠，黛眉重畫，柳暗花明有路。兩情一命永相憐，從未解，秦朝楚暮。”
紅豆江南留夢影
身為女子，溫柔賢淑必不可少，但能做到獨立自強的，卻並非每個女子都能。尤其舊社會，要女子獨立自強，豈是易事？潘素則能。
潘素在風月場時，對繪畫隻是粗通，嫁給張伯駒後，張伯駒為她聘請名師，請朱德甫教她畫花卉，夏仁虎教她古文，後來又請蘇州名家汪孟舒教她繪山水畫，從此潘素專攻金碧青綠山水。在名師的指點下，潘素的才藝突飛猛進，又經過張伯駒、夏仁虎悉心栽培，內秀開發，作品更有了深度。她繪的山水，張伯駒、陳宗藩、孟嘉、傅增湘、謝稚柳等人留下了題記，字與畫相得益彰。