1948年，張伯駒和鄧韻綺離婚。為什麼？因為鄧韻綺一直未能生育，並且又染上了抽食鴉片的惡習嗎？或許是。張伯駒是不抽煙不喝酒不賭博的，生活極為簡樸，他想必不能長久容忍鄧韻綺捧著煙槍吞雲吐霧。
頗討公婆歡心的王韻緗
張伯駒的第二個姨太太名叫王韻緗。“韻緗”這個名也是張伯駒取的。
王韻緗祖籍蘇州，後隨其父去北京定居。經朋友介紹，張伯駒認識了王韻緗，他給了王父一筆錢，又在北京北池子一帶買了一套小院給王韻緗住，就把王韻緗娶回家了。
李氏和鄧韻綺都未能為張伯駒生下一子半女，張伯駒、張鎮芳都著急了。尤其是張鎮芳應更為著急，他本是無子，從弟弟那兒過繼了張伯駒，偏偏張伯駒又遲遲無子，他怎會不著急？張伯駒娶了王韻緗後，王韻緗十月懷胎誕下一子，甭提張家有多高興了。張鎮芳夫婦為了讓王韻緗照顧好孫子，更為了能看著孫子成長，就把王韻緗母子接到天津和他們同住。
王韻緗去了天津後，盡管公婆對她另眼相待，甚為寵愛，但她寵辱不驚，不計較名分，也不爭財產。公婆看她忠厚老實，就把張家持家大權交給了她。
張伯駒的正房夫人李氏住在王韻緗臥室對麵的房間，王韻緗常常去她房中探望，和她說話，還讓漸漸懂事的兒子每天都去李氏房中請安。李氏在病中，王韻緗為她請醫生或送她去醫院，直到李氏去世。
和鄧韻綺，王韻緗也相處融洽。張伯駒住在北京時，王韻緗一有時間就帶著孩子去北京，和張伯駒、鄧韻綺住上一些時日。
或可這樣說，在張家，一直都是王韻緗盡著相夫教子、孝敬長輩、料理家事的責任。因為李氏多病，鄧韻綺居在北京，而張伯駒後娶的潘素大多時間和張伯駒住在上海，留在天津的隻有王韻緗。
然而，1952年，王韻緗和張伯駒離婚。那時，孩子已經長大，或許於她來說，這份名存實亡的婚姻再留著也沒什麼意義了。張伯駒自娶潘素之後，基本上和其他太太鮮少相聚了，大多時間他們居在上海，隻在農曆新年才回天津團聚。
明月隨人一樣圓
在張伯駒的幾個太太裏，最為人津津樂道的便是潘素了。
潘素原名潘白琴，1915年生，蘇州人，乃前清著名的狀元宰相潘世恩的後代。祖上英雄，後代卻是混蛋，潘素的父親潘智和是個紈絝子弟，家產被他揮霍一空。還好，潘素的母親沈桂香，出自名門，知書達理，在潘素年幼時就為潘素聘請名師，促其工女紅、習音律、學繪畫。
13歲那年，潘素的生活變了。仿佛寬闊河麵結了厚厚的冰，冰上舞者旋轉又旋轉，突然冰就破了，舞者墜入冰窟。這一切都從潘素的母親去世開始。母親去世了，潘素的生活就崩塌了。繼母王氏給她一張琴，然後，送她去了風月場。說“送”未免太委婉了，其實是繼母將潘素賣掉了。
潘素到底是大戶人家出身，通詩書，氣質好，談吐不俗，容貌也不差，又彈得一手好琵琶，在上海西藏路汕頭路附近“張幟迎客”，名動一時，人稱“潘妃”。
有次去吃花酒，張伯駒和潘素相遇了。那時，張伯駒出任鹽業銀行總管理處總稽核，每年要到上海分行查賬兩次。張伯駒去上海，王韻緗本要跟隨，但是公婆不同意，因為王韻緗若去上海，必定要帶著幼子，公婆舍不得離開孫子。再說，王韻緗在天津，管理全家的家務和一切收支，她要是去了上海，家中怎麼辦呢？
男人遠走他鄉，妻子不在身邊，沒幾個男人會耐得住寂寞。若是個慣吃花酒的，更了不得了，譬如魚兒逢著水，想不搖頭擺尾興風作浪的確是難。
那次吃花酒，張伯駒撞上了潘素。張伯駒見著潘素，驚為天女下凡，才情大發，提筆就是一聯：“潘步掌中輕，十步香塵生羅襪；妃彈塞上曲，千秋胡語入琵琶。”這一聯不僅將“潘妃”二字巧妙地嵌入，而且把素有“潘妃”之譽的潘素比作王昭君，又將潘素善琵琶也概括進去了。張伯駒此聯一出，席上人人無不擊掌歡呼。
最開心的當然是潘素。她對張伯駒亦是一見傾心。
美中不足的是，此時潘素已是名花有主，國民黨的一個叫臧卓的中將和潘素已到了談婚論嫁的程度。在遇見張伯駒之前，或許潘素認為臧卓就是最合適的結婚對象，張伯駒一出，她知道自己錯了。知錯必改，決不滑入深淵。潘素立意跟定張伯駒。
臧卓豈肯善罷甘休？到嘴的肥肉豈能再讓她滑溜？臧卓將潘素軟禁起來，使她不能再和張伯駒見麵。潘素究竟隻是一個弱女子，無可反抗，終日以淚洗麵。
張伯駒在上海人生地不熟，情敵又是國民黨中將，若是硬拚，恐怕將惹出亂子。和朋友商議一番後，張伯駒買通了臧卓的衛兵，瞅著臧卓不在的空當，闖進潘素被軟禁的地方，拉起就走。張伯駒心中已有主張：“趕快回到北方，就沒事了。”
雖經一番波折，張伯駒和潘素到底在一起了。
張伯駒一生寫了不少詞，關於愛情的也有不少，但幾乎隻寫給一個女子，那就是潘素。
從張伯駒的詞中，不難體味出他對這份得來不易的良緣的慶幸和滿意。
婚後，張伯駒偕潘素登峨眉山，寫下：“相攜翠袖，萬裏看山來。雲鬢整，風鬟豔，兩眉開，淨如揩。”每逢佳節良辰，張伯駒亦總是有詞贈與潘素，尤其每年元宵，恰逢潘素生日，張伯駒更為動情，他曾寫道：“明月一年好，始見此宵圓。人間不照離別，隻是照歡顏。侍婢梅花萬樹，杯酒五湖千頃，天地敞華宴。主客我與汝，歌嘯坐花間。當時事，浮雲去，尚依然。年少一雙璧玉，人望若神仙。經慣桑田滄海，踏遍千山萬水，壯采入毫端。白眼看人世，梁孟日隨肩。”
在這首詞中，張伯駒將他和潘素比作梁鴻與孟光，不但要舉案齊眉，更要“日隨肩”，這真是隻羨鴛鴦不羨仙了。
元宵節送與潘素的詞，張伯駒還寫過很多，比如：“年年長願如今夜，明月隨人一樣圓。”還有：“齊眉對月，交杯換盞，猶似當年。紅塵世上，百年餘幾，莫負嬋娟。”再如：“白頭猶覺似青春，共進交杯酒一巡。喜是團圓今夜月，年年偏照有情人。”
即使是在二人結婚四十多年後，年近八旬的張伯駒去西安女兒家小住，與老妻暫別，仍然寫下深情款款的《鵲橋仙》送潘素：“不求蛛巧，長安鳩拙，何羨神仙同度。百年夫婦百年恩，縱滄海，石填難數。白頭共詠，黛眉重畫，柳暗花明有路。兩情一命永相憐，從未解，秦朝楚暮。”
如此深情，羨煞人人。
紅豆江南留夢影
身為女子，溫柔賢淑必不可少，但能做到獨立自強的，卻並非每個女子都能。尤其舊社會，要女子獨立自強，豈是易事？潘素則能。
潘素在風月場時，對繪畫隻是粗通，嫁給張伯駒後，張伯駒為她聘請名師，請朱德甫教她畫花卉，夏仁虎教她古文，後來又請蘇州名家汪孟舒教她繪山水畫，從此潘素專攻金碧青綠山水。在名師的指點下，潘素的才藝突飛猛進，又經過張伯駒、夏仁虎悉心栽培，內秀開發，作品更有了深度。她繪的山水，張伯駒、陳宗藩、孟嘉、傅增湘、謝稚柳等人留下了題記，字與畫相得益彰。