著名作家董橋曾經這樣記述潘素：“潘素……家藏名跡充棟，天天用功臨摹，畫藝大進，張大千讚歎‘神韻高古，直逼唐人，謂為楊升可也，非五代以後所能望其項背’。北京官方拿她的山水當禮品贈送鐵娘子、老布什那些外國元首。”
1949年後，潘素積極投入新生活，曾與廖仲愷先生的革命伴侶何香凝一起創作了幾十幅山水畫，為抗美援朝做義賣，何香凝誇獎潘素的畫壯美而有氣勢。潘素還曾和齊白石等人合作繪製了《普天同慶》，她的《漓江春暖》更是得到周恩來總理的稱讚。
潘素的名字一時在美術界傳頌。
這一切都離不開張伯駒的悉心栽培，也離不開潘素自己的努力。她要做個獨立自強的人，而不是一棵藤，緊緊纏繞在男人身上，是負累，男人一個不耐煩，說甩去就甩去，隻能黯然萎謝。潘素不要做那樣的女子。
潘素與張伯駒不僅是誌同道合的神仙眷侶，更是患難與共的夫妻。
1941年，上海發生了一起轟動一時的綁架案，被綁架者正是張伯駒。汪偽政權的一個師長綁架張伯駒，向潘素索要300萬，否則撕票。
綁匪為何竟敢張口索要天價？因為張伯駒早就名聲在外，時人都知道他熱衷收藏，並且所藏甚豐，隨便拿出一幅字畫來賣，都足夠普通人花一輩子。
在危難麵前，弱女子並不弱，潘素體現了蘇州女子特有的堅韌。在丈夫被綁架的八個月內，她隻變賣自己的首飾，四處托人，打聽消息，全力營救。一邊是丈夫深愛的珍藏，一邊是自己深愛的丈夫，兩邊都要保全，隻要她隨便賣掉一件收藏，就足夠救人，但她知道不能，賣掉寶物就等於要了丈夫的命。最後在潘素的周旋下，又有友人們鼎力相助，以40根金條“贖回”了張伯駒。朋友們紛紛稱頌潘素俠肝義膽、勇敢智慧的品質。也正是擁有這種品質，無論是張伯駒被打成右派或“文革”遭受磨難之時，潘素都不離不棄。
當然，夫婦間也有磕磕碰碰的時候。據張伯駒的摯友馬寶山回憶，有一回，馬寶山去張家，正遇見張伯駒舉著雞毛撣子攆得潘素圍著桌子轉，誰也勸不了，誰勸打誰。到最後，是馬寶山從張伯駒手中奪下雞毛撣子。張伯駒氣呼呼地說：“真是氣死我了！”
不過，這種吵架在章詒和的筆下卻描繪得有些可愛：潘素對張伯駒是百分之一百二的好，什麼都依從他，特別是在收藏方麵。有一次，張伯駒看上了一幅古畫，出手人要價不菲。而此時的張伯駒，已不是彼時的張公子，縱使也擔任了這理事那委員等職，但皆為虛職，並無實惠。潘素作為家庭主婦，支撐日常生活的諸多開支，應付昔日名門的瑣細關係，將家裏家外維持在一條不低的水平線上，就夠她操心費勁的。如今，丈夫相中的古畫雖好，但想到現實的經濟狀況和未來漫長的生活之需，潘素有些猶豫。張伯駒見妻子沒答應，先說了兩句，接著索性躺倒在地。任潘素怎麼拉，怎麼哄，也不起來。最後，潘素不得不允諾：拿出一件首飾換錢買畫。有了這句，張伯駒才翻身爬起，用手拍拍沾在身上的泥土，自己回屋睡覺去了。
看，張伯駒還會撒嬌呢！一個老頭兒，孩子一樣躺在地上，裝著氣呼呼的樣子，任年邁的妻子百般勸慰，卻不給實惠不肯起身，想著這情景，都叫人忍俊不禁。
男人不是不會撒嬌，但他隻對著自己最心愛的女人才肯撒嬌，像個孩子，不給糖吃他就不依不饒。
看張伯駒一生，1939年原配李氏去世，1948年和大姨太太鄧韻綺離婚，1952年又和二姨太太王韻緗好聚好散；隻有潘素，陪伴他走完了風光又坎坷的一生。
1982年2月26日，張伯駒逝世。
關於張伯駒之死，潘素曾一度非常自責。
最初，張伯駒不過是患了感冒，多日不見好轉，潘素急了，要送張伯駒去醫院。張伯駒不願意，他認為隻是感冒而已，哪用得著去醫院呢？潘素又是哄又是勸，到底把張伯駒拉進了當時的北大醫院。潘素想著，送他進去就能把病治好，誰知道，這一送，卻是送進了鬼門關。
事情是這樣的：張伯駒走進病房，見是八個病人住在一起，而且那幾個病人的病情都比他嚴重，他不高興了，鬧著要回家。潘素又是一通哄勸，才把他安頓下來，然後去向醫院請求，能不能換個單人或雙人病房。誰料，醫院的人說：“張伯駒不夠級別，不能換。”
兩天後，同房的一個病人死了，張伯駒的病情也不見好，反而比進來時重了。張伯駒的心情更糟糕了，再次吵鬧著要回家。潘素不肯，病情越來越重，她怎麼放心讓他回家呢？再次向醫院提出申請，院方再次回應，張伯駒不夠資格換房。又過了兩天，又一個病人死去。這一回，張伯駒想鬧也鬧不動了，他從感冒轉成肺炎。
後來，從病房裏被抬出去的是張伯駒。他停止了呼吸。
張伯駒去世後，有人跑到北大醫院，站在大門口叫罵：“你們醫院知道張伯駒是誰嗎？他是國寶！你們說他不夠級別住高幹病房？呸，我告訴你們，他一個人捐獻給國家的東西，足夠買下你們這座醫院！把那些住高幹病房的人，都扒拉一遍，看看哪個的貢獻，能趕上張伯駒？”
再怎麼爭執，沉睡的人已是不醒。潘素為此悲傷不已，每想起張伯駒生前多次請求回家而她不肯，她就忍不住用拳頭捶打胸口。她想，若是當初根本不送張伯駒去醫院呢，就算去了醫院，若張伯駒第一次鬧著回家她就同意了呢，或許，張伯駒又能在這人間住上幾年，哪怕多停留幾日也是好的啊。
又10年，也就是1992年4月16日，潘素也離開了人間。
“姑蘇開遍碧桃時，邂逅河陽女畫師。紅豆江南留夢影，白蘋風末唱秋詞。除非宿草難為友，那更名花願作姬。隻笑三郎年已老，華清池水恨流脂。”
這是張伯駒晚年為潘素所寫的《瑞鷓鴣》。他在追憶他們的人生初見。
附：張伯駒簡介
張伯駒（1898.03.14—1982.02.26），河南項城人，生於官宦世家，是集收藏鑒賞家、書畫家、詩詞學家、京劇藝術研究家於一身的文化奇人。國畫大師劉海粟曾說：“他是當代文化高原上的一座峻峰。從他那廣袤的心胸湧出四條河流，那便是書畫鑒藏、詩詞、戲曲和書法。四種姊妹藝術互相溝通，又各具性格，堪稱京華老名士，藝苑真學人。”
張伯駒一生醉心於古代文物，致力於收藏字畫名跡。他說：“不知情者，謂我搜羅唐宋精品，不惜一擲千金，魄力過人。其實，我是曆盡辛苦，也不能盡如人意。因為黃金易得，國寶無二。我買它們不是賣錢，是怕它們流入外國。”自20世紀50年代起，張伯駒陸續將收藏的書畫名跡捐獻國家，使這些文物成為博物館的重寶。張伯駒之女張傳彩說：“很多人不理解父親，把好大一座房子賣了，換了一個帖子，再把這個帖子捐出去，到底為的是什麼？但我能理解他，我真的能理解他。父親就是這樣一個人，他是一個愛國家的人，他認為這些文物首先是屬於一個國家、一個民族的，隻要國家能留住它們，他付出多大代價也在所不惜。”