從伯虎寫在畫上的《四十自壽》詩判斷，不惑之年的他，仍然是閑雲野鶴之身，了無牽累：
“魚羹稻衲好終身，彈指流年到四旬，善亦懶為何況惡，富非所望不憂貪。僧房一局金騰著，野店三杯石凍春，自恨不才還自慶，半生無事太平人。吳趨唐寅自述不惑之齒於桃花庵畫並書。”（注七）。
一位衣裳襤褸，口若懸河的術士求見伯虎，自稱善於燒銀。
聽他喋喋不休地講述燒銀的方法和妙用，伯虎心中不禁浮上一絲疑惑：
“先生既有此妙術，何不自為，而貺及鄙人耶？”
術士並未因伯虎這句反問而醒悟，愈發鼓其如簧之舌，表示人生於世，有的命中帶有仙福，有的僅具法術，不可相易：
“吾閱人多矣，而仙風道骨，無如君者。今君有此福，而吾有此術，合而為之，鮮不濟矣。”
眼見術士一副不到黃河心不死的糾纏，伯虎眉頭一皺，忽然若有所悟地說：
“如此則易矣，吾有主房在北城，頗僻靜；吾但出仙福，君為修煉，煉成各分之，無不可者。”
術士依然沒有體會出伯虎此話的弦外之音，不但厚顏趨謁，更出紙扇求題。隻見伯虎大筆一揮：
“破布衫中破布裙，逢人便說會燒銀；君何不自燒些用？擔水河頭賣與人。”（注八）
直到這時，術士方知受到調侃，羞慚而去。
伯虎自號“六如”，學術範圍涉獵極廣，風水、遁甲、占卜，幾乎無所不包。他也一再求夢於九鯉仙祠；但對於禪坐燒煉之事，卻雅非所好。
“不煉金丹不坐禪，不為商賈不耕田；閑來就寫青山賣，不使人間造業錢。”（注九）
唐伯虎揭示在隨街小樓上的七言絕句，幾乎是盡人皆知的佳話。
但，不知起於何時，他以“不煉金丹不坐禪”為首句的七絕，變成了風流蘊藉的七律，顯示桃花塢中的生活情調，已經有了根本的改變：
“不煉金丹不坐禪，饑來吃飯倦來眠。生涯畫筆兼詩筆，蹤跡花邊與柳邊。鏡裏形骸春共老，燈前夫婦月同圓。萬場快樂千場醉，世上閑人地上仙。”感懷（注十）
伯虎生平的詩詞歌賦中，常可看到讚美迷人少女的嬌媚，描繪歌樓舞榭和平康陌巷女子的妖嬈。
“相思兩地望迢迢，清淚臨風落布袍，楊柳曉煙情緒亂，梨花暮雨夢魂銷。……”（注十一）他深情款款地寄詩給妓女。
“……再托生來儂未老，好教相見夢姿容”（注十二）妓女徐素之死，他不但哭之以詩，更祈求她能再世為人，重續前緣。
然而，綜其一生，著墨於夫婦之愛、閨閣之情的，卻非常有限。
元配徐氏青春早逝，伯虎的一首《妒花歌》，生動地描寫出少婦的嬌憨神態：
“……佳人見語發嬌嗔，不信死花勝活人；將花揉碎擲郎前，請郎今夜伴花眠。”（注十三）那自然鮮活的筆致，使人不能不想到是他新婚未久的閨中記趣。但接踵而至的，是唐伯虎的《傷內》，那首令人讀來鼻酸的悼亡之作。
對於第二度婚姻的記載，出自伯虎手筆的，可能隻有《與文徵明書》中：“童仆據案，夫妻反目”，寥寥數字而已。
“歸無幾，緣故去其妻。”（注十四）
“坐事免，家以好酒益落，有妒婦，斥去之。”（同注十四）
出自後世文人和史家的記述，也同樣的簡短。
此後十餘年中，除了遨遊名山大川之外，就是寄跡野寺之中，前所引用的《春日寫懷》，最能形容北京歸來後的孤獨歲月：
“新春蹤跡轉飄蓬，多在鶯花野寺中；昨日醉連今日醉，試燈風接落燈風。苦拈險韻邀僧和，煖簇薰籠與妓烘……”（注十五）
塢裏桃花日益茂密時，繼室沈氏，成了桃花塢裏的靈魂人物。年逾不惑，飽經滄桑的江南才子，在不知不覺中，改變了他的生活理念。
“鏡裏形骸春共老，燈前夫婦月同圓。”對顛沛半世的唐伯虎而言，幾乎是想都沒有想過的生活情境。
桃花塢和東門的園圃，出產均十分有限，不煉金丹、不燒銀的“地上仙”、“生涯”就隻好依靠唐伯虎的“畫筆兼詩筆”了。
及至陰雨浹旬，連詩畫也沒人買，或空索詩畫一無饋贈的情形下，就發生了正德十三年四月中旬，伯虎在題《丹陽景圖》中所描繪的廚煙不繼的窘況。
推測伯虎的獨女這時已五六歲，正是滿園追逐嬉戲的年紀。無柴無米，使他深感愧對妻女。但，她們是他苦悶心靈的慰藉，因而即使深陷在窮困的泥淖，伯虎仍不忘在詩畫中，描寫雨後籬邊綻放著的紅槿花，以及隨著雲散天青，展露在妻女臉上的美麗笑靨。
第二年春天，桃花庵主人的《五十言懷》詩，和《西州話舊圖》中的庵景，似乎都蒙著一層濃濃的淒冷與蕭索。
圖中的唐伯虎，病容滿麵地接待著闊別近三十年的老友。狂歌醉舞的歲月，恍如白駒過隙，他借著這幅詩畫，所要告慰於好友，也告慰自己的，是他的所作所為，一直能夠俯仰無愧。
題句中的“不損胸前一片天”，是他恒久不變的做人原則。但接下去的“漫勞海內傳名字，誰信腰間沒酒錢”，卻也是桃花庵主人，難以去懷的困境。