唐伯虎雖已離開人世，但，某些蘇州人對這位風流才子生平的議論、嫉妒，以及那份幸災樂禍的敵意，並未因而消失。或許，連年的荒歉與饑饉，使人心胸變得格外狹窄和冷漠，伯虎葬禮的清冷與簡陋，也就可想而知。
他的墳墓，在胥門西南方的橫塘王家村；離他所蕩舟的石湖，經常登眺的靈岩山不遠，對雅嗜遊山玩水的他，也算是得其所哉了。
“桂伐漆割，害儁戕特”；對於那些妒忌伯虎才華，落井下石的市井小人，祝枝山認為不過是“塵土物態”，不足為怪，也無傷於伯虎。令他感傷的是，天地鍾靈之氣，總要數百年才抒發一次，凝注在一個人的聰明才智之上；唐伯虎得到了，卻由於世人的淺薄和狹窄，使其未得展露，就抑鬱凋萎；這種哀痛，教人如何去懷！有過人之傑、世人不欣賞讚歎，而隨意毀棄，有高世之才，非但不用，反橫加擯斥，這種冤屈，何時能已！他在“哭子畏”詩中呼天搶地地寫：
“萬妄安能滅一真，六如今日已無身；周山既不容神鳳，魯野何須哭死麟！顏氏道存非謂夭，子雲玄在豈稱貧；高才剩買紅塵妒，身後猶聞樂禍人。”——二首之二（注一）
遠自青年時代，素有才子之稱的祝枝山，就把小他十歲的唐伯虎，視為感情上的知己、事業上的同誌、才華和智慧上的敵手。
每當他麵對這位才高、誌遠、學力雄厚的吳趨後進時，自己總會有種辭不盡意的感覺；心下以為，伯虎未來發展，必定遠遠地超越在他前麵。無論思想和學術的層次上，勢將形成無可彌補的差距，導致兩人精神上的疏離。在他給伯虎的信中，坦白承認其心中的疑慮：
“……至其後，足下之峻者益峻，遐益遐，捷益捷；仆之所深畏而終不遷者，計特足下一人耳；然幸到於今不遺。……”——《與唐寅》（注二）
祝枝山這番自我謙抑的話，一方麵勉勵伯虎上進，另一方麵也期勉共同為理想的實踐而奮鬥。既不要被柴米油鹽等現實環境所屈服，也不要空懷壯誌，徒具理想；一匹千裏馬，除不凡的骨相外，唯有長驅直進，日馳千裏，始能令人慕服譽讚，不容為異辭。
了解、期許，平地春雷般的破滅與消逝，使祝枝山的感情無法自已。他在《再挽子畏》中寫：
“少日同懷天下奇，中來出世也曾期；朱弦並絕桐薪韻，黃土生埋玉樹枝。……”（同注一）
“唐生白虹寶，荊砥夙磨磷，江河鯤不徙，魯野遂戕麟。”——《夢唐寅徐禎卿亦有張靈》（注三）
寒夜漫漫，連懷星堂四周廟宇的梵誦也沉寂下來，祝枝山和二三亡友的夢中相會，引起心中的悲愴，然而也未嚐不是一件樂事。年已六十四歲的他，自知和幾位至友相會泉下，不過是早晚間的事。幾個人的言談笑貌，友情依依，恍惚無異生時。他在《再挽子畏》和《夢》詩中，一再提及未來歲月中，幽冥世界的複聚情境：
“……生老病餘吾尚在，去來今際子先知；當時欲印搥機事，可解中宵入夢思。”
“……相逢靡幽明，隔域豈不親？茲途無爾我，相泯等一真。……”
然而，他所痛惜的是，三人中尤以伯虎才高，不但不能見容於社會，其得禍也最為冤抑、淒慘，因此追悼詩中，屢次以“魯野戕麟”，譬喻他的生不逢辰。
和知友們相聚泉下前，祝枝山另有一點不能釋懷的是，現為臨江府同知的獨子祝續，連生三個女兒，卻使滿頭飛霜的懷星堂主人，獨缺含飴弄孫的樂趣。祝氏三世單傳，枝葉異常單薄。當他受伯虎弟弟唐申之托，為亡友撰墓誌銘時，心中的陰影，突然由筆下的“配徐繼沈，生一女，許王氏國士履吉之子。……”擴散開來，彌漫在他的眼前，凝聚成為若敖鬼餒，愧對先祖的恐懼。
他曾經以沉重的心情，寫信曉喻祝續。表示自己年事已高，仿佛西下的落日，胸中悵惘不已的，無過於宗祧的延續。同一曾祖之族，有兩個孺子，因其生父不肖，致使漂流在外，將來當設法尋回，以壯宗脈。
他指示祝續，能做好官，建勳名，固然是家門幸事，但維持宗祠香煙於不墜，才是至要至重。祝枝山以自身為例：壯年時，家境貧苦，一事無成，而又一味追逐空廓無用之事；如果那時不幸而死，既無事業，又無子嗣，不過是一個“荒逸無成之鬼”，將無以見先人於地下。
做父親的，也許風聞到祝續隨正德皇帝南巡，處理王陽明與邊將的糾葛時，不無偏頗，遭致王氏弟子們的非議；因此，他力勸兒子，凡求昌後，必以陰德為冠：
“……爾盛年，幸獵華，偉業谹聲，皆可基致。然切勿失祖宗以來，傳家仁厚，本子及方冊行墨間也；此予素衷，因念嗣息，遂言及此。……”（注四）
惆悵、岑寂中，他和伯虎平日間的點點滴滴，乃至早年的一些趣事和荒逸行徑，也一一浮現在祝枝山的心頭。
嘉靖二年隆冬歲暮的一場大雪，開啟了來年豐收之兆，含苞待放的梅花蕾，使祝枝山憶起唐伯虎慣常誇耀的梅蕾酒。有時詩思不暢，他會半夜披裘，前往桃花塢叩門，暢飲而返；或於庵中醉臥，翌日再共同策杖，前往郭西尋梅；今後夜半叩門，不知有誰來應？
“足下佳醪新熟，香聞十裏矣。……”
更多時候，枝山新釀已熟，未待啟甕，卻先已接到伯虎索飲的手劄：
“但舍劉阮輩，又誰與共醉耶？……仆等腸腑中，位置麹生，最為得宜，幸整酒兵，共一角逐，毋使麹生守甕，屠沽笑人也。如蒙見招，當趁此良時，願與諸人共之。”——《與祝希哲（索酒）》（注五）