補西安不久，劉麟即遭父憂。前度寄寓吳興的結果，使劉麟對吳興山水，不能忘情；索性奉父親靈柩，葬於湖州，表示此生長為湖州人。
回憶執筆送劉元瑞守西安詩敘的往事，文徵明感覺猶在目前，忽忽二人皆已致仕多年。當文徵明揮灑“樓居圖”之際，想著劉麟窮困孤獨的晚景，不由得興起“安得廣廈千萬間”的感歎。
文徵明繪製樓居圖前後，鬆江華亭徐階路經蘇州，知府王廷宴之於竹堂寺，請文徵明同席作陪。徐階字子升，嘉靖二年進士第三名，授翰林院編修，也是文徵明居京時的舊友。皮膚白皙、身材矮小、舉止優雅的徐氏，聰敏穎異，有權略，常與王陽明的門人交遊。
一次，張璁倡議除去孔子的王號，把聖像換成木主，其餘籩豆禮樂均加以損抑。詔下儒臣集議的時候，徐階獨持異議。張璁召徐階，當麵嚴詰；徐階抗辯不屈。張璁怒極，厲聲嗬斥：
“若叛我！”
徐階則毫不畏懼，正色而言，表示有“阿附”才有“背叛”，但他根本就沒有阿附首輔，所以也就無所謂背叛。說完，從容不迫，長揖而出。鏗鏘的語句，嶙峋的風骨，一時傳遍京師。張璁為此把他外放為延平府推官。回首多年往事，文徵明感慨無限。即席賦詩，為徐階送行，也冀望他能為朝廷大用，造福生民。
此外，同在這年七月，他也為王廷作四體《千字文》，並行書舊日的詩篇。十一月，也就是王廷守蘇已近考滿，行將赴京述職的時候，見到徵明自選的詩集。詩分四卷，按年編次。最早的為二十歲所作，末篇則作於正德九年，時年四十四歲。前後二十四年間，一共存錄五百首之多。吟哦、咀嚼，王廷從中可以清晰地看出文徵明青壯年時代遭際、人格、為學和思想的發展。“言為心聲”、“詩以語誌”，玩味這些詩作，看看眼前這位白發蒼蒼、手不停揮、溫和慈藹的吳門大隱，讓人感到人生命運雖變幻莫測；但，為一股浩然之氣所引導的心誌成長，卻有著一貫的脈絡。王廷對四卷《甫田集》愛不忍釋，於是序而刻之，使能流傳後世。
王廷，字“子正”，四川順慶府南充縣人，故又號“南岷”。嘉靖十一年進士，授戶部主事，後改為禦史。他和文徵明高弟王穀祥，同樣不滿吏部尚書汪的銓敘不公，上疏奏劾。得罪當道的結果，謫為亳州判官。嘉靖二十年，以工部郎中遷為蘇州知府。
王廷知蘇，禮賢下士，直節勁氣，不改本色。蒞官後，重鐫王鏊閣老和蘇州才彥心血結晶而成的《姑蘇誌》，算是他對蘇州的一點心意。誌中增列《歲貢》一表，則是對文徵明道德和學養的敬重。王廷每次造訪停雲館，往往流連竟日。而所談均屬金石文藝之事；文徵明既無所幹求，王廷更言不及私。用膳時，文徵明並不以郡守在座，增添美旨佳肴，待之一如家人好友。然而人生在世，隻能說是會聚有時，述職之後，萍漂何處，這兩位知交，均感渺茫。
嘉靖二十三年四月十日，八十一歲長洲老儒謝雍（元和）造訪，以手錄《枝山先生詩文集》十卷贈文徵明。對文徵明而言，十卷鈔稿，如睹故友，無異於珙璧，但也為他帶來一絲歉疚和惆悵。
謝雍的祖父舉人謝會，是枝山祖父的門生。其父謝昺，對枝山父親執禮甚恭。謝雍待枝山也如師如友；因之，祝、謝二氏，實為通家之好。謝雍對其祖父遺文，異常珍視，積極為之校錄、刻版，使先人的德義文業得以流傳。祝枝山曾撰《贈謝元和序》（注三）勉勵他的孝行，和篤於通家交往之道，同時也把雖然功名無成，卻進德修業努力不懈的謝雍，引為知音。《枝山先生詩文集》鈔本之贈，不言可喻，是希望借文徵明之力，使得傳誦千載。
枝山卒於嘉靖五年臘月，正值文徵明出京南旋，卻阻冰潞河之際。待春暖還吳，兩位知友，早已天人永隔，為文徵明留下永生的遺憾。祝氏晚歲，自己已將生平文稿詮次成帙，藏而未刻。謝世後，長子祝續檢輯遺作，得十之六七；其中多數為枝山所手錄。然而稿中，塗抹、修改、注釋，密密麻麻，外人難以辨識。丁憂期滿的祝續，隻好帶著父親遺作，遊宦四方，隨時考訂、整理及抄錄，直到歸老林泉，依舊在乃弟祝繁的協力下，繼續校勘。而經濟能力之不足，則是遲延十五六年後，無法付梓的主因。
嘉靖十五年三月二十二日，文徵明歸隱的第十年，曾意外的見到祝枝山二十四歲時的手稿一軸；詩、賦、雜文共六十三首。想到早年，先是都穆、枝山均以古文馳名吳中。數年後，他和伯虎也追隨其間，文酒雅集幾無虛日。那時年少氣銳，人人都以古人自期，對朝廷、社稷，都抱著很大的理想。轉眼之間，不但命運各異，除他之外，皆已先後凋謝。一時感慨，有如潮湧：
“……嗚呼！三君已矣，其風流文雅，照映東南，至今猶為人歆。餘雖老病幸存，而潦倒無聞，不足為有無也。此卷雖君少作，而鑄詞發藻，居然玄勝。至於筆翰之妙，亦在晉宋之間，誠不易得也。……”題祝希哲手稿（注四）