“七十看花歲已殘，始憐梅蕊照衰顏，河清可道遭逢易，駕俗深慚會合難。錦繡段閑藏黼黻，驪龍珠抱媚江山；欲留光彩無窮事，心緒悠悠竹素間。”——《王文學履吉二首》（其一）（注七）……
祝枝山把這些在病中懷念知己，斷斷續續吟詠出來的詩篇，定名為《懷知詩》；他在篇前自序：
“臥病泊然，緬懷平生知愛，遂各為一詩；少長隱顯，遠近存沒，皆非所計，秪以心腑之真。凡十有八人，共詩一十九首。”（注八）
依照祝枝山的構想，十位存在人世的好友，將各錄所贈本篇詩投贈，以為紀念。但是《懷知詩》十九首的消息一經透露，立時洛陽紙貴，紛紛向這位臥病老人索錄全篇。祝枝山也就隨興之所至和當時病況，有的得到全錄本，有的僅得所書贈存者詩十一首，或其他版本，不一而足（注九）。
祝枝山坐落於日華裏襲美街的“懷星堂”，奠基於嘉靖元年。堂址原為其外祖父武功伯徐有貞所有。到了正德末季，中表兄弟他遷，這片環境幽靜，地勢高爽開闊的園地，就落到他的名下。
嘉靖二年人日堂成，請道士作醮，奏章時，有仙鶴旋導燎台的異象，祝枝山賦《鶴章》一篇，以為銘誌。
懷星堂，除了為退隱家居，讀書著作，會聚家人，燕請親朋好友之外，另辟一室，奉祀儒教鬼神，其中包括西方導師、宣聖孔子、伯夷、叔齊、老子、莊子、左丘明、班固、屈原、王羲之、蘇東坡、司馬光……從這些神位，可以看出晚歲的祝枝山，曆經人世滄桑，心靈中的信仰，已經融合了儒釋道三教，此外，史學家、文學家、書家以及心地光明，行為足以表率群倫的古聖先賢，都在他膜拜之列。
嘉靖三年三月既望，他以一篇《所事儒教鬼神解》（注十）來闡明他的信仰，及奉祀先聖的原則和態度。
枝山一生，為人所作的“堂銘”、“堂記”無計其數，而他那洋洋灑灑、古奧富麗，又帶著幾分神祕遐想的《懷星堂記》（注十一），想必經過長期的醞釀和一次次煆煉而成。
“存先廬以係思，築新樓而萃眾。”在《懷星堂記》中，祝枝山首先寫出他構堂的動機。
“軒窗洞明，院落舒曠。其內則圖書矗矗以周列，琴瑟閑閑而在禦。筵案肆設，鍾鼓靜懸，月旦藏家人之儀，晨暮集高朋之駕，芝蘭滿坐，雲霏盈耳。”開闊舒爽、纖塵不染的淨潔與幽雅，勾畫出詩一般的生活情境。
就日常起居而言，則極盡懶散而閑適：
“或孤據屏幾、崇朝忘興，或甘瞑枕席，逾辰乃寤。”
在學術上，麵對著古賢遺冊，大有如魚得水，左右逢源的樂趣：
“周孔之禮樂，洋洋上下，淵賜之音容；訚訚左右。遨《春秋》而友辭令，蹈《戰國》而參機辯。……”
沉思默想，神遊宇內，那種心靈中的自由，應是古往今來，無數讀書人夢寐以求的境界吧：
“靈飛渾，神潛窈冥，孤若禪祖，寂如洞穴，萬如紓綱，一若執象，江山不易，俯仰平遠，皇羲何在？千古在目，萬玄集膺，雖則一扉隔而道俗懸，百英對而今古接。”
從各種有關的文獻，祝枝山考據出街裏名稱的由來，和曾經居住過的古賢，為懷星堂之美，下了結語，也為他生活的遠景，描繪出一個清晰的輪廓：
“嗟夫，擇仁而處者，智也。安土樂天者，達也。求古而歸契者，尚賢也；是之謂三善。有美而不知得師者，蒙也，懷居膠有將為其後之恒守者，魯也；是之謂‘二繆’。循三善而屏二繆，居室之理，其殆庶幾乎？爰用聲其腎腸，登筆垣屏；時餘齡六十七矣。
嘉靖紀元之五祀，蒼蘢駕於降婁，幹麗於柔兆月，惟宵中星虛哉生魄，丁卯文成。”
推算起來，祝枝山這篇《懷星堂記》，脫稿於嘉靖五年正月初四日。同年臘月廿七日，這位蘇州才子即回歸道山；二者相距僅三百五十餘日。其間十月，他為昆山魏誠甫書《黃庭經》時，自識：“久疾初間”，莫非是回光返照中，留下了千古名跡！
懷星堂址之選，含有保存先廬的深遠寓意。精心規劃的堂室與庭院，汗牛充棟的古籍，宗教、先哲及祖先神牌的設置，正是要“歌於斯、哭於斯、聚國族於斯”，為世代相傳的久遠打算。《鶴章》中的虔誠祝禱，《懷星堂記》中的美麗憧憬。轉眼之間，仿佛一場春夢；隨著祝枝山的逝世，為蘇州士林和家人好友，留下無限的悵惘。
和懷星堂相比，文徵明還鄉後於舍東所築的“玉磬山房”，規模就小多了。但是窗明幾淨，陳設幽雅，既便於讀書創作，又能與二三好友促膝談心，度其閑適的生活，則毫無二致。山房外麵，種了二株桐樹，致仕後的文徵明經常在樹下流連嘯詠，安詳散朗，人望之有如神仙。家門中，除了他原有的禁絕歌舞女色之外，由於寧王先例，及朝中所見，對於藩邸，他一概采取敬而遠之的審慎態度。對於中貴人，則絕對不肯往來。
“此，國家法也。”（注十二）文徵明堅決地表示。
為宦京師雖然未久，但幾年來所閱曆的宦海波瀾，卻極為豐富，這也就更堅定了他處世的信念：
“人之處世，居官惟有出處進退，居家惟有孝弟忠信。”（注十三）