嘉靖二十年前後，蘇州流傳一則來自太湖南岸吳興的趣聞：
某氏正在宴請一位官宦，賓主間談笑風生，氣氛熱烈。一些朝廷舊事，不免成了杯觥交錯中的話題。
這時，有位年已古稀的老者，不期而至，看樣子可能是位熟客。主人沒有特別引介，被待為上賓的官宦，也就不以為意，依然高談闊論，旁若無人。尤其當他看到老者身著襤褸的短褐，一雙芒鞋，仿佛鄉下的老農，深覺這人來得不但唐突，與之同桌共飲，多少有礙觀瞻；不覺露出幾分輕賤的神態。
偶然，話題轉到孝宗弘治年間，外戚張延齡驕橫，言官龐泮等上疏論奏，皇上怒其言辭激烈，非但不約束貴戚，反將一幹言官下獄懲治時；這位官宦義形於色，以一種神秘的語氣，顯示在座者隻有他深知此事的底蘊：
“時非某公抗氣申救，禍且叵測！”
短褐、芒鞋的老者聽到這裏，不知何故，像來時一樣唐突，急忙起身離去。官宦探問主人，始知老者正是當時奮不顧身，與同年陸昆抗疏論救，出言官於獄的進士劉麟（元瑞）。曆經三十年左右的宦海生涯，早已以工部尚書致仕。為官清正的劉麟，致仕後竟然棲身無處，其後，知府為之築台於城郊南坦，縣令進而為他構堂台上，總算有了個簡陋的息遊之所，並以“坦上翁”自號。
知道了老者身份的這位官宦，想到適才的言語和狂態，立時頰赤汗下，低頭不語良久，才求主人陪同造訪劉麟，向他謝罪。寬宏大量的劉氏，卻略不為意。
然而，蘇州人更津津樂道的，則是文徵明於嘉靖二十二年七月中旬，為坦上翁劉麟所作的《樓居圖》。曹操能使軍士“望梅止渴”；至於“畫樓”如何登臨？則十足令人玩味。
紙本、設色、幅長三尺有餘的立軸上，古柳垂條，清流環繞，莫非是知府為尊崇劉麟磊落清直風範所築的台？石基粉牆內外，盡是蒼然古木。樹梢上麵，浮出斜斜的一片屋頂。在高樹、草頂，和淡遠峰巒拱衛中，聳立著劉麟魂縈夢繞的小樓。白衣主人憑欄而坐，仿佛正在舒眉遠眺，神遊世外，一個小童，端盤侍立於後，愈發顯出高人晏居的悠然。文徵明在畫上題：
“仙客從來好閣居，窗開八麵眼眉舒，上方台殿隆隆起，下界雲雷隱隱虛。隱幾便能窺日本，憑欄真可見扶餘，捴然世事多翻覆，中有高人隻晏如。南坦劉先生謝政歸，而欲為樓居之念，其高尚可知矣。樓雖未成，餘賦一詩並寫其意以先之，它日張之座右，亦樓居之一樂也。”（注一）
劉麟得到文徵明的《樓居圖》，視如至寶，畫中境界，正如他夢寐以求的那樣，縱目遠眺，太湖諸島，扶餘仙境，仿佛曆曆在望。人世的喧囂，政治的紛擾，均已置諸度外。在圖史筆硯的伴陪下，安度餘生。他把那圖懸掛在堂壁之上，可以隨時神遊其中。另外做了一個寬舒的籃輿，吊在梁曲之間，當作比上不足，比下有餘的“樓閣”；他稱之為“神樓”。這位一貧如洗的致仕尚書平日“樓居”，讀書、著作外，諦聽林中鳥囀，享受陣陣襲來的清風，一時自己也分不清身在畫裏，或局促於“神樓”之內。
當他的好友楊用修、朱子價紛紛賦《神樓曲》，讚頌他清高的品德和那豐富的精神生活時，有位建安李尚書，聞“神樓”之名，造訪山中，才發現神樓主人清寒得竟連寢具都付之闕如。在瀟瀟風雨中，劉麟隻能以羊乳易酒饗客，歡飲至夜。
《樓居圖》和“神樓”之名，雖然傳遍太湖一帶；但劉麟何以不遠百裏之遙，索求文徵明為圖，不願假手吳興名家？二人的過往淵源如何？似乎就鮮為局外人所知了。
據說劉麟早年，與徵明好友顧璘、徐禎卿極為友善，人稱“江東三才子”。因此，無論文徵明的家世、人品和才能，早為劉氏所仰慕。
正德三年，劉麟以刑部郎中，出守浙江紹興府。紹興是個為人稱羨的大郡，由此可見朝廷對劉麟的器重。不過當時擅權秉政的，不是正德皇帝，也不是銓曹宰輔，而是中官劉瑾。劉瑾恨劉麟赴任前，沒有前往謁見，叩謝他的栽培，在他到官僅僅五十六日（注二），就借故將劉麟罷官為民。但這五十六日相處而驟然離去，竟使紹興百姓如失慈母，奔走追餞，饋以重金，劉麟一概婉拒；劉麟的愛民得民，和他的清正廉直，於此可見一斑。
紹興人為了表達對劉麟的崇敬，為他塑像以為紀念，並建“小劉祠”，與郡中原有的，奉祀漢朝賢守劉寵的“劉祠”相配。劉麟賢名，也因此不脛而走，傳聞天下。
罷官後的劉麟，頓時衣食不繼，貧困得連返回江西安仁的路費也沒有。乃北走湖州，浪跡吳興，客居在文徵明好友吳汝琇家中。
正德五年劉瑾伏誅，劉麟受命為西安知府。
吳興官紳知道他重膺大任，莫不為之鼓舞，紛紛賦詩贈行。照一般慣例，送行的詩敘，多出於名公貴人之手，但，劉麟卻獨屬意於遠在蘇州，當時潦倒落魄的文徵明。據吳汝琇表示，無非景仰文徵明的賢且直；劉麟以為唯有這樣的人執筆，才能真正像古人那樣：“得其善則稱，知其過則規”，不會一意揄揚，為無補於事的空言。因此，文徵明撰《送劉君元瑞守西安敘》（同注二）時，文、劉二人尚無一麵之雅，但不能不說是神交已久的知音。