嘉靖三年七月哭門事件發生後，到嘉靖五年十月蕭然離開北京兩年多期間，文徵明的心似乎早已離開了北京：
馬上聽雞，麻木地上朝、下朝、玉堂值夜、到史館中工作、一次又一次地上乞歸奏疏……
由於決心歸老江南，反倒對都下勝景，有種說不出的留戀；禁苑、西山到處遊覽，回到寓所之後，再憑著回憶，紀之以詩。在未來的山陬水涯，麵對漁樵閑談起來，豈不像夢境一般！
許許多多因議禮、哭門事件、諫阻遣使督辦江南織造等，忤張璁、桂萼乃至當今天子的臣僚，致仕、左遷以及充軍的不可勝數；單是長洲和吳縣的鄉友，就有多位。長亭餞別，寄詩慰藉，成了文徵明日常生活的主要部分。心中的感受，也特別強烈。他們不僅滿懷忠義，有的更是不可多得的一代奇才，對國家社會，立有不世之勳。此番離去，有些不啻生離死別，相逢無日。展望未來朝政，無不唏噓歎息。
此外，就是日日夜夜地懷歸思鄉。尤其病中，長夜漫漫，石湖、橫塘、竹堂寺、奉天寺、東禪寺……許許多多與好友共同度過的歲月，紛紛在眼前浮現。有時，他不得不摸索著，燃起燈火，拈筆寫下夢裏的詩篇。
吳爟、伯虎、王鏊、都穆、叔父文森、嶽父吳愈等好友及長親過世的噩耗，先後傳來，使他心如刀割。即使僥幸還鄉，他也無法想象那種形單影隻，恍如隔世的淒涼與孤獨。
回想《武宗實錄》纂修之際，文徵明初進翰林院，由於不是出身科目，頗受某些翰林的羞辱和排擠。
但，不久之後，他得自叔父文森、故尚書吳寬、太傅王鏊的史學培育；修《吳郡誌》，寫傳記、行狀、墓誌銘等多年的鍛煉，以及其獨特的才識與文筆，使他不僅漸為同儕肯定，也受到楊廷和、吳一鵬等主其事者，甚至嘉靖皇帝的器重。隻是，嘉靖三年秋天，《武宗實錄》修成之後，接踵而至的狂風暴雨——左順門事件，掩蓋了實錄告成的賞賜和應有的喜悅。
哭門事件後，參與者遭遇到杖死、入獄、免職和放逐，翰林院給人的感覺，已是滿目瘡痍。多年培植出來的人才，也摧殘殆盡。翰林們對張璁、桂萼、方獻夫等人的敵對與仇視，更加深了它的陰霾和詭譎。
到了四年春天，嘉靖皇帝詔命纂修其父“獻皇帝”實錄，大學士費宏奏請：
“獻皇帝嘉言懿行，舊邸必有成書，宜取付史館纂修。”（注一）朱厚熜當即嘉納。采用興國舊邸成書，一則在史料搜集上減少很多困難，再則，也減少了許多可能發生的爭議和風險；預料實錄纂修，必可順利完成。
在前述背景與時機下所進行的《獻皇帝實錄》纂修工作，無論文徵明狷介耿直的性格，因禍得福地未卷入議禮和哭門的漩渦，以及其精深的史學造詣，都使他成為一個頗受矚目的修史者。
《實錄》未成前，嘉靖皇帝端午賜扇；扇由剡藤、湘竹巧製而成，上有天子宸翰，讓人尤感珍貴。
再賜長壽彩縷；受賜者跪伏在金水橋邊，五色光華的文繡，結成雙螭形，披掛在臂間，儀式隆重。文徵明對這些尚方之賜，一一賦詩謝恩。（注二）
五年六月，《獻皇帝實錄》五十卷、《寶訓》十卷成，皇帝先後兩次頒賜銀幣，另有五色絲織成的繡花衣服一套。文徵明依舊獻詩，表達心中的感戴：
“流銀嘉幣上萬琛，晝錫駢蕃雨露深；朽質何堪施綺穀，虛名元自愧南金。敢忘珍重酬千載，圖補絲毫有寸心；白發茂恩何所自，三年供奉忝詞林。”——《再賜銀幣》（注三）
賦此詩時，正值文徵明三年考滿，右遷、致仕，全在一念之間。在感謝天恩浩蕩，“敢忘珍重酬千載”的同時，衡量個性與時勢，文徵明心中，迸發出另一種悲涼而低沉的音調：
“湖上鷗盟久已寒，年來歸計轉漫漫；忤懷隻覺官無味，作意那知退亦難。病起涼風秋漸索，夢回孤月夜成闌；負他黃菊東籬下，吹盡殘英不得飧。”——《次韻繼子端祠部四首》（四首之三）（注四）
大約修史、侍經筵滿二年之後，文徵明開始上疏乞歸。在此三年考滿的關鍵時刻，表裏兩種不同音調交織之下，後者依然占著優勢；他的第三度乞歸的奏疏，也就在這時，遞入塚宰手中。
文徵明毅然決然地乞歸致仕，還有另外一些微妙的因素：
四年冬，因議禮獲寵升任詹事兼翰林院學士的張璁，似乎頗念溫州公文林的師生情誼，暗示隻若徵明依附於他，必將為其未來出處，多方照應；對此，文徵明當即率真地加以辭謝。
五年夏五月，也正是文徵明三年考滿之際，家住丹徒的楊一清，由兵部尚書、三邊總製，入閣為吏部尚書。朝官紛紛前往尚書府拜謁新冡宰，文徵明依禮不得不往，但已拖衍到眾官之後。這位麵貌醜陋，胸懷大略的楊老尚書，對徵明的怠慢不免有幾分怪意，乃以父執長輩的口吻說：
“生不知而父之與我友耶？而後見我！”（注五）
徵明既不怕自己前程蒙上不利的陰影，也絲毫不顧老冡宰的顏麵，直率地表示說：
“先君子棄不肖三十餘年，而以一字及之者，不肖弗敢忘也；故不知相君之與先君子友也。”