在編修王繩武家中借寓、到圓巨和尚廟中暫住、一次又一次借住友人的小樓；住的問題，成了文徵明京中生活最大的困擾。
盤纏既罄，微薪薄俸，比起京中生活的昂貴和各種意想不到的開支，簡直變得微不足道。能告貸的鄉友，多已告貸過。再重新咀嚼正德初年，故友徐禎卿因失囚罰俸，落魄京師的詩作，文徵明愈發感到家的溫暖，恨不得立刻回返江南，過著雖然潦倒卻是悠遊的歲月。
六月賃到一座宅院，似可稍稍安頓下來，但五十七兩賃銀，對文徵明而言，並非小的數目，隻好央人輾轉挪借。在極端惡劣的情緒下，六月十九日的家書，顯得格外激動：
“我在此思家甚切，一言難盡；汝等可念我，作主令家小上來，不然難過活也。來時，措置些盤費來方好；蓋此間俸祿、皀隸之類，僅可給日逐使費耳。”（注一）
家書寄出後，孤獨寂寞的文徵明，便開始盤算日子：如無阻礙，家書將於八月中抵達蘇州，正值家家戶戶團圓賞月之際。倘能體念他京中度日如年的苦楚，妻子當即收拾起程，預計九月盡，十月初，他就可以有一個稍具規模的家，重新恢複生活的常軌。
事實上，文徵明所以感到痛苦難耐，渴欲辭官歸裏，除了經濟拮據、生活不慣之外，動蕩不安的局勢，很有一種山雨欲來的壓力。想到先師李應禎為了拒寫佛經，叔父文森因疏論夤緣求進者遭受撲、笞之刑。正德年間，不知多少忠臣義士，為了抑製中官專橫，諍諫皇帝微服出巡及禦駕南征，慘遭非刑、飽受屈辱。一旦麵臨種種困境，人微言輕的他，將不知何以自處！
從文徵明任職翰院的閏四月開始，年輕的皇帝用太監崔文之言，日以繼夜地在宮中建醮。給事中劉最，疏劾崔文左道旁門，糜費公帑。朱厚熜於盛怒之下，立刻把劉最謫為廣德州判官，進而逮下詔獄，改戍邵武。從此上行下效，許多希圖幸進之臣，紛紛獻上長生之術，或以青詞幹進。
正德七八年間，文徵明曾兩度為文，推崇刑部尚書林俊的德望和文才武功。盛稱這位父執的滿腔忠義、不畏權勢，以及功成身退，不戀利祿的高尚節操。在文徵明心目中，林俊是當今讀書人的一個典型，朝廷的柱石。然而，就在文徵明進京兩個多月後，屢進屢退，曆經四朝的林俊，卻再一次麵臨去就的抉擇。
朱厚熜即位之初，林俊被召在道，就疏請年方十五歲的少年君主，多親近儒臣，先求正心，而後再發為號令，以渾樸為天下先。不要為了遷就現實，改變銳意革新的初詔。
林俊入京時候，正值暑月，經筵已經輟講多時，林俊曆舉祖宗勤學求治的故事，並力諫：
“親大臣、勤聖學、辨異端、節財用。”（注二）
無如這位看來英明而滿懷自信的新君，像前朝皇帝朱厚照一樣，對中官親近而信賴，加以其對道術的執迷，使起自福建田間的老臣林俊，憂心忡忡，生恐他步上朱厚照的覆轍，為生民和社會帶來無止境的災難。
而導致林俊掛冠求去的導火線，也正由於嘉靖皇帝幹涉司法，對作奸犯科的內臣，曲予維護所至：
中官葛景等奸利事覺，為言官糾舉，朱厚熜不交法司審訊，卻詔下司禮監察辦，想借以大事化小。職司刑名的林俊力主宮、府不可異體，應下法司公訊，以昭平明之治。
中官穀大用，霸占民田萬餘頃；對於林俊的指控，嘉靖皇帝竟不加理會。
導帝修廟、建醮的內官崔文，其家人向匠師索賄不獲，便嗾使崔文幾乎把匠師活活杖死；案下刑部究治未決。嘉靖皇帝卻傳中旨，移鎮撫司辦理；又是對法司職權的一種挑戰，也是企圖大事化小的辦法。林俊一麵留住人犯，不予遣送鎮撫司，一麵當著盛怒的皇帝，據理力爭：
“祖宗以刑獄付法司，以緝獲奸盜付鎮撫；訊鞫既得，猶必付法司擬，未有奪取未定之囚，反付推問者。文先朝漏奸，罪不容誅，茲複幹內降，臣不忍朝廷百五十年紀綱，為此輩壞亂。”（同注二）
此外，無論對交結許泰等朋黨要犯的處置，對尊崇興獻王和王妃大禮的看法，他都無法苟同年輕統治者的主張。他感覺自己與其屍位素餐，負天下蒼生的厚望，不若乞歸故裏。
林俊前後乞身八次，可見其去意之堅。
他於嘉靖元年暑月來京，對新朝的諸多亂象，似乎已經見出端倪。他的獨宿朝堂，於去就之間，大概早已有所抉擇。其諸多諍諫與輔佐措施，也不過是想盡人事，聽天命，聊盡讀書人的一點心意。二年初秋，林俊蕭然離京；距其出山，前後不過一年有餘，留下滿朝文武的迷惑和歎息。
文徵明黯然神傷地詩送這位致仕尚書之餘，不免也有一葉知秋的感歎。
另一位四朝元老，華蓋殿大學士楊廷和，也已萌生了退意：
楊廷和是文徵明翰林院的好友修撰楊慎的父親。也是文徵明所預修《武宗實錄》的總裁官，因此，彼此之間並不陌生。楊廷和十二歲中舉，十九歲成進士；楊慎七歲作《古戰場》文，有“青樓斷紅粉之魂，白日照青苔之骨”的警句，傳誦一時。父子二人的才思和文學造詣，使文徵明大為景仰。
正德皇帝崩殂之後，楊廷和首先主張，大行皇帝無嗣，應遵照“兄終弟及”的祖訓，立興獻王的長子，孝宗從子，大行皇帝堂弟朱厚熜為君；對嘉靖皇帝而言，楊廷和實有冊立之功。
遣散邊軍、罷皇宮內的威武營及團練諸軍、革除為正德皇帝諸多皇店和軍門辦事的官校、放還四方進獻的美女、謀誅佞幸江彬……幾乎所有正德皇帝遺留下的殘局敗政，都由楊廷和漸次收失，使朝廷恢複了運作的常軌。
嘉靖登極詔書，即由楊廷和所草，其中把正德間的蠹政，全部加以厘正或剔除，裁汰各種作威作福的冗員和倖進，多達十四萬八千七百餘名，節省公帑，減少漕運糧米，更無法計算。這道登極詔書一經頒布，普天之下，歡欣雷動，中外臣民，皆稱頌新天子為“聖人”，並稱頌楊廷和對國家社會的豐功偉績。然而，在尊崇興獻王的大禮之議，嘉靖皇帝與這位肱股之臣，卻相持不下：
嘉靖皇帝即位之初，即欲尊崇本生父母興獻王和王妃為“皇帝”、“皇後”。采納張璁“繼統不繼嗣”的論議，認為他所繼承的僅是明朝的大統，並非過繼為孝宗的後嗣，因此，隻能稱孝宗為“皇伯考”。
楊廷和認為，三代以前聖王，莫如虞舜，舜受帝堯禪讓登基之後，未聞追崇其生父瞽叟為帝；三代以後君主，賢莫如漢光武，光武中興之後，也未聞有追尊生父南頓君為帝之舉。
他又引據漢哀帝和宋英宗的故事，來析論當前的大禮之議。