三十一年，僉都禦史太倉王忬的十七歲次子王世懋（敬美）也以詩來贄，不但得到徵明的重愛，呼為“小友”，並書“原道”作為贈禮。
王世懋長兄王世貞（元美），行年二十七歲，嘉靖二十六年進士，授刑部主事，升刑部員外郎。推測王世貞結識文徵明，當與世懋同時或稍前，也同樣受到文徵明的器重，詩文書畫時有所贈。二人接觸最多的，應是嘉靖三十二年，文氏高齡八十有四；前一年十月，王世貞回到太倉，未久以倭寇之警，挈家避居蘇州，直到三十二年九月返抵北京。在蘇期間，非僅遊於文門，更與陸治、彭年等頻相往來。但，斯時王世貞青年得誌，才高氣盛。他那“文必西漢、詩必盛唐”的文學主張；使他於所著《藝苑卮言》中，對吳下名賢詩文，批評得相當嚴苛：
“吳匏庵如學究出身，人雖複閑雅，不脫酸習。”
“沈啟南如老農老圃，無非實際，但多俚辭。”
“祝希哲如盲賈人張肆，頗有珍玩，位置總雜不堪。”
“蔡九逵如灌莽中薔薇，汀際小鳥，時複娟然一覽而已。”
“唐伯虎如乞兒唱蓮花落，其少時，亦複玉樓金埒。”
“湯子重如鄉老入城，威儀舉步，終少華冶態。”
……（注五）
文徵明生平所敬重的恩師及好友的詩作，在王世貞犀利的筆鋒下，弊病百出，難有當意；而文徵明生平吟詠，亦不例外：
“文徵仲如仕女淡妝，維摩坐語，又如小閣疏窗，位置都雅，而眼境易窮。”（同注五）
蘇州詩人最為王世貞推崇的，無過於“前七子”（注六）中的徐禎卿：
“徐昌穀如白雲自流，山泉冷然，殘雪在地，掩映新月；又如飛天仙人，偶遊下界，不染塵俗。”
王世貞推崇數十年前客逝金台的徐禎卿，固然由於徐氏才思卓識、刻苦力學所獲至的成就；但，他近年與李攀龍、謝榛、吳國倫等文壇新銳，結成盟社；其文學主張和弘治、正德年間活躍於北方文壇的前七子先後呼應，也是主要關鍵。
尤有甚者的是，王世貞認為領袖吳地風騷的是徐禎卿，不是年高德韶桃李滿門的文徵明。文氏晚年神倦，某些稍感率致的詩作，竟被王世貞和李攀龍譏為“吳歈”。這種表麵上親近，詩文唱酬、杖履從遊，背地裏卻加以輕視或譏刺的情況，直到十餘年後，才有了真正的改變。
嘉靖三十二年，清正剛直，不惜以死報國的兵部員外郎楊繼盛，上疏劾嚴嵩十大罪五奸。結果反被嚴嵩所構，下詔獄，受廷杖，移刑部定罪。在獄中，繼盛杖傷潰爛，幾瀕於死，王世貞時常進送湯藥。論死後，楊妻為夫訟冤，願代夫死，也由世貞起草訴狀。三十四年冬十月，楊繼盛終被處死，臨刑前慷慨賦詩：
“浩氣還太虛，丹心照千古，平生未報恩，留作忠魂補。”（注七）死後，王世貞經紀其喪；由此得罪嚴嵩和嚴世藩父子，也種下了其父王忬被殺的禍因。
嘉靖三十九年，薊遼總督王忬，以灤河兵敗事，為嚴嵩借機構害，下詔獄論死。係獄時，世貞和世懋每日匍匐嚴氏門下涕泣，求貸其父一死，又身著囚服，跪於道旁，向過往貴胄攔輿求救。憚於嚴氏的威權，貴人不敢救；嚴嵩則一麵以溫語寬王氏昆仲之心，一麵暗中加緊持獄，終使王忬被斬於西市。
上述種種心靈上的創傷和家庭的巨變，加以年歲日增，閱曆日富，不但改變了王世貞的價值觀，也改變了他在文學上的主張。想起往日對清正廉潔一生，藝業照映江左的文徵明的輕慢，感到無限的悔意；但那時文徵明早已回歸道山。因此，當文氏次孫文元發，持文徵明行狀，請為作傳時，王世貞不僅慨然應允，運用平實、懇摯的筆調，寫出文徵明的家世、人格和遭際，以及平凡中益見偉大的一生。並在文末，表現其心中的崇敬：
“……餘向者東還時，一再侍文先生，然不能以貌盡先生。而今可十五載，度所取天下士，折衷無如文先生者，乃與先生之子彭及孫元發，撰次其事。”（注八）
此外，在《藝苑卮言》文中，論及文徵明行事和人品，王世貞再次表示寫“文先生傳”的心境：
“文徵仲太史有戒不為人作詩、文、書、畫者三：一、諸王國。一、中貴人，一、外夷。生平不近女色，不幹謁公府，不通宰執書；誠吾吳傑出者也。吾少年時不經事，意輕其詩文，雖與酬酢而甚鹵莽。年來，從其次孫請為作傳，亦足稱懺悔文耳。”（注九）
三十一年秋天，玉磬山房來了一位遠客；文徵明的族弟文彥端自衡陽到訪。舊時，另一位族弟文彥仁，也曾來蘇州小聚，秋風落葉下，談論家族輝煌往事及衡陽的近況，以慰文徵明的桑梓之思。詩酒流連，不勝依依，臨別之際，文徵明曾賦七律一首：
“南望衡陽舊德門，虎符元帥有諸孫，山川我正懷桑梓，水木君能念本源。兩地衣冠曾不乏，百年忠孝至今存，相違不盡相留意，狼藉秋風酒滿樽。”（注十）
文氏先祖為四川人，後徙至衡陽。元代，文俊卿為都元帥，佩金虎符鎮守武昌。其後俊卿的孫子文惠——即文徵明的曾祖，贅於吳；因此，衡陽、蘇州，都留下詩中所說的“虎符元帥”的後裔，維護著百餘年的家聲文物於不墜。