出身官宦人家的妻子，顯然忍受不了這樣的情況。有些人認為，唐伯虎的第二任妻子是因為唐伯虎的解元身份才嫁給他，實際上根本不愛他。為此，說她是潑婦、悍婦，用各種詞彙貶低她。
然而，當我們站在女性立場上去看的時候，我們應該理解，為何一個女人寧可淨身出戶，也要與唐伯虎離婚（按當時法律規定，女子提離婚的話一分錢都沒有）。顯然，她和大部分深受儒家觀念影響的婦女一樣，難以忍受並更不會理解唐伯虎的行為。她和我們一樣，乃是俗人世界裏麵的一滴水而已。
離婚後，孤身一人、窮困潦倒的唐伯虎更有些破罐子破摔的意味，經常與青樓名妓沈九娘來往。顯然，對蘇州名人唐伯虎，沈九娘早有耳聞。沈九娘粗通文墨，對於有才學的人很是敬佩。而蘇州才子唐伯虎此時的境況已經大大好於兩年前。
人們對於科場弊案已經慢慢淡忘，往日的鄉情已重新再現。無論是對唐伯虎才學的肯定，還是為了蘇州人的尊嚴，同時由於唐伯虎的朋友們對他的高度肯定，相信唐伯虎被冤枉的人越來越多。
為了女人他不要兄弟和朋友
弘治十五年（1502年）唐伯虎千裏大遊玩歸來後便開始以專職賣畫為生，並遇到了人生中最愛的女人青樓名妓沈九娘。久而久之，他便有意與沈九娘成婚（唐伯虎的第三次婚姻）。而這一行為，顯然不符合儒家觀念特別是程朱理學。弟弟唐申大加反對，兄弟二人失和。
然而，事情並未了結。回蘇州後，唐伯虎經常青樓流連，他的朋友文徵明也對他有了很大的看法，便以書信的形式對唐伯虎進行了規勸。唐伯虎見狀，立刻回複了一封《答文徵明書》（請注意文中詞句語氣，後麵有簡單的現代文解釋，非逐字逐句）。
寅頓首徵明足下:
無恙幸甚!昔仆穿土擊革，纏雞握雉，參雜輿隸屠販之中，便投契足下，是猶酌嶢鸑以紅，采葛簟而鷟峻也。
取之側陋，施之廊廟，冠劍之次，人以為不類，仆竊謂足下知人。比來癡叔①未死，狂奴若故，遂致足下投杼，甚愧甚愧!且操奇邪之行，駕孟浪之說，當誅當放，載在禮典，寅固知之。然山鵲莫喧，林鶚夜眠。胡鷹聳翮於西風，越鳥附巢於南枝。性靈既異，趨從乃殊。是以天地不能通神功，聖人不能齊物。致農種粟，女造布，各致其長焉。故陳張以俠正，而從斷金之好；溫荊以偏淳，而暢伐木之義。蓋古人忘己齊物，等眾辯於嶒音；出門同人，戒伏戎之在莽也。寅束發從事。二十年矣，不能翦飾，用觸尊怒，然牛順羊逆，願勿相異也。謹覆。
我們先看看唐伯虎這篇文章的語義何在：徵明兄沒有什麼病這太好了。小時候我跟著父母一起做小生意，殺雞賣酒的時候就和您的關係非常好。別人都說我行為怪異，但我不管那些，因為我知道您對我是了解的。從前您的父親尚在世，我的臭脾氣一直沒變過，氣得您拿織布的梭子扔我，現在想來真是慚愧呀。
看到這裏，我們看到唐伯虎似乎有悔意，然而，他話鋒一轉，卻說：我也知道奇談怪語行為乖張的我不符合禮教，然而，山雀不叫、魚鷹夜眠，胡鷹在西風中展翅高飛向北方飛去，孔雀飛往南方。這是為什麼呀？它們之間靈氣不同，當然誌向不會一樣。
看到這裏，唐伯虎霸氣十足，擺出了一副絕交的架勢。之後，他又擺出了居高臨下的態勢：天地萬物沒有全都會的，連聖人都做不到，男人種地，女人織布都是用其所長，隻有這樣才能兄弟同心（斷金）。
最後，唐伯虎兩手一攤，對文徵明說道：寅束發（15歲左右束發）從事。20年都這樣過來了，希望您不要強行改變我！
文徵明實在是想不明白，為什麼短短5年的時間，唐伯虎就成了這樣的人。當年科場弊案出來後，他心情不好，出去散心的時候，還曾經留過書信，要自己好好照顧他的兄弟，怎麼剛剛過了4年，他就變成了如此模樣！想到此處，文徵明站起身找出了唐伯虎當年給他的書信，上麵的字仍然清晰：但吾弟弱不任門戶，傍無伯叔，衣食空絕，必為流莩。仆素論交者，皆負節義。幸捐狗馬餘食，使不絕唐氏之祀。則區區之懷，安矣樂矣，尚複何哉！唯吾卿察之。