中國封建文人的漫遊有一種共通的審美興趣，他們總是對往古這個時間的維度敞開懷抱；而已經消逝的往古猶如幽靈似的穿透眼前的自然景物，展現在煙靄茫茫之中。在曆史的回首中，滿眼風光，有多少春日鳥啼的日子，多少秋天空闊的景象。而這風景的世界裏，又有多少悲歡的故事，多少生滅與存亡。就是在這種懷古情緒的支配下，唐伯虎騎著毛驢，登上廬山香爐峰，仔細辨認著摩崖石刻中古人的題詠，“讀之漫滅為修容”（《廬山》）；經過子陵灘時，聆聽著滿山樵斧聲，眺望著紛飛的鸕鶿，遙想起嚴子陵這位“漢皇故人”（《嚴灘》）；遊覽輞川時，於白日蒼鬆、清風明月之間，細細體味王摩詰的“塵外想”（《題輞川》）；麵對著浩渺的空間和悠長的時間，他感到個人、家庭、仕途等等真正是如同塵芥！在《遊鎮江登金山、焦山》中，他寫道：
孤嶼崚嶒插水心，亂流攜酒試登臨。
人間道路江南北，地上風波世古今。
春日客途悲白發，給園兵燹廢黃金。
闍黎肯借翻經榻，煙雨來聽龍夜吟。
金山位於鎮江西北的大江邊，以綺麗稱世。自古以來，流傳著“金山寺裏山，焦山山裏寺”的民諺，就是講金山小巧，整座山為佛寺包圍。焦山渾厚，寺院深藏在山中。金山寺為東晉時創建，初名澤心寺，唐以後改為金山寺，枕江而築，氣象萬千。伯虎攜酒登臨，遠望腳下亂流激起的層層雪浪，環顧身邊被兵火破壞的佛寺，想到了南北道路和古今風波，產生了一份浸肌浹骨的個人心靈深處的感動。於是，在誦經和江濤的交響聲中，在神秘的香煙和幽微的琉璃燈火的交融中，伯虎追憶自己逝去的父母、徐氏妻子及妹妹的音容，想到如鏡花水月般的功名，想到係囚罹獄的屈辱，覺得一切都是空的。他甚至想向和尚（闍黎）提出就此出家，夜夜傾聽那孤寂而壯闊的江濤。
其二是出於研習丹青、師法造化的需要。伯虎失意之初立下的發憤著書的願望早已灰滅，他選擇了靠詩文書畫謀生的市民藝術家生活，正如他自己所說的：“予棄經生業，乃托之丹青自娛。”（《六如居士畫譜自序》）這樣，觀察自然、寫生山水、師法造化就成為他必修的功課。
唐伯虎的繪畫創作，山水畫占主要地位。他從周臣那裏繼承了李成、範寬和南宋四家的傳統，對元代趙孟、黃公望、王蒙等的畫法，也經過苦心研究。前人評價他“青出於藍”，認為他雖然取法宋元諸家而能有所發展，在技法上能融會貫通，自成秀潤、縝密、流麗的風格和麵目。無疑，伯虎這次漫遊名山大川，廣泛地體驗了豐富的社會生活，深刻地觀察了雄麗的自然景色，對其繪畫藝術是影響至巨的。
漫遊中，伯虎以一種極富於色彩的眼睛看世界，對於大自然中春光明媚、絢麗滋潤之境，有一種深刻的自覺的感應。如以下兩首小詩：
燕子歸來杏子花，紅橋低影綠池斜。
清明時節斜陽裏，個個行人問酒家。紅杏梢頭掛酒旗，綠楊枝上囀黃鸝。
鳥聲花影留人住，不賞東風也是癡。
色彩絢麗，輕靈流轉，我們參看他傳世的畫作《山路鬆聲圖》《青山伴侶圖》《騎驢歸思圖》等，即可體會到伯虎那種來源於現實生活的敏銳的色彩效應。
在流連山水之中，伯虎也漸漸學會用真正內行的眼光，亦即用讀畫的眼光和讀詩的眼光來觀察山水，如他在遊覽齊雲岩時，感覺到“霜林著色皆成畫，雁字排空半草書”（《齊雲岩縱目》）；在旅濱長江時，觀察出“寒梅向暖商量白，舊草吟春接續青”（《聞江聲》）。像以上這些詩句，是地道的藝術家的詩句。用讀畫和讀詩的眼光來欣賞山水，實際上已經相當於用一種哲學的眼光看山水，亦即將中國藝術精神，融入山水審美的境界了。
總之，這次漫遊對於伯虎日後在繪畫上打破前人陳套，尤其是變化南宋院體風致，是很有作用的。我們欣賞伯虎的山水畫，不論峰巒水口、樹石林泉和點綴的人物、屋宇等等，都畫得現實具體，使人看了，感到可遊可居。尤其如代表作《江南農事圖》，以異乎尋常的工細筆法，描繪了初夏時節南國農村的自然景色和種種農事活動，上邊題詩：“四月江南農事興，漚麻浸穀有常程。莫言嬌細全無事，一夜繰車響到明。”說明伯虎對農民的生活有一定的了解，並懷有一定的感情。這正是師法造化的結果，和前人一些“足不出裏閈”一味摹古的山水畫是不同的。
二
閑居嗒嗒醉嗚嗚，轉覺微情與世疏。
——徐禎卿《贈唐居士》
也許是大半年的監獄生活的摧殘，也許是長期營養不良，也許是這次浪遊旅行的勞累，唐伯虎回到家中就病倒了，纏綿病榻，數月之後才漸漸痊愈。
病愈後，伯虎就鬻畫賣文，維持生計。他這樣做的直接目的有兩個：一是他天性醉心藝術，筆墨丹青是“自適”“適誌”的最好手段。二是蘇州不僅風物宜人，而且工商業、特別絲織業發達，商賈聚集，有些商人富可敵國。這些商人們為了美化精巧的園林，附庸風雅，也就肯花高價購買字畫。從某種意義上說，這也帶動了一般市民對藝術品的愛好和收購。於是蘇州產生和彙集了很多藝術家（特別是市民藝術家），成為當時全國屈指可數的最大的字畫市場。他出賣字畫，能夠自食其力，“不使人間造孽錢”，維持一家生計。
這時候，輿論已經逐漸往同情他的一邊傾斜。誠如他在《題潯陽送別圖》中所感慨的：“是非公論日紛紛，不在朝廷在野人。”一般老百姓本來就喜愛唐解元萬丈才華，欽佩唐解元的滿腹學問，現在慢慢知道他所受的冤枉後，都同情他，為他說話，買他的字畫。相反，對誣陷他的都穆，雖然得做高官，大家還是鄙薄和厭惡。加之這時伯虎的字畫已漸臻佳境，他書學趙孟，而能自出機杼，特別是行書嫵媚俊逸，為世所稱；繪畫路子也很寬，山水、人物、仕女、花鳥，均不同流俗，高視闊步於一時。因此，向他求購書畫的人不少，有時還感到應接不暇，不得不請老師周臣代筆。這種自食其力的硯田生涯，伯虎一直堅持到離開人世。
在這段時期，唐伯虎的家庭成員發生了一些變化。
伯虎原配徐氏，徐氏亡故後曾續弦，出獄後“夫妻反目”，續弦離去。這次浪遊歸來後他又娶妻沈氏。這就是祝枝山《唐伯虎墓誌銘》中所謂“配徐繼沈”中之“沈”。因文字資料缺乏，我們已不可得知沈氏的基本情況，隻知道她排行第九，人稱沈九娘。然而伯虎詩詞流露出，和沈氏是感情融洽的。《感懷》詩雲“鏡裏形骸春共老，燈前夫婦月同圓”，“月圓”自然是美滿的象征。《偶成》則直接描述了這對貧賤夫妻的生活：
科頭赤足芰荷衣，徙倚藤床對夕暉。
分咐山妻且隨喜，莫教柴米亂禪機。
“隨喜”是佛教用語，謂見人做善事而心中歡喜。《勝鬘經》：“爾時世尊於勝所說攝受正法大精進力，起隨喜心。”伯虎用在這裏，有些隨遇的意思，是說要妻子隨遇而安，不要為柴米生計發愁而擾亂了平靜的心緒。看樣子，沈氏是一位賢惠溫順、多少有點安命的女人。
伯虎與沈氏生有一女，後來嫁給橫塘王家村雅宜山人王寵的兒子王國士。伯虎與王寵是詩文朋友，又成了兒女親家，真可以說是翰墨姻緣了。
就在伯虎與沈氏婚後不久，唐家唯一的命脈、他與弟子重“駢肩倚之”的侄兒長民夭折了。這對於人丁不繁的唐家是一個沉重的打擊，伯虎曾揮淚寫下了一篇詞短情深的《唐長民壙誌》，其中說：
長民隻有十二歲，穎慧而淳篤。在父母麵前注意禮貌，從來不做出仰著臉跛著腳的樣子。讀書一定至深夜，而興致還很高，好像想讀到天明似的。有疑問時就走來問我，此外不到別的地方去。我常常心裏想：“唐氏累世積德，所做善事曆曆可數的已有五代了。前後街坊，都稱我家為善士。蒼天一定會保佑，使唐氏振興。”及至我領解南京，不久因口舌過失而遭廢棄與打擊，然而還是寄希望於這個孩子。現在不幸長民死去了，又將依靠誰呢？難道是我凶窮惡極，敗壞世德，而天要翦滅我的後人嗎？但是，我束發行義，過著清貧的生活，兄弟和睦，沒有不良的言行，仰對白日，下見先人，都無愧於心。蒼天啊，您察聽不聰，奪去了我的孩子，這真是為善不得好報啊！
最後，伯虎吮筆泣血命詞：“冤哉死也斯童！兄弟二人將何從？維命之窮！”這一年是正德三年（1508），伯虎三十九歲。
伯虎出獄後的五六年間，在他整個生命曆程中是一個調整期，對他旺盛的生命力而言是一個恢複期。這種生活是平淡無奇的，誠如他在《睡起》詩中所描述的：
紙帳空明暖氣生，布衾柔軟曉寒輕。
半窗紅日搖鬆影，一甑黃粱煮浪馨。
殘睡無多有滋味，中年到底沒心情。
世人多被雞催起，自不由身為利名。
心情不好，當然昏睡終日。這就正如同江河流到平曠處，流速也變慢了，姿態也平庸了，而前麵紆曲處，將有岩矗立，暗礁錯落，江流將會變得急湍飛花，劇響驚雷，狂怪奇險，氣象萬千哩！
三
姑蘇城外一茅屋，萬樹桃花月滿天。
——《把酒對月歌》
弘治十八年（1505），唐伯虎三十六歲。這年，他打算在桃花塢築建桃花庵別業。
蘇州自古以來文風極盛，據說是因為蘇州城像隻文具盤，文房四寶兼具：硯台是宋公祠的方基，墨為葑門內鍾樓（又稱方塔），玄妙觀彌羅寶閣前的半月形石水槽是水盂，定慧寺巷內的雙塔是兩支筆，雙塔寺三間平房為筆架，於是造就了不少文才。桃花塢就在這文具盤的北邊，地處閶門內北城下，宋朝時候曾是樞密章的別業。由於地土的原因，這個地方的桃花生長得十分繁盛，唐伯虎將賣畫的錢建造了些亭閣，特別造了一座“夢墨亭”，紀念鯉仙贈墨之夢，請好友祝枝山題寫了亭額。又添種了桃樹，三四年後蔚然成林，每逢江南三月，群鶯亂飛，這裏“千林映日鶯亂啼，萬樹圍春燕雙舞”（《姑蘇八詠》之四）。桃花千樹萬樹，如雲如霞，欲燒欲燃，使人怦然心動，流連忘返，充滿了浪漫氣息和唯美色彩。
築建桃花庵需要相當大一筆錢款，款自何來呢？當然是賣字鬻畫所得。明代中期是中國曆史上資本主義萌芽的時期，這個時期的社會形態有其顯著特點。其中最突出的表現，就是在東南沿海一帶的城市中，商業和手工業高度發展，金錢的力量逐漸地衝擊侵蝕著國家的政治力量和傳統道德觀念，要求平等，要求尊重個性、尊重人的正常欲望，成為相當普遍的社會思潮。同時，字畫的商品化經營機製也已在東南都市特別是寧、蘇、杭、揚等城市確立，於是就產生了一些為以前“高雅”的文士所不齒的市民藝術家。唐伯虎的家庭本屬於市民階層，與商業經濟有著密切關係，他本人又從小受到封建禮法的歧視，長大後又罹受科舉冤獄，因而很容易對傳統的價值標準、社會規範產生懷疑，從而站到與傳統觀念相背離的立場，加入市民藝術家的行列。字畫在迂夫子眼中，是“無價之寶”，隻贈與知音，不賣與商客。而在市民藝術家們眼中，則是商品。他的朋友徐應雷在《唐家園懷子畏》之五中寫道：
不買青山隱，卻寫青山賣。
物外有知心，人間徒問畫。
就寫出了字畫的買賣關係。人間俗子隻知道用錢來買畫，盡管藝術家寄會心於物外，仍然對藝術女神是那樣癡迷，那樣一往情深。
為什麼唐伯虎要建造桃花庵別業呢？這動機是出於一種什麼樣的生活態度呢？他有一首膾炙人口的《桃花庵歌》可視為對這些問題的回答：
桃花塢裏桃花庵，桃花庵裏桃花仙；
桃花仙人種桃樹，又摘桃花換酒錢。
酒醒隻在花前坐，酒醉還來花下眠；
半醒半醉日複日，花落花開年複年。
但願老死花酒間，不願鞠躬車馬前。
車塵馬足貴者趣，酒盞花枝貧者緣。
若將富貴比貧賤，一在平地一在天。
若將貧賤比車馬，他得驅馳我得閑。
別人笑我忒風顛，我笑他人看不穿。
不見五陵豪傑墓，無花無酒鋤作田。
這首長詩寫得痛快淋漓而又明白如話，它告訴我們：一、建庵動機是為了及時行樂，老死花酒，死而無怨，這是一種非功利的人生態度；二、“摘桃花”與“寫青山”一樣，都是指寫生作畫，作者醉臥桃花叢中，做一個純粹的藝術家，充滿了藝術氣息和唯美色彩；三、“酒盞花枝”傲視“車塵馬足”，反映了作者背時傲俗的生活態度。這首長詩無異於一篇宣言，伯虎宣告自己已獲得徹底解脫，他將要不惜以標新立異、驚世駭俗之行，追求個性自由了！
由於桃花庵景色幽美，唐伯虎又豪爽好客，這裏自然成了他與朋友們聚會之所。袁袠《唐伯虎全集序》說：“（伯虎）築室桃花塢中，讀書灌園，家無儋石而客嚐滿座，風流文采，照映江左。”祝枝山《唐伯虎墓誌銘》說：“沼圃舍北桃花塢，日般飲其中，客來便共飲，去不問，醉便頹寢。”從這些記載，可以想見當時桃花庵中高朋滿座、文采風流的情況。經常參加聚飲的有徐禎卿、文徵明、王寵、錢仁夫、周臣、王鏊等，都是當時江南的一流名士。其中來往最多、最不拘形跡的是祝枝山。
祝枝山三十三歲中舉後，會試多次，皆不得一第。後來補官廣東興寧知縣，又做過通判之類的小官。這時他已回蘇州，賣詩賣字，也加入市民藝術家的行列。祝枝山比伯虎年長十歲，絕頂聰明，《明史》說“枝山生五歲，便能作徑尺字。九歲能詩，少長博覽群籍，文章有奇氣。當筵疾書，思若湧泉”。當然是一位不折不扣的才子了！然而枝山的尊容卻令人不敢恭維，六指頭、絡腮胡子，斜眼再帶近視，整日腰間係著一個單照。所謂單照，類似現今的眼鏡，就是用一片圓形水晶，四周鑲上銅框，下麵裝上小柄，遇到“視而勿見”的時候，一眼開一眼閉地隔著單照瞧上一瞧，便能“一目了然”。祝枝山與伯虎一樣迷花好酒，同是江南才子，親密朋友，卻一醜一俊，相映成趣，故而民間傳說中唐祝逸事最多。徐應雷有《唐家園懷子畏》五首，其中之二、之三就是記的桃花塢聚飲：
盛暑斷不出，門外有車馬。
公卿排闥入，裸體鬆竹下。
名士故逃名，誰與共明月。
夜半聞叩門，知是祝希哲。
在大熱天，他們在桃花庵鬆竹蔭下歇暑，官吏來慕名求畫，就裸體相見。多麼高傲！到夜深了，誰來與伯虎一塊賞月呢？桃花庵響起了叩門聲，伯虎一聽就知道是老祝。多麼默契！這是一種“真名士、自風流”的生活，江南才子們如魚得水，樂此不疲。他們聚會在一起做些什麼事呢？