從嚴州往北的桐江之中，不僅江流急湍，奇形怪狀的巨石，聳峙岸邊或兀立江心，江道更是曲曲折折。進入唐伯虎眼簾中的，忽而水天相接，江霞照映下，波光粼粼，使人心胸開闊，忽而懸崖峭壁，橫亙目前，大有山窮水盡疑無路的淒愴。跟他所經曆的世事人生，似乎頗有相近之處。
船進七裏瀨（富春渚）不遠，就是後漢隱士嚴光（子陵）著羊皮裘棲隱耕釣的“嚴灘”。突起於江岸的雙峰，人稱東西二台；前者為漢嚴子陵先生釣台，後者為宋亡後，謝谘羽慟哭文天祥之處；其時，這位南宋谘議參軍，歌“朱鳥魂歸曲”，以竹如意擊石，如意與石俱碎，其孤憤之情，可以想見。
然而，把插天的山峰稱為“台”，尤其前者的“釣台”之稱，實在令人不易理解。
“雲山蒼蒼，江水泱泱，先生之風，山高水長！”驀然，唐伯虎想到峰下嚴子陵祠中，範仲淹“嚴先生祠堂記”的句子；釣台之稱，也許是對其清風亮節仰之彌高的意思吧。
嚴光少時，與劉秀同窗，一夜天寒，輾轉無法成眠，相約：
“後曰豪貴，憶此勿相忘！”這情境，與陳勝吳廣的“苟富貴，毋相忘！”頗相類似。
及至光武稱帝，劉秀雖然常念舊好，嚴光卻更名改姓，棲息林下。經過多年的查訪，光武皇帝終於得到了故友的訊息；遂遣使備車，往返三次，才把隱居江畔的嚴子陵接到京師北軍，起居飲食，均命人朝夕服侍。劉秀駕幸北軍賓館之際，嚴光高臥不起，光武帝顧不得帝王之尊，直到床前，撫摸嚴光的腹部說：
“咄咄子陵，不可相助為理邪？”在光武帝的靜默等待中，嚴光又睡了半晌，才欠伸張目地說：
“昔唐堯著聽，巢父洗耳；士故有誌，何至相迫乎？”結果，萬乘之尊的光武帝，隻好歎息升輿而去。
其後，雖然引入內廷，道故人情誼，累日不倦。甚至共眠時，嚴光把腳壓在光武帝腹上，使瞻星象的太史有“客星犯禦座甚急”之奏；但終究無法以同窗之情，動搖嚴光的隱誌。
與嚴光相較，唐伯虎對自己的江西之行，不免覺得孟浪，也深悔未聽文徵明的勸阻。霞光騖影中，依稀可以聽到樵夫采鬆的聲音，落日餘暉，照射著晾曬在船艙外麵的客衣，反映出一抹奇異的光彩，也給人一種茫無所歸的漂泊感。遙望桐江左岸的書鷥廟，隱約可見放牧著的牛羊。從初夏到深秋，清澈見底的江流中，盛產風味鮮美的書魚，可惜此際為時尚早。仲春料峭的晚風，吹動著他單薄的衣裳，唐伯虎不禁打了個寒顫。然而，再度徜徉於山光水影中，也使他感到一種欣慰；幸虧自己見機得早，佯作顛狂，才得全身而退。隻愧不如好友文徵明那樣心有定見，行止有節；想著，想著，繞道贛東、浙南的唐伯虎，竟有些近鄉情怯了。在蒼茫暮色中，唐伯虎仰望釣台，緬懷古昔隱士的高風，吟出心中的感歎：
“漢皇故人釣魚磯，魚磯猶昔世人非。青鬆滿山響樵斧，白舸落日曬客衣。眠牛立馬誰家牧？書書書鷥無數飛。嗟餘漂泊隨書粥，渺渺江湖何所歸。”——嚴灘（注一）
回到蘇州，已經是三月中旬，青梅累累，殘花處處。江西之行，對唐伯虎而言，也許既不足為外人道，也不便為外人道；但人們對唐伯虎的再一次落魄而歸，議論、指點，則可想而知。一些有關這位江南才子的穢行醜聞，片片斷斷地從王府人役或應聘的賢士口中，透露傳播，渲染誇張，繪影繪聲，使人感覺他是愈發不堪了。
為了尋求寧靜，唐伯虎除了在臨街小樓上賣畫，便在桃花塢中深居寡出。雖然像從北京铩羽而歸那樣，雅不欲為自己辯白，但他卻不能不對自己作一番反省和檢討，對好友有一個交待。
鏡中的霜發、皺紋，想是在南昌為尋求脫身之計，於苦思焦慮中，悄悄展布出來的。
從北京南旋後，那些三餐不繼，衣不保暖的歲月裏，使他的身體仿佛一根從心裏麵蛀蝕、腐朽了的梁柱。尤其肺部的惡化，更使他不自禁地感到生命的短促與幻滅：
“白發日較短，吾生行衰暮。囊無神仙藥，此世安得度？滅沒光景促，人生草頭露。”——他在“白發”詩中寫。
值得慶幸的是，所行所為雖然不拘細節，但尚能俯仰無愧，大節無虧。最後的願望，也許就是自我慎戒，無辱所生了：
“年少輕前途，老人戒末路。踵下掃陳跡，結屨學新步。奔波敢自恕，五十舜猶慕。大孝立終身，匪猶官資故。黽勉達巷旨，庶不添吾父。”——白發（注二）
薑龍（夢賓），太倉人，正德三年進士，現任禮部郎中；在給這位友人的信中，唐伯虎坦白表示江西之行是乘興而往，敗興而歸；但字裏行間，依然不減其豁達的本色：
“……仆自去歲遊廬山，欲沂江西上，悉覽諸名勝，不意留頓豫章，三月中旬得回吳矣；所謂敗興而返也。丈夫潦倒於江山花竹之間，亦自有風韻；此但可與先生道，難與俗人言也……”——給薑夢賓儀部書劄（注三）
隻是，對抄行前幾度犯顏直諫的諍友文徵明，唐伯虎經過一再思考之後，才又謹慎又鄭重的寫了封短柬：