年逾半百的祝枝山，雖有妻、妾、掌珠相聚一堂，但對北京翰林苑的長子祝續，卻無時不在思念：
“苦憶京華更不禁，百壺那解一生心，爭誇膝下簪纓好，豈識癡翁別有襟。”——苦憶（注一）
人過五十，心中感慨似乎特別多，尤其纏綿病榻，事業無成的時候，更覺得前途一片茫然。一向倜儻風流的祝枝山，幾年來竟連酒和歌舞一並遠離。在失眠的夜裏，不是獨自在枕邊流淚，就是一逼一遍地到月下徘徊。曉鏡之中，對著如霜的鬢絲，更引起歲月虛度的淒愴，眼淚則隨之滴落在兒子的來信上。
斷酒兩年後的六月十七日，偶然一醉，心中卻更加愁悵：
“醉來中歲裏，那複有童心，書覺忘人我，何為更古今。山河秋兀兀，星露袒書書；惆悵惟陶阮，懸知磊書襟。”——斷酒二年偶複一醉為此壬申季夏十七日也（同注一）
等到正德八年冬天趕往北京，準備翌年的春闈，才遂了探子的心願；但是卻又為功名能否得售而彷徨。
自古有“五十服官政，六十方熟仕，七十乃致政”的說法；人過七十，雖是到了隨心所欲而不逾矩的境地，但究竟是血氣已衰，精力不濟，在仕途上不得不致政歸林，以啟賢路；而他卻年已五十五歲了。時常，他想像後漢劉梁（曼山）那樣，但求為一縣之長，大造講舍，延聚生徒，時時親往講學，教化群眾，移風易俗，便於願已足。
這位潦倒半世，困頓功名的蘇州才子，常以百書青鋒的隨身寶劍自喻，數十年未得開封：
“藜床且作書生枕，隻恐中宵躍臥龍。”——詠牀頭劍（注二）
“劍匣口依書裏住，酒杯全亞藥爐親。”——萬安道中（注三）
所幸祝枝山此行，雖然依舊金榜無名，卻被選為地處嶺南的廣東興寧知縣。
這個地近潮州的小縣，地方偏僻，民風尚嘩好訟。婚姻喪祭不但違禮，遇有疾病，更不延醫診治，隻知祈禱求神。山穀之中，強梁四處流竄，不時出沒焚燒民房，劫掠商販……
“知汝遠來應有意，好收吾骨瘴江邊！”文起八代之衰的韓愈的悲戚。
“日啖荔枝三百顆，此生長作嶺南人。”蘇東坡的豁達。
千古以來，這些瘴癘之地往往是得罪朝廷、當政者的流放之所，卻成為祝枝山初試鋒芒的地方。
正德九年冬天，當他的好友唐伯虎正在南昌寧王府苦思脫身之計時，他則假道江西，沿贛江南下，前往廣東赴任，他在詩中描寫其時的心境：
“夙懷同劉君（後漢劉梁），今此幸諧誌，所憂腳本短，時凋虞易躓；隻應盡素衷，玄鑒不可悖……”——五十服官政效白公（注四）
到任後，頗具外祖父果斷之風的祝枝山，先把幾個專門帶頭喧書鼓噪的訟棍，加以懲處，一時奸黠之徒為之斂跡。
四處流竄的山穀之盜，他牛刀小試地設計誘捕，一次竟捕獲三十餘人，地方盜警，也就隨之平靜下來。
巫醫惑眾，和土俗違禮之處，祝枝山經過詳查之後，一一明文規定，加以禁止。然後，像他所心儀的賣書苦讀出身的後漢劉梁那樣，不時親蒞學官，為諸生講解、課試，從根本上移風易俗。公餘之暇，枝山複詩文不輟；並著手編修暡興寧誌暢。
十一年冬天，他因事晉省，沿途巡視一下他那彈丸之地的荒僻小縣。清渠兩側，三尺黃土牆圍著一戶戶的人家。村裏村外，到處都是茂密高聳的竹林，比起蘇州的青瓦白牆，運河的喧囂，熙來攘往的石磚街道……別有一種幽僻寧謐之感。他順口吟出這年夏天所賦的一首：“夏日城南郊行”：
“古縣周遭景物環，政雖多暇倦躋攀；偶因送客乘時出，卻得浮生半日閑。頻過水邊仍有竹，忽當林斷遠逢山；但教到處情如此，瘴海無妨緩緩還。”（注五）
他細細咀嚼最後一句的“但敦到處情如此，瘴海無妨緩緩還”，他訝異這境界竟與蘇東坡的“此生長作嶺南人”同樣的豁達而多情。一次，他到潮州謁韓文公廟，想著為諫阻迎請佛骨而得罪的韓愈一生事業與文章，想著他那亦莊亦諧，卻又透著勇毅果敢的“祭鱷魚文”，而為他所諫迎的佛靈，也並未為害於他……一個儒者的凜然正氣，使祝枝山深深感動，也更想有所奮發。因而當南海令出缺，讓他兼攝時，他也就勇於承擔下來，像對興寧縣般的愛護和治理。
及至到了省城，祝枝山才發現，仕宦之路遠比他想像的要崎嶇得多：上司認為他著作文章，延誤公事，以致稅稅過了期。由於他的拙於催科，停給俸米的懲處，已經行文興寧縣；隻是他身在廣州，尚未接到。
一向疏懶慣了的他，到了興寧這個邊疆瘴癘之地，往往曉雞未鳴，便已披衣而起。雖然自古以來，氣節學問之士為官，多半是傲吏違俗，但他卻任勞任怨，未敢自寧。
原本是六口美滿之家，如今翰林散館，祝續外放為官，兒、媳已兩處分居。為了作個州縣小吏，妻、妾不得下留在蘇州獨守空幃。女兒又遠嫁潮州府王穀禎經曆；算來六口一家，分作五處：
“爭教不作斷腸詞”（注六）！——戀念夫妻情愛和子女承歡的他，早已為之悲傷腸斷。
眼見一個荒僻小縣，日益欣欣向榮，仿佛世外桃源，卻以拙於催科，秋稅過期受到無情的懲罰；忽然，他有一種萬念俱灰，不如歸去的感覺。
上司指責他文章誤事，但他卻深感半生盡為科名和八股文章所誤。好友之中，伯虎曾因比飽受摧殘，一旦徹悟之後，便棄八股如敞屨。門生張靈，甚至此伯虎看得更開，一襲生員衣冠，棄得更早。文徵明、錢貴、蔡羽、湯珍……依舊在場屋的泥沼中，苦苦掙紮。而他，競未能從外祖徐有禎、嶽父李應禎和王鏊的仕宦下場得到啟悟。“歸與”，就在這種悔恨中流泄於筆下：
“炎洲閉戶賦歸與，縣尹何妨委巷居；奪祿浪言耕有代，旅行誰信出無車？空慚河上深藏賈，卻笑關門強著書；莫道文章誤公事，文章今誤複何如？”（注七）
類似的詩，類似的感慨，他也題寫在廣州客邸的粉壁上（注八）。
唐伯虎有兩幅仕女圖，題材既屬風流韻事，畫法更是生動細膩。從畫樹及題識的筆法來看，近於正德十一年，四十七歲為吳令李經所寫的“山路鬆聲圖”，所以有的學者，把這兩幅未落年款的精心作，斷為伯虎晚年之筆。也有的學者，以其人物畫法、神態近於丹徒畫師杜書。弘治十二年伯虎參加會試，唐杜二人曾邂逅於北京；故又疑為伯虎北京歸來後的壯歲風格；畫中頗受杜氏的影響，不像“知命”之年前後那樣融鑄古今，一無依傍，別開畦徑。