王陽明從南寧坐船，順水向東，直奔廣州，打算邊走邊等待朝廷新派的兩廣巡撫。這年十月十日，王陽明再次上疏《乞恩暫容回籍就醫養病疏》（《王文成公全書》卷十五），請求歸鄉，上疏中他寫道：
臣自往年承乏南贛，為炎毒所中，遂患咳痢之疾。歲益滋甚。其後退休林野，雖得稍就清涼，親近醫藥，而疾亦終不能止。……去歲奉命入廣，與舊醫偕行，未及中途，而醫者先以水土不服，辭疾歸去。最後，既不敢輕用醫藥，而風氣益南，炎毒益甚。……今已輿至南寧，移臥舟次，將遂自梧道廣，待命於韶、雄之間。
夫竭忠以報國，臣之素誌也。受陛下之深恩，思得粉身碎骨以自效，又臣邁歲之所日夜切心者也。病日就危，而尚求苟全以圖後報，而為養病之舉，此臣之所以大不得已也。
等到達廣州時，王陽明的健康狀況持續惡化，肺病引起咳嗽及水瀉，幾乎讓他的身體虛弱到不能成行。
這一次，世宗皇帝給了他回應。為褒獎王陽明的功績，他特派使臣來廣州下詔書。王陽明終於可以放心踏上歸鄉的路了，可此時他虛弱的身體卻不容許他再經曆那麼漫長的跋涉了。他行不動了，隻得在廣州停下來養病。
廣州增城縣，有王陽明六世祖王綱的祠堂，在廣州停留養病期間，王陽明曾前往拜謁。
王綱（1302—1371），字性常，又字德常，與其弟敬常以文學造詣而聞名於世。王綱文武雙全，卻無意仕途。元末明初，為避兵亂，王綱攜母親避居於五泄山，堅不入朝為官。但在王綱年至七旬時，他的好友劉伯溫因愛惜其才，還是向朝廷舉薦了他。王綱來到京城，向明太祖提出許多治國之策，深得太祖欣賞，他遂被任命為兵部郎中。後來，廣東潮州地區的百姓起事，王綱又被擢升為廣東參議，前往廣東督兵糧，平定亂賊。王綱的兒子王彥達念父親年事已高，放心不下，與王綱一路同行也到了廣東。
在征討潮州海賊時，海賊以厚祿誘惑王綱，希望他能擔任他們的頭領。王綱反勸亂賊們棄惡從善，海賊們不從，將王綱強行推上坐壇，每日一起行禮膜拜，希望以那樣的方式強迫王綱就範。王綱終不為所動，對海賊們終日大罵不止，最終被海賊殺害。王彥達也同父親一樣被海賊擄掠而去，見父親被殺，他痛哭不止，大罵海賊，並強烈要求他們將自己一起殺死來陪伴父親。海賊的頭目卻破例地將他留下來了：“父忠而子孝，殺之不祥。”就那樣，王彥達又被海賊們給放回來了。王彥達將父親的遺骸裝在一個羊皮袋裏，背著他一路回到家鄉餘姚，將父親安葬在禾山（今餘姚馬渚鎮開元村）。這一年，王彥達年僅十六歲。
洪武二十四年（1391年），禦史郭純向朝廷詳細彙報了此事。朝廷決定在增城為王綱立廟，並起用王彥達。王彥達目睹了父親的死，早已把世事官場看破，他堅辭不出，自號“秘湖漁隱”，歸隱林下，耕田養母，粗衣疏食，終身不仕。
那是王陽明第一次站在先祖王綱的祠堂裏，向自己這位剛烈的先祖拜祭。想起先祖生前身後的種種，又聯想到自己的眼下。王陽明自然也是心潮難平，他為這位遠逝的先祖作了一篇祭文《祭六世祖廣東參議性常府君文》（《王文成公全書》卷二十五），文中他寫道：
恭惟我祖晦跡長遁，迫而出仕，務盡其忠，豈曰有身沒之祀？父死於忠，子殫其孝，各安其心，白刃不見……及茲廟成，而末孫某適獲來蒸，事若有不偶然者。
“迫而出仕”卻是“務盡其忠”。王陽明又何嚐不是如此？
在廣州，還有他的好友湛甘泉的故居，王陽明也曾前往。王陽明三十四歲在京城與湛甘泉相識，二人共同舉起恢複聖學的大旗，此後，二人的友誼綿延不斷，一直持續了二十多年。盡管，此時的湛甘泉人在京城，盡管兩個老友在思想學術上已經產生分歧，但那份友情依舊在。站在湛甘泉的故居前，王陽明想起二十多年前二人共同在京城講學的情景，不由感慨萬端，他將這種情懷寄於《題甘泉居》和《書泉翁壁》兩首詩中。
我聞甘泉居，近連菊坡麓。
十年勞夢思，今來快心目。
徘徊欲移家，山南尚堪屋。
渴飲甘泉泉，饑餐菊坡菊。
行看羅浮雲，此心聊複足。