當年王陽明被貶貴州龍場後回餘姚老家的路途中，從京中好友那裏得到了一個消息，劉瑾曾擬定了一個“奸黨”名單，據說名單上多達53人，王陽明名列第八名，名次甚至超過了當年科舉考試時他上榜的第十名。此次位列王陽明前麵的七位人物是：少傅謝遷，內閣首輔劉健，尚書楊守隨、韓文、林瀚，都禦史張敷華，郎中李夢陽。這七個人中，除了李夢陽外，都是當時在朝中地位十分高的大臣，而李夢陽是當時那些明朝學子的領袖。劉瑾將王陽明這個僅為六品主事的小官也列進了其中，這也足見劉瑾對這位文武全才的王陽明的重視。但是與這些人相比，王陽明的運氣就差了很多。別人都平安無事地在京城裏過著他們的生活，唯獨他因為一紙委婉的上疏而被貶到了貴州那麼偏遠的地方。雖然王陽明並不在意這些，但他的這一遭遇讓很多朋友為他打抱不平。
貴州龍場不僅山高地險，而且人煙稀少，很多時候即便是爬過了一座大山，也看不到一個人影，並且當地的居民多為苗人和彝人，語言上更是不通。王陽明的仆人也不禁向他抱怨起來，說好聽點兒王陽明是到龍場做驛丞，但實際上也就是在龍場驛站做個打雜的驛卒。處於山區的驛站，也就相當於現在一個路邊上供來往行人歇歇腳的地方。
君子隨遇而安，沒有住的地方，他就親自動手，和仆人們一起搭建了一座茅草屋，並且經常麵對一眼望不到邊的大山吟誦詩歌。因水土不服，王陽明帶來的三個仆人竟然都生病了，王陽明這時反倒要來照顧他們。躺在病床上的三個仆人心裏感念著主人的平易，更加替主人鳴起冤來：那些朝廷的重臣，比如尚書楊守隨和都禦史張敷華等人，雖然同樣向皇帝提出了清君側的提議，但是為什麼偏偏隻有老爺受到了責罰，而他們依然在朝上做著自己的大官？但抱怨歸抱怨，他們畢竟還要在這裏生活，很快在王陽明的帶領下，他們和當地的苗人漸漸熟悉了起來。
王陽明利用自己當年在工部時學到的一些知識，幫這些深山裏的土著修建起了房子，還教他們讀書寫字。很快就受到了這些土著的歡迎，他們自發地聯合起來，用王陽明教給他們的伐木方法，伐了很多樹，在一個向陽的坡上為王陽明建造了一個十分大的院落，除了手工上略顯粗糙些，其規模足以和王陽明在京城的官邸相比，而且還要大許多。這就是在不久後那些附近的學子經常光顧的龍岡書院。生活對於王陽明主仆來說，至此可以稱得上是不幸之中的萬幸了。但接下來王陽明的日子並沒有安生幾天，當地官府聲稱王陽明聚眾散播謠言，要查封他的龍岡書院。後來經按察分司按察副使毛應奎從中斡旋，這起事端終於平息下去了。王陽明沉醉於他講學的快樂時光裏，他的幾個仆人卻再次抱怨起來，因為從驛報中，他們聽到了一些關於京城的事情——劉瑾依然牢牢地把持著朝政。這消息就像一片巨大的烏雲，頃刻間將他們整個心都罩住了。雖然王陽明在龍場的日子看起來很充實和快樂，但作為陪伴多年的仆人，他們知道，主人的誌向絕不在這偏僻的大山之間。麵對著暗無天日的日子，究竟什麼時候才是個頭呀？即便是風水輪流轉，也應該輪到主人身上了吧。
日子就這樣一天天地過去了，盡管劉瑾還沒有下台，但大明王朝的風水轉盤開始朝著王陽明轉了過來。在戶部侍郎喬宇的一再提議下，吏部的一道公文在頃刻之間再次改寫了王陽明的命運，將王陽明從一個小驛丞提升為了江西吉安府廬陵縣的知縣。這一消息讓王陽明的學生和仆人感到高興，還有那些當地的苗人也都為王陽明的升遷而高興。但這種高興未免有些為時過早，當王陽明帶著仆人趕到吉安府後才發現，吉安府自古就是出名人的地方，如楊萬裏、歐陽修、文天祥等大家，所以當地的文化風氣十分濃厚。而也正是因為如此，這裏的人隻要一有爭端，就喜歡用一紙訴狀將對方告到官府。長期以來，這竟然成了當地的一大特色。上一任的吉安知府就曾向朝廷上疏，說吉安府刁民盡出，他們不安心種地，卻樂於訴訟和爭鬥。而王陽明所要赴任的廬陵縣更是訴訟不斷的地方。