由此，長達數年，王霍兩家的爭鬥就在州內傳開，百姓們都翹首以盼這個新來的青天老爺能搬倒這一霸。而王家在朝的兒子主張其父不停的想找霍墨軒的茬子，哪怕一小點點為官上的疏漏，都可以借用其再朝中的人和勢，無限放大其害，讓他丟官或者挪窩，但霍墨軒為官清正，深居簡出，霍夫人也甚少露麵這一家人真像是廟裏出來的，仿佛無欲無求，很難找到其劣跡。
而霍墨軒這邊，雖然深知王家的作惡多端，但在本地王家勢大，自己初來搞不清狀況，並不知這般罪惡如此深重，沒有韜光養晦，而是直接衝突上了，一下就陷入了對立局麵，再想發掘對方的罪惡證據，現在卻是難上加難，隻怪自己魯莽，缺少為官的城府，想起皇上對自己的褒獎和提拔，真是有負皇恩，慚愧不已。而他哪裏知道皇帝當年提拔他的理由是如此的可笑。
這一來二去數年過了，兩家都不好過，王家也必須小心謹慎的做著他們見不得人的勾當，而霍家過得像苦行僧一樣自閉的生活。王大老爺恨毒了這個眼中的釘子，肉中的刺。接連殺心並起，最後，聞得太後大壽降至，花掉自己十中之三的財富，一筆巨大的金錢，派人往西域購得一顆碩大的夜明珠，完美無瑕，交給兒子呈獻與太後，太後這時年歲已過春秋鼎盛的時候，雖然不衰卻已顯老態，篤信夜明珠在人死後能保持其不腐之身，不老之顏。這個靠著美色縱橫後宮一生的女人，她一輩子最在意的就是自己的容顏，他不但在生前要美豔，甚至考慮到自己死後依然美豔。這真是投其所好，這個舉世無匹的夜明珠，真是解了太後心中一個隱憂，立時奉若至寶，而他身邊的那個寵臣，王家的大兒子，乘機進讒，顛倒黑白的說著王霍兩家的事，成了貪官欺壓良善鄉紳，索賄不成懷恨在心的故事，並諂媚的說著自己父親如何曆經千辛萬苦為太後尋至寶夜明珠賀壽的故事。太後此時眼中隻有這讓人著迷發狂的珠子，有道是：有其母必有其子，太後和她的兒子一樣，對前麵的故事也沒怎麼聽進去，隻聽明白了夜明珠的故事，自然認為王家一門都對自己忠心耿耿，是不二的忠臣門第，而那個什麼芝麻綠豆的知府，聽都沒有聽說過，也不堪入耳，既然不知好歹的惹了自己的親信，必也是個不討喜的人，一邊欣賞著夜明珠，一邊派人召皇帝來，而皇帝此刻正百般無聊，正遣太監圍著幾個漂亮的宮女，自己則脫去龍袍冠冕，赤著上身蒙著眼在金鑾殿上胡鬧。聽見太後派人來喚，老大不情願的恨著來人，但皇帝在大事上沒有多少主見，又從小懼母，雖然現在自己也一把年紀，但心裏明白今天的地位全憑母後一生的奮鬥和手段，要不就像自己的那幾個同父異母的兄弟，窩在一個鳥不拉屎的地方當著一輩子都不敢大聲說話的憋屈王爺，倘若哪天母後心情不好念起舊惡，逮幾個出來殺了，真比捏死一隻螞蟻容易，反正他們那些人的死鬼娘，早就被母後殺了個幹幹淨淨，若說自己有什麼本事，那還真得說自己不但投胎到帝王家，還認準了娘。因此，皇帝對太後那還真算的上是個孝子，基本上百依百順，有求必應。換了衣服，來到母後寢殿內，本來來時還老大不願意，抽了自己身邊太監幾個嘴巴子消火，但一進大殿看見母後手中捧著的夜明珠，再看旁邊站立的王家兒子，立時狠狠的瞪了他一眼，責怪他這種寶貝不先過自己的手再轉交太後，搶了自己的風頭，不過王家兒子見皇帝這樣，並不懼怕，他深知這個玩樂皇帝，什麼事情幾乎都喜形於色，有時候也沒心沒肺，以自己現在的地位，這種小事皇帝不會當真怪罪，隻是需再備一份大禮投皇帝所好才行。所以對皇帝隻是拱手行禮，皇帝這時正圍著太後一起欣賞夜明珠，王家兒子借機開始說霍墨軒的事，又是同樣一個人，皇帝心裏卻沒有什麼聯係和記憶。但是他雖然昏庸，卻不喜別人這樣認為他，時時都要證明自己的“明察秋毫”反問道：“有何過錯？”王家兒子深諳主子的這一脾性，早就找好了由頭，以去年州府發生的水災為由，彈劾霍墨軒救災不力，瀆職。其實霍墨軒對於災情做得再好也不過了，隻是欲加之罪何患無辭呢？更何況天災之下，人力難免有所不及，這一次，霍墨軒在這個昏君漫不經心的嘴裏受了責罰，不過因為事情太莫須有，無法重責，搞成了貶官遠調，派到另一個邊遠之地去當縣令，這半生仕途算是白走了一遭，又回到了起點。霍墨軒心裏委屈自然知道，不過他也是個君子坦蕩蕩的人，既然被貶，遠離爭鬥，到遠地去造福一方百姓也未嚐不是樂事，經此幾年，霍墨軒也認識到自己雖有一腔熱血，卻缺乏官場智慧，做貪官難，做清官更不易，何不走遠一點，自得一方樂土，倘若在新地方受百姓愛戴，須盡心盡力為一方造福，再有升遷的機會也該想法避讓，選此福地終此一生吧！
然而霍墨軒的一廂情願太過天真，王家不會善罷甘休，之前你是一方官員，風頭正旺，不敢動你，現在你遭朝廷唾棄，貶官遠放，正是倒黴的時候，以往的仇怨必須要乘著這時一並報了。霍家被貶遠調的消息傳至百姓中，都大呼冤枉，自發前來夾道相送，十裏不絕，霍墨軒當官清廉，不受人錢財，對百姓所贈隻取吃食，不收錢物。霍家遠遷，隻有幾匹騾馬駝著行李，兩架舊的雙轅馬車，和四五個霍夫人從娘家陪嫁來的隨從，另就是一雙兒女。行至州界山道，天色已晚，禍事臨頭，前不著村後不著店的地方，突然串出一二十個歹人，也不蒙麵上來就把霍家圍在中間，原來這夥賊人是州界附近虎風山的一夥強人，現下受王家的重金欲在霍家必經之路上滅口，而且王大老爺恨毒了霍墨軒，又犯那個變態的毛病，知其有一女尚幼，早就在腦子裏
齷蹉了一千回，現今有了機會，特別指示強人，滅口霍家賞一千兩銀子，把霍家女兒完好的帶回來供自己泄憤，再賞一千兩銀子，另外保舉這夥賊人頭頭去做個小小的地方官，這些賊人一聽這價碼，高興得不知哪裏是北，這真是幾輩子都沒有遇見的上好買賣，且不說就殺一個手無縛雞之力的文人，搶一個乳臭味幹的黃毛丫頭就能拿兩千兩，這能換官做的買賣還真是自己這些人想也沒有想過的事，自己這些粗人在**上手段也算凶狠，但過的都是有今天沒明天的搏命日子，劫道的時候也弄過走馬換任的貪官，那大車小箱的裏麵裝的全是金銀，自己這些人和當官的一比，那過的叫個什麼日子。要說這殺人不見血，還真不如這些讀書人，看這些銀子，都得沾上多少人的血。由此打心底裏羨慕，而咱這一身粗肉，就算想賣與官家，也無人瞧上一眼，今兒個卻天上掉餡餅砸了哥幾個一跟頭，所以，想也沒想就先滿口表忠心起來。