蔡歡在金陵幾年橫行霸道下來，變得是更加的肆無忌憚，竟然在國喪期間私納了三房小妾，被善妒的妻子呂氏告發。蔡歡先是對發妻一頓暴打，又指使府內的惡奴們將呂氏折磨了一夜，用“私通家丁”的由頭直接一紙休書把呂氏趕出侯府，繁華的金陵街頭就又多了一位心神失智的瘋女子，整日瘋瘋癲癲地說自己要“謀害親夫”。
天隧元年（康曆409年）七月，“元嘉四傑”之一的新任南國巡查使--馬世坤走馬上任，蔡歡的好日子也到了頭。一月之內，蔡歡就被削爵抄家，淪為平民百姓。
流落街頭後的蔡歡多次被人毆打，險些喪命，逃出金陵後沿途靠撿殘羹冷炙果腹，有時還要跟野貓野狗爭食，一路乞討才來到青州。由於惡名遠播，衛器並不喜歡這個滿臉橫肉又極善諂媚的遠方堂叔，母親也嫌棄他滿臉的麻子，更責怪他敗掉了蔡家的祖宗基業。偏偏是父親收留了蔡歡，讓他負責管理府內馬房，結果卻是引狼入室。
衛器九歲那年，祖父的私生子三叔衛梁也被父親收留在刺史府。年紀相仿，輩分差一輪的叔侄兩人很快就成為玩伴，整天形影不離，感情也很深厚。可是自從三叔被母親送到金陵讀書後，衛器也難免覺得寂寞，既不能在府內的池塘裏下水摸魚，也不能上房揭瓦。父親雖然待人嚴厲，但對自己還是寬容的，也沒有找來一大群所謂的名師逼自己讀書寫字。隻是根據自己的愛好，從益都縣本地請了一個善畫丹青的老童生教自己畫畫。
父親常年因為公務忙得不可開交，經常夜不歸宿，府內大小事務皆交予母親操持。母親蔡氏也不負夫望，將府邸內外打理得井井有條，還對府內馬房所發生的事越來越上心，往往一去就是好幾個時辰，回來時身上總有一股難聞的馬糞味。直到府內傳出母親與堂叔蔡歡的流言蜚語時，衛器才敢壯著膽子問母親，為什麼總往蔡歡的馬房跑？母親回答她是在跟堂叔學怎麼相馬。
衛器知道父親在軍中是探馬斥候出身，自然愛馬，母親學相馬也是為了替父親物色一匹良駒，就沒有在意。從那以後，每當九月中旬馬市開放時，母親和堂叔都會一同去往播州宣府馬市選買馬匹，一走就是二三個月。而且靠著堂叔慧眼識馬，每次都能以低價購得寶馬，父親為此十分高興，按照蔡歡的請求把府內最僻靜的西廂小院留給他住。
天隧七年（康曆416年）三月，父親在陪同京城官員外出遊獵途中突然在深夜回府，然後又很快離府。等到第二天下午，堂叔蔡歡就被砍了腦袋，罪名是“刺殺朝廷命官”。
對於這個罪名，衛器從始至終都不相信：蔡歡沒有任何理由，也沒有膽子刺殺朝廷命官，完全是那位京官自己騎術不精，意外落馬受傷。無非是父親故意把責任歸咎在馬上，繼而把所有罪責都按在蔡歡頭上，做了替罪羊。這樣既保全了上官的臉麵，又體現了自己的公正嚴明，為此甘願大義滅親，可算是一舉兩得。不過讓衛器覺得意外的是，母親對蔡歡的死非常傷心，整日以淚洗麵，身子也一天天消瘦下去，最後還被父親打發到西廂小院居住。
衛器為父親行為的感到羞恥，同時也為父親的絕情感到寒心，父子之間的隔閡日益加深。
半年不到，母親就在西廂小院病死。父親既不設靈也不服喪，而是將母親的屍體安置在縣衙的殮房，等蔡家派人來後從簡料理，更不許衛器替母守喪。好在這時三叔衛梁從金陵趕來，接替自己為母親盡孝，不僅私刻了刺史官印，還模仿父親的筆跡從府庫賬房騙取了一大筆錢，帶著母親的棺槨一路扶靈回到金陵風光大葬。
三年後，為了離開刺史府，衛器與父親在堂前三擊掌，就此了斷父子關係，恩斷義絕。失去了家族的約束與庇蔭，衛器獨自踏上求學之路，立下了“科舉不中，終身不娶”的誓言。很快，衛器就通過了縣內的院試，以縣試第二名的身份保送到鴻都學館。
天隧十二年（康曆421年）八月，剛滿二十歲的衛器和三叔衛梁一起參加三年一次的鄉試，雙雙中舉。衛器本想約三叔一起北行參加來年在京都舉行的春闈會試，隻是他的三叔誌不在此，一考上舉人，就通過舉薦直接帶著妻兒去了上央縣當縣令。
同年十月，衛器作為那屆青州府秋闈鄉試的解元，與其他中舉的學子們一起受邀參加由青州學政司舉辦的鹿鳴宴，並有幸在學文館東牆的解元榜上提名。結果衛器樂極生悲，在登梯提名時一腳踩空，摔斷了一條腿，赴京無望，卻也因禍得福。就在鹿鳴宴結束後的那一晚，負責招待新科舉人們下榻的驛館突發由雷擊引發的火災，全員被燒死，衛器被好友王安豐和吳秋道送醫後就留在醫館過夜，三人得以逃過一劫。事後，青州學政司被問責，多名官員丟了烏紗帽，被發配流放。
天隧十五年（康曆424年），衛器第二次進京趕考，隨同青州府的新科舉人們沿淮江直下揚州，準備從播州再次登船走大運河北上直達京師，行至嘉陵附近的雁葦蕩時遭遇水匪劫殺。除衛器在被砍中兩刀後裝死躲過一劫以外，船上其他舉子係數遇害。
這次水匪劫殺進京趕考舉子一案影響十分惡劣，就連當時的權相楊佑甫也為之震怒。他嚴令官軍在一個月之內就剿滅了這夥無惡不作的水匪，還動用酷刑對幾個匪首剝皮抽筋，夷滅三族，向全天下的盜匪流寇樹立了與學子為敵就是與朝廷為敵的態度，算得上是這位禍亂朝綱、把持朝政的奸相這一生唯一一次為民的仁義之舉。
興隆二年（康曆427年），秋闈剛放榜，衛器再次乘上前往揚州的客船，這是他五次進京趕考中走得最遠，也是離京城最近的一次。途經嘉陵縣時，他在鎮上的舉子祠祭拜了上次遇難的青州舉子們，嘉陵縣的縣令聞訊後還派了官差一路護送衛器到了播州，然後乘大船沿大運河北上。眼看著第二日就可以在萬安縣靠岸，京都也近在咫尺。不曾想到，客船竟在半夜突然翻覆，衛器剛好在船翻時起夜，落水後又幸運地抱著一根浮木遊上了岸，成為那次翻船事件中唯一的幸存者。
景明元年（康曆430年），景帝登基後昭告天下，為了能讓路途遙遠的舉子能夠更加從容的進京赴試，特地將第二年三月的春闈會試延後至五月舉行。通常情況下，江淮地區，尤其是淮南淮北兩地七州的舉子都是在秋闈放榜後就開始準備進京的各項事宜，等到十月的鹿鳴宴後就要動身，等到了京都時尚有月餘時間用來備考。