蔡文燁又問我高祖母，我高祖母這時候也挺驚訝，表示從沒教過我太爺。
蔡文燁頓時哈哈大笑，說他這外孫天資過人，要是能好好教導，將來就是狀元之才。
這時候的蔡文燁已經不再教書，用現在的話說，已經退休了，專職在家養老，一天閑著沒事兒幹，他見我太爺有這樣的資質，就想親自教他讀書，將來好調教出一個狀元之才。
這時候，蔡文燁見我高祖父跟他辭行，要把我太爺帶走。蔡文燁有點舍不得，因為我太爺這一走，不知道啥時候才能見麵，要是讓我太爺跟著我高祖父和我高祖母，肯定會浪費掉一塊狀元的好料子。於是蔡文燁提出，我高祖父夫妻兩個可以離開，必須把他的狀元外孫留下。
我高祖父一聽蔡文燁這要求，還真有點兒撓頭，舍不得呀，明知道我太爺在蔡府不會受委屈，甚至要比跟他們夫妻兩個的生活條件更優越，但是還是舍不得，再這麼說孩子都是父母的心頭肉。
蔡文燁見我高祖父舍不得，又說了，要是不把孩子留下，你們兩個也別想走。
最後，我高祖父和我高祖母商量了一下，我高祖母比較同意把我太爺留下，還幫著勸了我高祖父幾句。我高祖父轉念一想，算了，留下就留下吧，總比跟著他們回三王莊受苦強，再說了，萬一蔡文燁真能把我太爺培養成狀元，太爺也算給俺們劉家光大門楣了。
就這麼的，我高祖父帶著我高祖母回了三王莊，把我太爺留在了蔡府。
我高祖父和我高祖母回到三王莊以後，過起了二人世界，一開始夫妻兩個還天天掛念著我太爺，後來，兩個人也想通了，趁著現在還年輕，趁著我太爺有人替他們帶著，再生一個。想法挺好，不過也不知道為什麼，我高祖母一直不見懷孕。
兩年後，也就是1872年，清同治十一年，壬申年。我高祖父四十五歲，我高祖母二十七歲，我太爺五歲。
這一年，我高祖父挺絕望的，感覺自己可能是老了，已經沒生孩子的能力了，和我高祖母一商量，還是到蔡府看看孩子吧。
這兩年來，他們夫妻兩個倒也走親戚來過幾次，但是都沒常住，住上三五天，和我太爺團聚團聚以後，就返回三王莊了。不過，這兩年來，感覺我太爺明顯和他們夫妻兩個生疏了，爹娘從我太爺嘴裏喊出來，不知道咋會回事，聽著分外別扭。
這一次，我高祖父和我高祖母尋思著，在蔡府住上一段日子，有可能的話，我把太爺從蔡文燁手裏要回來，總不能一直讓蔡文燁夫婦帶著我太爺，長此下去，恐怕我太爺眼裏隻剩下姥姥姥爺了，再長大一點兒，很可能親爹娘都不認了。
夫妻兩個經過兩天兩夜奔波，又來到了蔡府。這時候我太爺已經能用毛筆寫字，能吟詩近百首，好像真有那麼點兒狀元郎的味道。
夫妻兩個這一次在蔡府住了能有小半年，我高祖父再一次受不了那總被人伺候的日子，就試著跟蔡文燁商量，把我太爺帶走。蔡文燁過去就不同意，現在和我太爺有了更深的感情，更不同意了。
我高祖父沒辦法，和我高祖母一商量，怎麼辦？我高祖母說，不行就在蔡府旁邊買座小宅子，一家三口搬來尉氏縣定居算了。白天我太爺跟著蔡文燁讀書識字，晚上讓我太爺回家睡覺。這樣也算是兩全其美了。
我高祖父一想，為了孩子，也隻能這麼辦了。
同年七月，也就是1872年，清同治十一年，壬申年七月。我高祖父一家，遷居尉氏縣，宅子就在蔡府旁邊。至於三王莊那所老宅子，我高祖父舍不得賣，就那麼留著，讓村裏人照看著。他總覺得那才是他的家，尉氏縣這裏隻是暫時的，等我太爺長大了以後，他們還要舉家搬回去的。因為，那裏才是他的根！
搬來尉氏縣以後，總得過日子，總不能天天上蔡府蹭飯吃，蔡府家大業大的，就是我高祖父一家蹭一輩子飯，也沒人說什麼，但是，我高祖父不是那樣兒的人，他閑不住，享不了這樣的清福，就想著找點事兒來做做。
我高祖母的二哥自從蔡府鬧凶這件事以後，非常看好我高祖父，說我高祖父有破案的頭腦，想我高祖父跟他到衙門裏謀個差事，隻要去，至少也是個捕頭。但是我高祖父不怎麼喜歡和官府裏的人打交道，婉言拒絕了。