送別羅術鳴不久，祁孝直也開始準備離京了，他一邊清理家產，一邊向朝廷上表辭呈。那時正是光緒二十五年秋，離光緒皇帝祭祖的時日已經不多，所以祁孝直這個祠祭署記丞的辭呈一直沒有獲批，離京的事宜就被一拖再拖，這一拖，就拖到了光緒二十六年。
這一年，北京城先是鬧起了義和團，後來又來了八國聯軍，整個北京城被鬧的烏煙瘴氣。
祁孝直先是被義和團當成了二毛子，差點讓人點了天燈，後來萬貫家財又被八國聯軍搶奪一空。因此他被氣得大口吐血，沒幾天就一命歸天了。
自從祁孝直死後，他們的家境就開始迅速衰落。沒有了俸祿也沒有了積蓄，祁仁厚辦完父親的後事就遣散了下人，守著母親辛苦度日。到了慈禧歸天之時，祁仁厚的家境已經是家徒四壁，能典當的東西都當光了，為了活命祁仁厚開始以替人代寫家信和狀紙為生，不過生意也是非常慘淡，有時甚至連續幾天，祁仁厚娘倆連一頓飽飯都混不上。
屋漏又逢連夜雨，沒過多久祁仁厚的母親又患了場大病。他們現在連飯都快吃不上了，哪來的錢看病？最後祁仁厚一咬牙，就把自家的那三層大院賣了。先是換了銀子治好了母親的病，又買了處小四合院安家。而這座四合院就是後來我家的老房。
民國八年的時候，祁仁厚的母親托媒婆給兒子說了門親事。娶進門的兒媳婦趙氏就是我的奶奶。
二年之後趙氏生了個兒子起名祁義方，這就是我的父親。祁義方從小聰明過人，八歲時上了新學堂，1937年抗日戰爭爆發的時候，他正好考入北京師範大學。畢業後，祁義方就在北京的某中學當了教書先生。
抗日戰爭一下就打了八年，在1945年日本投降的前夕，祁義方的奶奶餓死了。緊接著就開始了三年的內戰，1949年解放以後，祁義方的母親又病故了。
這十幾年的戰亂和家中的變故，把祁義方的婚事給耽誤了。一直到了1955年，祁義方當上了中學的校長，才由組織介紹結了婚。
我出生的那年是1959年，我父親祁義方已經38歲了，他給我起名叫祁天下，寓意就是修身齊家，製國平天下的意思。父親酷愛文獻史集，詩詞歌賦。所以他一直想把我培養成才華橫溢，腹有乾坤的人。單從我的名字就能看出父親對我寄予的厚望，不過他要是知道我後來幹的那些事，估計當時就把我掐死了。
幼年時的記憶在我印象裏很模糊，隻記得家境比較寬裕。父親又是中年得子，所以對我也是非常疼愛，這讓我在一段日子裏，過得無憂無慮。
三歲那年父親就開始教我認字了，他做了很多一寸見方的紙片，每張紙上寫一個漢字。他把這些紙片貼在家裏的牆上。每天晚上都要教我認識幾個漢字後，才能睡覺，所以這和我上學以後語文成績非常好，有著一定的關係。我記得那段時間，父親一見到我都是笑嗬嗬的。不過，不久之後的一天，當我第一次讀出連貫的一句話時，卻是讓他吃驚不小。