霍禹一回到府上就病倒了。
太中大夫任宣要到代郡上任，聽說霍禹有病告了假，慌忙過府來看望。霍禹在病榻上拉住任宣的手哭著說：“我有什麼病？還不是氣得。大將軍墳土未幹，皇帝就把我們霍家子弟降職的降職，貶官的貶官。我這個大司馬的虛銜恐怕也保不住了，咱們霍家已經到了日薄西山的地步了。”
任宣問：“聽說是太夫人害死了許皇後，惹惱了聖上。有沒有這種事？”
霍禹說：“看來不是空穴來風，太夫人硬是死不承認。”
任宣說：“不承認也好。承認了霍家就完得更快了。”
霍禹歎了口氣說：“已經牽連到你我，你看怎麼辦？”
話未了，霍山和霍雲氣急敗壞地闖了進來。
霍山鐵青著臉說：“我和霍雲在朝廷裏的職務全被免了，讓我們以侯爵身份回老家。”
霍禹一驚，抓住霍山的手急問：“你們聽誰說的？”
霍雲暴跳如雷，大喊著：“我們在宮裏接的旨。完了，完了！我們霍家全完了！”說著大哭起來，“爺爺呀，你為什麼走得這麼早，撇下我們不管了。”
霍禹搖頭歎氣地說：“這皇帝忘恩負義，拿功臣開刀了。”
“誰敢拿我們霍家開刀就讓他官當不成，位坐不牢。”隨著話音，霍顯帶著王子方走了進來。
霍雲一見是霍顯，不由得怒從心起，“你個……”撲上去想打霍顯被任宣拉住。他滿腔怒火無處發泄，提溜起王子方扔了出去，王子方被摔得痛叫起來。
霍顯大怒，指著霍雲大罵：“你瘋了，竟敢這樣無禮。”
霍山也指著霍顯怒斥：“霍家滅就滅在你手裏了。”
霍顯一把拉住霍山質問：“你把話說清楚，霍家怎麼滅在了我手裏？”
霍山說：“滿長安城都在議論是你和淳於衍毒死了許皇後。皇帝現在把霍家的女婿都貶到了外郡，我們也都被罷了官，霍家不是敗在你手裏了？”
霍雲逼問霍顯：“你說，許皇後是不是你指使淳於衍害死的？”
“胡說！”霍顯想狡辯，心裏一虛，兩腿一軟，癱坐在地上。
霍山、霍雲大哭起來：“霍家要亡了，霍家要亡了！”他倆撲到霍顯麵前，拉著她哭喊著，“你為什麼要這樣做，為什麼要害死許皇後？為什麼要害我們霍家？”
任宣勸告大家息事寧人：“小不忍則亂大謀。該退就退，該忍就忍。”
霍山和霍雲說：“我們忍不下這口氣。”
任宣說：“忍不了也得忍。我堂堂一個太中大夫被逐出朝廷，去當一個小小的代郡郡守，不是也忍了嗎？”
再吵再鬧也無用，大家都不說話了，一個個像霜打的茄子耷拉著頭。
霍家的失勢使反對霍氏家族的呼聲越來越高。不僅是街談巷議，對霍家心存怨恨和急於轉舵要反戈一擊的朝臣更是甚囂塵上，連連上奏折要求嚴懲霍家。霍家的人既氣憤又恐慌，霍顯也覺得末日到了，皇帝對霍家的削官奪權隻是第一步，第二步就是懲辦她為許皇後報仇了。她不得不召開家庭會商量對策。
霍禹說：“當務之急是壓住告我們霍家這股風，不能讓他們左右皇帝，擾亂聖聽。”
霍山攤著手說：“我和霍雲沒了職，伯父是有職沒權，誰能壓住這股風？”