霍禹因兵權被奪，親戚調徙，心情鬱憤，便托疾不朝。中大夫任宣曾為霍氏長史，並奉詔護喪，念及舊情，前去探問。霍禹在言談間直呼宣帝為縣官，大發牢騷道：“不是我家將軍，縣官怎得至此？今將軍墳土未幹，就將我家疏斥，反而重用許、史子弟！”任宣當然不能迎合，隻說許、史為天子近親，應該貴顯，請他不要介意。說完，便告辭而去。
霍氏得勢時不知收斂，已受人譏彈，現今日趨失勢，糾劾者四起，甚至連毒死許皇後之事，都有人開始議論了。霍山等莫明其妙，問起此事，霍顯將眾人引至內室，將實情告訴了他們。眾人聽罷，都知道事情的嚴重性，唯恐宣帝一旦查究起來，必然大禍臨頭，一時都嚇得沒了主意。霍禹年齡較大，膽氣較粗，心想一不做二不休，索性將宣帝廢去。正商量間，霍雲的舅父李竟的好友張赦，進來出了一個主意，請霍顯報告上官太後，誅除丞相魏相與平恩侯許廣漢，天子勢孤，霍氏自然免患。
誰知隔牆有耳，霍家的一個馬夫聽到了張赦所出的主意，在底下私議時，被長安亭長張章聽到，就上書告發。宣帝披覽後交廷尉查辦，廷尉使執金吾往捕，已而又飭令止捕。霍氏諸人還以為是宣帝顧著太後，一時沒有動手，但自己所犯之事必然有發作的時候，於是就加緊活動，讓各婿家一同舉事。但是，就在他們還沒有來得及動手時，霍雲的舅父李竟，因與諸侯王私相往來，被拘捕。此案與霍氏相連，詔令霍雲、霍山免官就第。隻有霍禹還能入朝，百官對他都很冷淡，宣帝當麵責問他的事，件件打中要害，直說得他冷汗淋漓，隻能免冠謝罪。回家一說，膽小的嚇得要死，膽大的還想破釜沉舟。
地節四年（前66）春月，霍氏還想著請上官太後召宴魏相、許廣漢，趁機殺掉，廢去宣帝，立霍禹為天子。計劃還沒有來得及實施，宣帝詔令已下，出霍雲為玄菟太守，任宣為代郡太守。接著，霍山擅寫密書之事被人告發，霍顯願意獻出城西宅第，一千匹馬，為霍山贖罪，上書後，卻無下文。
那個長安亭長張章，又探得霍禹的逆謀，當即告發。宣帝立即派吏四出，凡霍氏家族親戚，一律拿辦。霍婿範明友得到消息，先去給霍山、霍雲報告禍事，兩人嚇破了膽，有家奴來報，霍顯宅第已經被圍，三人相繼服毒。待等捕役到門，已經毒發斃命。霍顯、霍禹事先沒有得到消息，被拘捕到獄中，嚴刑訊出實情，霍顯被誅，霍禹腰斬。所有霍氏諸女及女婿、孫婿，全部處死。甚至近親疏戚，輾轉連坐者不下千家。霍光、霍顯聯手送入中宮的霍皇後，也坐此被廢，宣帝當即封王婕妤為皇後。霍皇後先是徙居到昭台宮，後來又遷徙雲林館，自殺。那些告密、告逆的大小人等，都得到加封。連那個小小的長安亭長張章，也居然受封為博成侯。
值得玩味的是，當霍氏權傾一時，日益奢侈時，茂陵人徐生曾詣闕上書，請宣帝裁抑霍氏，“無使至亡”。書至三上，宣帝卻隻批答了“閱知”二字。霍氏族滅，唯獨沒有封賞徐生。有人代為上書，宣帝還不以為然，隻給他賞賜了十匹帛。
這就說明，霍氏滅族，錯在霍光治家不嚴，偏袒霍顯，放縱子弟；罪在霍氏子弟橫行不法，驕奢無度，直到最後當兵權被奪，親戚被徙時，還不知道引退，還想著篡逆，隻能是自取滅亡。但是，這與宣帝的姑息養奸，甚至有意激發促成，他好一網打盡，也大有關係。從茂陵人徐生上書前後所受冷遇之事，不就可以看出其中的蛛絲馬跡麼！
應該說，忠心耿耿的霍光不但有大功於漢，而且有大恩於宣帝。宣帝號稱中興之主，他對霍光本人倒還說得過去，但對霍氏家族誘之以罪以至滅族，則未免殘刻過甚。百年之後，宣帝沒有到五陵原上陪伴他的祖先去，而是安息在長安城南的杜陵，許皇後則陪伴在少陵，同為名勝之地。隻是那霍皇後的幽靈，還不知在哪兒飄蕩哩！
還是莊子說得對：“凡人心險於山川，難於知天。天猶有春秋冬夏旦暮之期，人者厚貌深情。”《莊子·列禦寇》。
權勢誘人，權勢害人。欲求平安者，還是遠離它！
§§第八章 漢宮悲秋