卻說霍顯心虛情怯，悔懼交並，霍禹對顯道：“既有此事，怪不得縣官斥逐諸婿，奪我兵權，若認真查究起來，必有大罰，奈何奈何！”霍山霍雲，亦急得沒有主意。還是霍禹年紀較大，膽氣較粗，自思一不做二不休，將錯便錯，索性把宣帝廢去，方可免患。比母更凶。忽又見趙平趨入道：“平家有門客石夏，善觀天文，據言天象示變，熒惑守住禦星，禦星占驗，主太仆奉車都尉當災，若非罷黜，且遭橫死。”霍山正為奉車都尉，聽了平言，更覺著忙。就是霍禹霍雲，亦恐自己不能免禍。正在秘密商議，又有一人進來，乃是雲舅李竟好友，叫做張赦。雲亦與交好，當即迎入，互相談敘。赦見雲神色倉皇，料有他故，有言探試，便由雲說出隱情。赦即替他設策道：“今丞相與平恩侯，擅權用事，可請太夫人速白上官太後，誅此兩人，翦去宮廷羽翼，天子自然勢孤。但教上官太後一詔，便好廢去。”雲欣然受教，赦也即告別。
不意屬垣有耳，竟為所聞，霍氏家中的馬夫，約略聽見張赦計謀，夜間私議。適值長安亭長張章，與馬夫相識，落魄無聊，前來探望。馬夫留他下榻，他佯作睡著，卻側著耳聽那馬夫密談，待至馬夫談完，統去就寢，便不禁暗喜，想即借此出頭，希圖富貴。心雖不善，但不如此，則霍氏不亡。朦朧半晌，已報雞聲，本來張章粗通文墨，至此醒來，又複打定腹稿，一至天明，即起床與馬夫作別，自去繕成一書，竟向北闕呈入。宣帝本欲杜除壅蔽，使中書令傳詔出去，無論吏民，概得上書言事。一麵由中書令逐日取入，親自披覽。至看到章書，就發交廷尉查辦，廷尉使執金吾官名往捕張赦石夏等人，已而宣旁又飭令止捕。
霍氏知陰謀被泄，越覺驚惶。霍山等相率聚議道：“這由縣官顧著太後，恐致幹連，故不願窮究。但我等已被嫌疑，且有毒死許後一案，謠言日盛，就使主上寬仁，難保左右不從中舉發，一或發作，必致族誅。今不如先發製人，較為得計！”已經遲了。乃使諸女各報夫婿，勸他一同舉事。各婿家也恐連坐，情願如約。會霍雲舅李竟，坐與諸侯王私相往來，得罪被拘。案與霍氏相連，有詔令霍雲霍山，免官就第，霍氏愈致失勢。隻有霍禹一人，尚得入朝辦事。百官對著霍禹，已不若從前敬禮，偏又經宣帝當麵責問，謂霍家女人謁長信宮，注見前回。何故無禮？霍家奴馮子都等，何故不法？說得禹頭汗直淋，勉強免冠謝罪。乃退朝回來，告知霍顯以下等人，膽小的都嚇得發抖，膽大的越激動邪心。顯忐忑不安，夜間夢光與語道：“汝知兒被捕否？”光果有靈，當先活捉馮子都，這全是霍顯驚慌所致。霍禹也夢車聲馬聲，前來拿人。母子清晨起床，互述夢境，並皆擔憂。又見白晝多鼠，曳尾畫地，庭樹集，惡聲驚人。宅門無故自壞；屋瓦無風自飛；種種怪異，不可究詰。
地節四年春月，宣帝求得外祖母王媼，及母舅無故與武，當即稱王媼為博平君，封無故為平昌侯，武為樂昌侯；許史以外，又多了王門貴戚，頓使霍家相形見絀，日夜愁煩。霍山獨怨恨魏相，侈然語眾道：“丞相擅減宗廟祭品，如羔如兔蛙，並皆酌省。從前高後時，曾有定例，臣下擅議宗廟，罪應棄市。今丞相不遵舊製，何勿把他舉劾呢！”霍禹霍雲，尚說此舉隻有關魏相，未足保家。因複另設一計，欲使上官太後，邀飲博平君，召入丞相平恩侯等，令範明友鄧廣漢引兵突入，承製處斬，趁勢廢去宣帝，立霍禹為天子。計議已定，尚未舉行，又由宣帝頒詔，出霍雲為玄菟太守，任宣為代郡太守。接連又發覺霍山過惡，係是擅寫秘書，應該坐罪，不如意事，紛至遝來。霍顯替山解免，願獻城西第宅，並馬千匹，為山贖罪，書入不報。哪知張章又探得霍禹等逆謀，往告期門官名董忠，忠轉告左曹楊惲，惲又轉達侍中金安上。安上係前車騎將軍金日從子，方得主寵，立即奏聞宣帝，且與侍中史高同時獻議，請禁霍氏家族，出入宮廷。侍中金賞，為日次子，曾娶霍光女為妻，一聞此信，慌忙入奏，願與霍女離婚。
宣帝不能再容，當即派吏四出，凡霍氏家族親戚，一體拿辦。範明友先得聞風，馳至霍山霍雲家內，報知禍事。山與雲魂膽飛揚，正在沒法擺布，便有家奴搶入道：“太夫人第宅，已被吏役圍住了！”山知不能免，取毒先服，雲與明友次第服下，待至捕役到門，已經毒發斃命，惟搜得妻妾子弟，上械牽去。那霍顯母子，未得預聞，竟被拘至獄中，訊出真情，禹受腰斬，顯亦遭誅，所有霍氏諸女，及女婿孫婿，悉數處死。甚至近戚疏親，輾轉連坐，誅滅不下千家。馮子都王子方等，當然做了萬頭鬼，與霍氏一門，同赴冥途去了。馮子都陰魂，又好與霍顯取樂，隻可惜要碰著霍光了。惟金賞已經去妻，幸免株連。霍後坐此被廢，徙居昭台宮。金安上等告逆有功，俱得加封，安上受封都成侯，楊惲受封平通侯，董忠受封高昌侯，張章受封博成侯，平地封侯，張章最為僥幸。侍中史高，也得受封樂陵侯。
先是霍氏奢侈，茂陵人徐福，已知霍氏必亡，曾詣闕上書，請宣帝裁抑霍氏，毋令厚亡。宣帝留中不發，書至三上，不過批答了聞知二字。及霍氏族滅，張章等俱膺厚賞，獨不及徐福。有人為徐福不平，因代為上書道：
臣聞客有過主人者，見其灶直突，旁有積薪。客謂主人，更為曲突，遠徙其薪，否則且有火患；主人默然不應。俄而家果失火，鄰裏共救之，幸而得息。於是殺牛置酒，謝其鄰人，灼爛者在於上行，餘各以功次坐，而不及言曲突者。人謂主人曰：“向使聽客之言，不費牛酒，終無火患。今論功而請賓，曲突徙薪無恩澤，焦頭爛額為上客耶？”主人乃悟而請之。今茂陵徐福數上書，言霍氏且有變，宜防絕之。向使福說得行，則國無裂土出爵之費，臣無逆亂誅滅之敗。往事既已，而福獨不蒙其功，惟陛下察之！願貴徙薪曲突之策，使居焦發灼爛之右。