圓滿而平穩地送走了霍光，順利地接過執掌江山的權柄，劉詢開始脫下偽裝，披掛上陣，正式扮演起了主角，迅速燃起三把大火。
第一步，將他與許皇後的兒子劉奭立為皇太子，澆滅霍成君的希望之火。
第二步，任命自己的親信魏相為漢丞相，逐步把朝政大權從霍氏勢力手中收回。
第三步，削弱霍氏家族的軍權，劉詢給霍光的兒子霍禹一個徒有虛名的大將軍封號，子承父業，讓你無話可說，事實上卻遠離軍事決策中心、遠離槍杆子。
霍家人顯然還沒有完成角色轉換，沒有從霍光顯赫的權勢和耀眼的光環下走出來，同時又不具備大將軍霍光的品格、氣量與韜略，麵對突如其來的漢皇的一次次變臉，他們仍自顧沉浸在妄自尊大的美夢裏。皇帝給予霍光的尊貴體麵已經夠大的了，霍顯卻仍嫌不足，完全出於婦人之見，節外生枝地要去擴大霍光陵墓的規模；“廣治第室，作乘輿輦”，多大的地方才能安得下你？還要大肆置買田地房產，處處去跟皇家比肩；當朝的皇帝是劉詢，既然已經詔告天下立劉奭為太子，麵對現實、迎合君意是最明智的選擇，——何況許平君已歸天。霍顯、霍成君母女淺薄到竟然硬是咽不下這口氣，故伎重演，如法炮製想毒死太子劉奭；
霍禹因不滿皇帝奪了他的兵權，耍大牌，負氣稱病不朝，且當麵大放厥詞，指責劉詢沒有他爹霍光哪能當上皇帝。
這一連串愚蠢的行為，等於積極配合著劉詢的鏟除計劃，接二連三給漢皇親手送上霍家不軌的口實。
劉詢似乎還覺得火候不夠，他又跟幾位親信大臣頻頻上演雙簧，一封封告發霍氏子弟為非作歹的奏章雪片般飛向朝廷，厚厚地積壓在漢宣帝的禦案上。
劉詢在一步步逼著霍光的後人自掘墳墓，而霍顯、霍禹、霍山、霍雲幾個果然按照他的指揮棒轉了起來。在霍家勢力被一點點削弱殆盡的時候，在當年毒殺許皇後的罪孽眼看紙裏包不住火的時候，霍家人方寸大亂，鋌而走險了。先是受人教唆，意欲借上官太後之手，除掉漢宣帝的左臂右膀魏相和平恩侯許廣漢，消息走漏未能得逞。劉詢仍未反擊，仍在等待。一計不成又生一計，霍山等人密謀發動政變，讓上官太後設宴，意欲席上殺死魏、許，進而廢掉宣帝，改立霍禹為帝。——這一切都在劉詢的秘密監控之下，他在靜靜等待著霍氏家族的自我崩盤。
霍禹殺人的酒宴尚未擺好，皇帝的禁衛軍已到。地節四年（公元前66年）——霍光死後僅僅兩年，霍山、霍雲畏罪在家中自殺，霍顯、霍禹及霍光的女兒、兄弟子侄全部被抓。劉詢下令，腰斬霍禹，其他人全部處死棄市，“與霍氏相連坐誅滅者數千家。”霍氏一族滿門遭斬，霍成君僥幸逃命，皇後被廢，囚居上林苑昭台宮。
霍家從此灰飛煙滅，霍光的陰影再不複投向劉詢的心頭，——漢宣帝費盡心機終於拔掉了背上的這根芒刺。
司馬光是一位清醒而公正的史學家，他指出：“豈徒霍氏之自禍哉？亦孝宣醞釀以成之也。”“夫以顯、禹、雲、山之罪，雖應夷滅，而光之忠勳不可不祀，遂使家無噍類，孝宣亦少恩哉！”一朝君子一朝臣，隻是劉詢做得太絕情了一些。
有趣的是，漢宣帝甘露三年（公元前51年），匈奴歸降，劉詢念及輔佐漢室有功之臣，命人畫十一位功臣圖像於麒麟閣，以示褒揚，霍光位列第一；第一是第一，但卻“唯光不名”，十一人隻有霍光沒有清清楚楚地標出名字，隻注明“大司馬大將軍、博陸侯、姓霍氏。”——這個小心眼的劉詢！