霍光回到府上一夜沒有睡好覺，翻來覆去地想著張安世動員他廢劉賀的事。
昨天，張安世把劉賀為所欲為的行為全部告訴了霍光。霍光差點把肺氣炸，手裏握著的馬鞭“啪”的一聲折為兩段。他當即表態同意張安世的意見廢了劉賀。回來以後，細細一想又覺得這個表態太輕率了。“廢帝”畢竟是一件大事，不僅落下廢君的罪名，還怕由此引起朝廷上的混亂。可是，不廢劉賀，任其胡鬧下去，大漢王朝定然毀在這個人的手裏。他思前想後拿不定主意。
霍顯和霍光同床異夢。她感覺和霍光在一起簡直是在受罪。她幾次想和他做愛，霍光都以身體困乏而拒絕。他們雖是夫妻，卻形同陌路人，這使她又想起了和王子方、馮子都在一起的那種神魂癲狂、雲雨融和的舒適和愉快。她盼望天快點放亮，霍光早點離開她上朝去（到現在她還不知道霍光已經不上朝了）好和兩個情人在一起。猛然想起王子方怎麼沒見回來，她做賊心虛不敢問霍光，隻盼望著天亮出去問個明白。終於盼到了一聲雞啼，窗戶開始由黑變白出現了亮光。
霍光沒有貪睡習慣，天一亮就起了床，梳洗已畢，從衣架上摘下頭盔，突然想起不能上朝了，又把頭盔放回原處，倒了一杯茶坐在客廳裏慢慢地喝起來。
“大將軍，田大人已在外麵等候了兩個時辰，要見您老。”
霍光嗔怪任宣：“為什麼不早點報告。”任宣說：“田大人說大將軍回來乏困，他多待一會兒不要緊。”霍光連忙走出去，把田延年引進另一個房間。
田延年哭著說：“大將軍，亡秦之禍近矣！”接著把劉賀沉湎深宮、不理朝政、拒絕納諫等告訴了霍光。霍光怪罪田延年：“皇上如此荒唐暴淫，為什麼不報告太後？”田延年說：“長樂宮也被昌邑國的人封鎖了，任何人進不去。”
這時，任宣又進來報告：“張將軍登門拜望。”
霍光知道張安世還是為廢帝的事而來的，連忙說：“快請！”
張安世一進來就問：“大將軍，什麼時間動手？”
霍光猶豫著沒有說話。
張安世說：“將軍是國家的梁柱磐石，是當今朝裏的首輔大臣。國家出了昏君，朝裏滋生亂臣，大將軍應該力挽狂瀾，像當年太尉周勃清宮一樣，鏟除呂氏亂黨，打掃劉家廟宇。”
田延年這才知道他們早就議論過廢帝的事情，也勸告霍光：“國家比君王重要。當今皇上不能承受天命，不能侍奉祖宗祭廟，大將軍能立賀，也能廢賀。”霍光問：“曆史上有臣廢君的事情嗎？”他不願當始作俑者，在曆史上留下不好的名聲。
田延年說：“商王朝時，五任帝太甲荒淫無道，宰相伊尹罷黜昏君而成為聖人。大將軍如能廢掉昏王更立賢明之君，拯救漢王朝，也是當今的伊尹。”
霍光沉吟良久才說：“這是國家大事，田大人和張將軍去找楊宰相商量，我去請示太後。”
田延年和張安世素知霍光謹慎，同意霍光的意見，大家分頭行事。