皇帝對霍光越是信任，霍光越是愧疚。妻子謀害許皇後一案，他既不敢向劉詢報告又憋悶在心，憂鬱和害怕竟讓他一病不起。
劉詢是個聰明人，他早已知道許皇後的死因，就是按兵不動。他深知動霍顯就是動霍光，牽一發而動一身。他聽說霍光病了，帶領三公九卿親自來看望，祝福他早日康複，繼續輔佐朝政。
霍光從枕頭下摸出鑰匙放在劉詢的手掌裏誠懇地說：“陛下聖明天縱，謙恭賢明，不僅有堯舜之風而且有乾綱獨斷之能，臣現在再次請求還權歸政。這是宣室殿的鑰匙，所有奏章和印璽都在殿裏，望陛下恩準臣在家休息養病。”劉詢握著霍光的手流著淚說：“大將軍忠庸勤政，百官賓服，朕還要大將軍輔政。”說著，把鑰匙放回到霍光手掌裏。
霍光看了一眼張安世，對劉詢說：“左將軍可以協助陛下安邦治國，料理朝政。”
站在一邊的霍禹心裏“咯噔”一下。他本想父親之後，大司馬、大將軍的職位非他莫屬，沒想到父親要把軍政大權交給張安世，不滿地瞥了父親一眼，又看看劉詢，劉詢沒有表態，看來還有希望，心裏也就稍稍安穩。
劉詢安慰霍光說：“大將軍靜心養病，待康複之日，朕親自來接大將軍回朝料理朝政。”
皇上的話說得情深意切，坦誠相見，霍光再也無話可說。他也深信自己不過是偶染小疾，不日就會康複，康複後再慢慢還政。沒想到這是最後一次和皇上的見麵，他再也沒有回到未央宮。
劉詢等人走了以後，臥房裏隻留下霍顯在照顧他。霍顯坐在他身邊，不時地問：“喝水嗎，我給你倒點茶”，“吃飯嗎？我給你做你想吃的”，“我去把太醫請來給你再看看病”。霍光不以為然地說：“小病一場，休息一兩天就好了。”
霍顯的溫柔體貼化解了霍光對她的怨恨。他好不容易鎮靜下來，突然聽到從客廳裏傳來有人進來的腳步聲，開始他以為是侍女紅來送茶的。可是腳步聲停住了，沒有人進來。霍顯慌忙跑了出去。客廳裏好像站著一個人，又看見霍顯往他這裏指了指。
“是馮子都！”霍光心裏一怔。任宣對他的告密，侍女紅的吞吞吐吐，馮子都的躲躲閃閃……他的身子不由得顫抖起來，氣得緊緊攥住了被角。他以為開走了王子方，馮子都和霍顯就該收斂了，現在看來，他們還在私下往來。靜靜地聽著，聽到了霍顯返回的腳步聲，他連忙閉上了眼睛，裝作睡著的樣子。
“大將軍！”霍顯喊了一聲。
朗朗的鼾聲。
霍顯走近他，替他蓋上了被子。他一動不動。她確信他已經睡著，就輕手輕腳地返回客廳。霍光側耳傾聽，隻聽霍顯對馮子都說：“他睡著了。”接著，是他倆一起走出去的聲音，而且還關上了門。
霍光連靴也顧不得穿就跑進了客廳，貼著門縫看見霍顯和馮子都兩人相擁著進了廂房，又緊接著關上了門。霍光輕輕拉開門要跟過去，突然又停住了。他一個統率全國千軍萬馬，在朝廷上一呼百應的首輔大臣、大將軍卻像一個竊賊偷偷摸摸去跟蹤自己的夫人捉奸，實在是太失身份、太丟麵子了。此時他完全可以大喊一聲，府裏的長史（相當於秘書）、家將、侍從、院丁就會聞風而來聽從他的命令，把這對狗男女從廂房裏抓出來。其後果必然是鬧得滿城風雨，霍家的威望，一個大將軍的聲譽會像一杆威嚴的軍旗突然倒下來被疾馳的馬蹄踐踏成一塊滿是汙泥的遮羞布一樣被人譏諷恥笑。罷了，罷了！他隻能痛悔自己家教不嚴，哀歎家門不幸。可是廂房裏傳出來“咯咯”的放浪笑聲，讓霍光再次燃起衝天大火。他再也忍無可忍。一腳踢開了廂房的門，看見霍顯和馮子都抱住在床上翻滾，他的頭像棒擊一樣眩暈，他仇恨的熱血達到了沸點。他大喊著：“我要騸了你們兩個奸夫淫婦！”可是當他舉起拳頭向他們撲去時，隻覺得天旋地轉，“啊”的一聲倒在了地上，口裏噴出一團濃血。他掙紮著想站起來，又是一陣頭暈，喊聲、罵聲漸漸微弱下去。
當霍顯和馮子都整裝以後跑過來查看時，霍光已經魂歸西天。不知是嚇呆了還是有意拖延時間，兩人都沒有喊人。還是侍女紅聞聲跑來，發現霍光躺在地上，大喊著：“快來人呀，大將軍他……”
霍家大院裏頓時亂成一團。
霍光死於公元前68年（漢宣帝地節二年）。