事實上，劉賀的預感是對的。劉賀一人進宮後，他的人全被趕到金馬門外。他們發現車騎將軍張安世已經率領羽林軍等候多時了。
此時，劉賀更是不妙。他進宮後，霍光安排幾個宮廷隨從引他上殿。一路上，劉賀倍感不安。他問隨從，好像我那些從昌邑帶來的人，也沒犯什麼罪，霍大將軍為什麼不讓他們進宮？
陪侍的人，沒有人能回答劉賀這個問題，也不敢回答這個問題。
劉賀又問：“那麼，你們知道上官太後為什麼要召見我嗎？”
仍然是一片沉默的回答。最後，劉賀被引到金鑾殿前，發現場麵異常嚴肅莊嚴。上官太後，裝整高貴；左右衛士，手持兵器；文武百官，按序排列。劉賀的心，不禁抽搐起來。
劉賀突然感覺到，他的末日到了。
這時，宮廷秘書長（尚書令）宣讀彈劾書。彈劾書很長，但概括起來隻有一句話：劉賀荒唐無道，登基二十七天，竟然做了一千一百二十七件不法之事。
按彈劾書所舉事實計算，劉賀平均每天就做了四十一件被人抓住把柄的事。這實在太可怕了。更可怕的是，劉賀的一舉一動都被霍光記錄在案。
這說明什麼？大漢的長安，仍然是霍光的長安。劉賀進了長安，處處被監視，卻仍然胡搞亂來，真是爛透了。
劉賀那二十七天的皇帝成長史，尚書令讀得累，上官太後聽得卻一點都不累。那上官太後，是漢朝曆史上最年輕的太後，隻有十五六歲。她開始還聽得津津有味，越往後聽，越是氣憤。中間甚至打斷尚書令，跳起來大罵劉賀。
劉賀像隻被拔光了毛的雞，伏在地上一動也不敢動。
最後，彈劾書終於宣讀完畢。上官太後二話不說，當場批準廢掉劉賀。接著，霍光命令劉賀起身，接詔書，謝太後。這時，劉賀想申辯幾句，霍光很不客氣，親自動手，解下劉賀身上玉璽帶。
霍光還算客氣，扶著劉賀下殿，直送出金馬門外。文武百官，都來相送。此情此景，不勝唏噓。我們因為走得太遠，而忘記了來時的路。劉賀卻不知道，此時被送出長安，茫茫前路，卻不知所歸之處。
這時，劉賀向霍光拜辭，說道：“我實在太過愚蠢了，長安真不是我待的地方。”
霍光流淚了。莫名的，他不知何來一陣感傷。
我想，他這眼淚，替劉賀流，也替自己流。回想當年，陳平、周勃，迎代王劉恒進京，何等成功。大漢盛世，由孝文帝起。事隔多年，霍光又履行當年陳平之責，卻迎來了一個混賬劉賀，劉賀也由此創造了漢朝曆史上最短命皇帝的奇跡。這，怎麼不叫人心痛悲哀啊。
但是，對劉賀來說，這一切都無所謂了。不久，漢朝群臣上奏，建議上官太後幹脆連劉賀昌邑王的名號也罷掉算了，將他放逐漢中，從此遠離政治。但是，這個建議被上官太後否決了。
接著，上官太後批準劉賀按原路返回昌邑國，賜他兩千戶，並封湯沐邑。劉賀當昌邑王時的全部財產，仍歸他所有。但是，作為懲罰，將昌邑王國撤除，改設為郡。
好了，終於送走了一個大瘟神，霍光心裏長長呼出一口氣。然而新的問題又來了，這下子，又該去哪裏尋找新皇帝呢？
一想到這，霍光又頭痛起來了。