宣帝突然返京，讓霍光感到頗有些措手不及，而其後的一道旨意更讓霍光覺得天威難測。
宣帝下詔選取霍光的小女兒霍成君入宮為婕妤。
宣帝的詔諭發到了霍光的府邸，闔府上下都是一片喜氣洋洋，獨獨霍光卻感覺到了一絲莫名的恐懼。
霍光的夫人阿顯卻是興奮異常，送自己的小女兒進宮從來都是她的夙願。隻是宣帝即位以來一直沒有什麼動作，自己雖然三番幾次在霍光的麵前打敲邊鼓，但是霍光卻沒有什麼興趣來關注這件事情。霍夫人沒有辦法，隻好屢屢進宮，時不時地在太皇太後的耳邊說起自己的女兒賢良淑德，足以侍奉宣帝。
太皇太後雖然是霍夫人的外孫女，卻因為在宣帝即位的事情上麵和霍氏生分了，對霍光的這個妻子更是一臉的不耐煩，況且宣帝即位之後一直也沒有什麼時間再說這些事情。所以，太皇太後也就不大兜搭此事，猛然聽到宣帝要納娶霍光的女兒入宮，還是覺得有些不可思議。當下，就對前來請安的宣帝說道：“皇帝氣色還好。怎麼外麵一圈轉了回來，居然就開了竅不是？”
宣帝實在怕見到這個太皇太後。按照禮數，自己每日都應該來請安，隻是一來就被她冷嘲熱諷一頓，原是不想來的，可礙著自己孝悌天子的名聲，每日裏隻好硬著頭皮前來。還好每次都在皇後——明麵上叫做許平君的陪同之下前來，她實際上是自己打小就青梅竹馬的患難夫妻青青。可巧這次皇後卻因為霍光女兒進宮的事情在建章宮接見霍光的夫人、女兒，宣帝隻好硬著頭皮獨自前來。聽到太皇太後這樣的話，宣帝卻不知如何回答，隻好陪笑道：“朕也是顧著天朝的名聲，皇後母儀天下，也得有些綠葉襯著。”
太皇太後卻不言語了，隻是斜睨雙眼緊盯著宣帝，直看得宣帝渾身不自在，就說道：“太皇太後多保重身體，皇後每天都是要過來侍候的。另外，再過一段時間，就是元旦，朕的年號也定了下來，就是本始元年。朕還得詔告天下，就連皇後也是四夷共尊的天下之母了。所以朕想皇後若還在建章宮居住有些不合禮數，朕今日裏來還請太皇太後移居長樂宮。”
太皇太後一陣冷笑。雖然知道宣帝說的是實情，隻是心裏隻犯膩歪，剛剛平靜下來的心情立刻翻江倒海起來，冷笑著道：“是的，皇帝說的在理。我倦了，你去吧。”
霍光剛剛去宮裏謝恩。言談之間，宣帝顯得異常的輕鬆，安慰了霍光幾句，說是要派太醫院的人去看一看，霍光連忙推辭了，隻是有一次說到了退隱的事情。
宣帝也知道霍光又是來探探自己的深淺，方才在太皇太後的那一股子氣早已讓宣帝心情異常的煩悶，隻是在霍光的麵前不便發作。但是，聽到霍光又一次說到了退隱的事情，按捺住性子說道：“大將軍，你是三朝老臣了，大漢的擎天重臣，朕剛剛登基，很多事情還要多多請教你們這些老臣，況且你的身子骨這樣的結實，就是再幹幾年，也沒有什麼，怎麼說去就去。看來還是朕的德行不夠，留不住你這樣的臣子。”
霍光耳聽到宣帝一番噓寒問暖的話，卻隻感到一陣的冰涼。宣帝什麼心思他當然清楚，隻是這樣一個尚未及冠的人居然向自己的對手說出這樣的話，令人覺得深不可測。想到這裏，霍光緩緩地說道：“陛下德兼三皇、才過五帝，手下又都是一些賢臣良將，老臣就在其位，也該讓讓位置，讓年輕人上來了。”
聽到這些，宣帝已然有些說不出來話，正要說幾句話壓一壓霍光，卻忍住了，說道：“我已經下詔選你的小女兒入宮了，今後朕和你就是一家人了，就是平民百姓家也講些骨肉親情，朕雖然是天子，卻也知道這個禮，元旦快要到了，大將軍就放假幾天，好好榮養一番。馮奉世，你替朕送送大將軍。”
送走了霍光，宣帝才覺得一絲寧定。忽然想起當年太宗文皇帝即位的時候，太尉周勃因為安定社稷的大功升任丞相，為文帝驂乘的時候，就曾經讓太宗感到渾身的不自在，最後還是在袁盎的諫說下，才解決了這件事情。可那個時候，周勃隻是一介莽夫，卻沒有霍光這樣城府。看來還是張安世說的正確，如果不能建立的自己的威權，將什麼事情也做不成。
看看已經到了晚膳的時候，宣帝卻沒有什麼胃口，送上來的菜肴除了肉還是肉，宣帝隻動了幾下筷子，就吩咐拿了下去。想要批閱幾封奏折，卻什麼也做不下去。索性放下自己手中的事情，走到了門前，就見到漫天的白雪在呼嘯的北風之中，上下飛舞，掃過牆腳又飄落在青石的路麵上。