荀子曾告誡李斯，“物禁大盛”，因為盛極必衰。《史記》卷八十七《李斯列傳》。看來，這不但是自然萬物發展的規律，而且也是人際權勢演變的趨勢。曆代權傾一時的重臣，本人或者後代的下場都不是太妙。其原因是多方麵的，或者如李斯，在與新貴的權力鬥爭中身敗名裂；或者如蕭何及周勃父子，因位高權重，有震主之威而受到猜忌；或者身後子弟仗勢胡作非為，同歸於盡，霍光就屬於此類。
宣帝即位時，不僅霍光受封，其子霍禹及亡兄霍去病的孫子霍雲、霍山，也都封官。他的女婿外孫也被陸續引進，盤踞朝廷。宣帝鑒於當時的形勢，不得不虛己以聽，唯言是從，但已經心懷猜忌了。
當時，這些擁立派已經開始受人攻擊了。在霍光陪著宣帝謁拜高廟時，侍禦史嚴延年就劾奏霍光擅行廢立，無人臣禮。宣帝不便批答，擱置不提。《漢書》卷九十《酷吏傳·田延年傳》。大司農田延年由於首倡廢立大事，晉封陽城侯，因而趾高氣揚，自鳴得意，遂惹得怨聲四起。有人揭發他在辦理昭帝大喪時，謊報雇車價值，侵吞公款達三千萬錢。當由丞相蔡義據事糾彈，應該下獄訊辦。田延年素性負氣，當然不肯就獄，憤然說道：“我位至列侯，還能受辱入獄麼？這不叫人唾到我背上才怪哩！”俄而，嚴延年又彈劾他手持兵器，侵犯屬車。他更恨上加恨，決絕地說道：“這無非是教我速死，我死便罷，何必多加逼迫？”說著，便拔劍自殺。誰想到，嚴延年後來又受到禦史中丞田廣明的彈劾，說他明知田延年有罪，卻縱令犯法，也應當連坐，嚴延年嚇得棄官而去。《漢書》卷九十《酷吏傳·嚴延年傳》。
田、嚴兩延年一死一逃，顯然是因為得意忘形，人所難容。霍光確實不是這樣的人，他一向處事謹慎，不事張揚。隻是輔政時間過久，事務過多，新皇帝又很年輕，他有時就免不了獨斷。宣帝令校尉常惠出使烏孫國，常惠說龜茲國以前曾殺掉漢使，應該順道往攻。宣帝恐他多事，不肯照準，霍光卻許他便宜行事。常惠果然矯命烏孫發兵，聯合西域諸國，進攻龜茲。龜茲新國王大驚，遂將當時主張殺漢使的大臣姑翼縛送軍前，常惠當即喝令斬首。回國後，宣帝本來要責他擅殺，聽說是霍光暗中指示，也隻得作罷，卻並不加賞常惠，明顯是開始對霍光稍示顏色了。《漢書》卷七十《常惠傳》。
時過不久，霍光的妻子霍顯，就背著他幹出一件傷天害理的事。霍光的元配早死，所生一女嫁與上官安為妻。這霍顯原是他家的婢女，納為妾媵後生了幾個子女，便升作繼室。他們的小女成君，尚未許人。宣帝即位後，霍顯一心希望將小女兒納入宮中，做個現成的皇後，偏偏宣帝令故妻許氏正位中宮。她由失望變為仇恨，日思夜想，尋找機會，一心想把許後除掉。
機會還真的給她找到了。本始三年（前71）正月，許皇後即將分娩，卻身體不適，寢食難安。宣帝遍召禦醫診治，又采募女醫入宮，日夕侍奉。女醫中有一人是掖庭護衛淳於賞的妻子，與霍顯熟識。兩個女人便做了一筆交易：淳於妻毒死許皇後，霍顯活動升她丈夫為安池監。許皇後生子後，隨即不明不白地死去，宣帝悲悼不已，親自視殮。有人遞入奏章，說到皇後暴崩，女醫侍疾無狀，應該從嚴拿究，宣帝當即準奏。有司訊問女醫，淳於妻寧死不肯供認，其他女醫並無情弊，同聲呼冤，先一齊囚係在獄中。《漢書》卷九十七《後戚傳·孝宣許皇後傳》。
霍顯這下子慌了，隻好將事情原原本本告訴了霍光。霍光聽了，也不禁咋舌，怒罵這個混賬妻子，卻已經於事無補。他想到如果淳於妻說出真情，免不了牽累全家。如果直接去自首，雖得保住全家，妻子可得腦袋落地。想了再想，就入宮麵見宣帝，先表示慰問，再說到許後病死想是命數注定，人死不可再生。再說這些女醫也沒有這般大膽，敢毒害皇後。宣帝也以為然，就傳詔赦出女醫。對許皇後依禮治喪，奉葬杜南。
過了一段時間，風聲也就過去了。霍顯見障礙已經除去，就照原計劃請霍光將女兒納入後宮。霍光入宮一說，想不到宣帝竟然允許，就將女兒裝束停當，送入宮中。宣帝優禮相待，逐漸寵幸。一年後，就冊為繼後。霍皇後到東宮侍奉上官太後時，卻有點尷尬。那上官太後本是霍光的外孫女，論起輩分，比霍後還低了一輩。所以霍後去進謁時，上官太後往往站起來，立在一旁，特別敬禮。宣帝對這位名門千金也倍加燕好，備極綢繆。