地節二年（前68）春三月，霍光老病纏身，漸至不起。宣帝親自前去慰問，見霍光已到彌留之際，想到武帝駕崩二十年來，朝政多事，人事糾紛，他畢竟忠心耿耿，穩定了大局，也不禁泫然流涕。幾天後，霍光病逝。宣帝與上官太後都親往吊奠，又使曾任大將軍長史的中大夫任宣持節護喪，中二千石以下官員監製墳塋，特賜禦用衣衾棺槨。出葬禮儀，也盡如天子製度。墓前特置園邑三百家，派兵看守。
宣帝在霍光生前，已不無猜忌之意。霍光死後，就應該對其子弟加以限製，這對國家對霍氏都有好處。他不知道出於哪種考慮，卻故示放縱。本來，霍光臨死前在謝恩書中已表示，願分國邑三千戶，移封其兄霍去病的孫子霍山，以奉兄遺祀。宣帝當即將原書發出，交丞相、禦史大夫酌議，即日拜霍光之子霍禹為右將軍。霍光卒後，丞相等請依照霍光謝恩書，分邑於霍山。宣帝卻不予分置，令霍禹嗣爵博陵侯，食邑如舊。又封霍山為樂平侯，守奉車都尉領尚書事。地節三年（前67），宣帝立許後所生子劉為太子，進封許後父許廣漢為平恩侯。又推恩霍氏，封霍光孫子中郎將霍雲為冠陽侯。至此，霍氏一門三侯，榮寵無比。
宣帝故示放縱，霍氏後人卻不知大樹已倒，驕縱之態頓生。那霍顯自兒子襲爵，居然做了太夫人，便驕奢不法，令人在霍光生前所築塋製三麵起闕，中築神道，盛建祠宇輦閣，通接永巷。將所有老年婢妾驅至巷中，看守祠墓。又大治宅第，特製的彩輦以黃金為飾，錦繡為茵。使侍婢作為車夫，用五彩絲絞綰住輦轂挽車遊行取樂。晚間則與家奴馮子都相偎相抱，顛倒鴛鴦。她視太後、皇後兩宮如自己家，自由出入，不拘禮節。子侄輩的霍禹、霍山驕縱淫逸，自不必說。孫子輩的霍雲雖是少年，也整日裏飛鷹逐兔。在例當入朝時，他居然派家奴馳入朝堂，稱病請假，宣帝默不作聲。朝臣知道他欺主，不敢言而敢怒，都等著看他的下場。霍禹姊妹仗著母家勢力，任意出入太後、皇後兩宮。
霍氏家族的這種放浪行為，早已引起公憤。禦史大夫魏相就憤然上書，指斥霍氏子弟的“驕奢放縱”，請宣帝“損奪其權”，以“固萬世之基，全功臣之世”。宣帝接到上書，看到時機成熟，也就開始準備對霍氏家族下手了。漢廷舊例，民吏必須提供正、副二封，先由領尚書事將副封展閱一周，所言不合，便把正封擱置，不複上奏。當時霍山正領尚書事，魏相同時進言，除去吏民副封，以免壅蔽。霍顯得知此事，心知來者不善，霍禹、霍山、霍雲還不以為然。霍家奴與禦史家奴爭道，霍家奴竟然搗入禦史府中，經魏相出來賠禮，令家奴叩頭謝罪，才得息爭。沒想到魏相既而升為丞相，由曾保護宣帝的光祿大夫丙吉擔任禦史大夫。霍顯暗暗吃驚，唯恐遭到報複。《漢書》卷七十四《魏相傳》。
當初宣帝立太子時，霍顯就恨恨不平，擔心自己女兒雖為皇後，生男隻能外出為王。為了鞏固霍氏勢力，就悄悄入見霍後，叫她尋找機會毒死太子。霍後依著母命，屢召太子賜食，擬乘間下毒。偏宣帝早已提防著，太子每與霍後進食，必由保姆先嚐後進，使她無從下手。宣帝已經感覺到霍後不喜歡太子，心下開始懷疑從前許後之死，是霍氏使人下毒。對此，宮廷內外漸漸也開始有所傳言。宣帝便與魏相密商，對霍氏開始采取一種釜底抽薪的辦法。《漢書》卷九十七上《後戚傳·孝宣霍皇後傳》。
鑒於當時朝內要害部門統由霍光女婿入掌兵權，宣帝便先徙遷其女婿，調未央衛尉範明友為光祿卿，長樂衛尉鄧廣漢為少府，羽林監任勝為安定太守，撤回光祿大夫散騎都尉趙平的騎都尉印綬；再調霍光姊夫給事中張朔為蜀郡太守，霍光孫婿中郎將王漢為武威太守；又收還霍禹的右將軍印，表麵尊為大司馬，與乃父同一官銜。收回兵權後，特命張安世為衛將軍，一並節製兩宮衛尉、城門屯兵、北軍八校尉。令使許、史兩家子弟，代為軍將。