在宣帝即位之前，代王劉恒、昌邑王劉賀均是以諸侯王的身份入繼大統的。由於缺乏皇位法定繼承人的權威性，特別是在即位初期很難取得朝廷重臣的擁護，不得不在相當程度上依靠諸侯國舊臣以維係統治，同時還需精心調整與朝廷重臣及諸侯國之間的關係，以保持朝廷政治格局的穩定性。在文帝成功與昌邑王劉賀敗亡的背後，都見有代臣與昌邑臣的影子。特別是劉賀前鑒不遠，調整與權臣霍光之關係，則是初即大統的宣帝首要之務。這亦是在地節二年（前68）霍光去世之前，宣帝在政治上幾乎很少有針對霍氏舉措的關鍵所在。
宣帝即位不久，霍光表示要“稽首歸政”，但宣帝依然委政於霍光，“諸事皆先關白光，然後奏禦天子。”宣帝即位初始，即效法文帝，“論定策功”，益封霍光一萬七千戶，加之原先封戶，“所食凡二萬戶”。西漢一代，雖然封侯者不在少數，但是封戶逾萬者卻不多見。漢高祖時封侯者多達四百餘人，封侯萬戶者僅有二人：平陽侯曹參與留侯張良，而丞相蕭何方八千戶，少者僅五六百戶。雖然《漢書·高惠高後文功臣表·序》曰：“逮文景四五世間，流民既歸，戶口亦息，列侯大者至三四萬戶，小國自倍。”但實際上三四萬戶的封侯並不見於史載。顏師古注曰：“曹參初封萬六百戶，至後嗣侯宗免時，有戶二萬三千，是為戶口蕃息故也。”曹參侯國傳四代，至武帝元光五年（前130）國除，距始封時已經69年，封戶方逾二萬。可見，霍光有生之年封戶就高達二萬，其權勢恩寵之盛，可以想見。
除霍光之外，其餘大臣，“車騎將軍富平侯張安世以下益封者十人，封侯者五人，賜爵關內侯者八人”。值得注意的是，在宣帝已經即位的情況下，丞相楊敞於元平元年九月去世，霍光扶持其故吏蔡義任丞相，封陽平侯，此次也在益封之例。是時，蔡義年逾八旬，“貌似老嫗，行步俯僂，常兩吏扶夾乃能行”，較之前任丞相楊敞更為老朽不堪。霍光將如此丞相強加於宣帝，當時就有霍光“置宰相不選賢，苟用可顓製者”的譏諷。
不僅蔡義為丞相時如此，蔡義於本始三年（前71）去世後，在繼任丞相的人選上，宣帝仍然沒有明確表達自己的意圖，而以長信少府韋賢為丞相。韋賢，初以鄒魯大儒的身份為帝師，“進授昭帝《詩》”，官至大鴻臚，與霍光共同尊立宣帝，賜爵關內侯，徙長信少府，“以先帝師，甚見尊重”，本始三年，代蔡義為丞相。從韋賢仕途經曆看，與大將軍霍光似乎不無關係，據《後漢書》載桓鬱語曰，昭帝即位之初，“大臣輔政，亦選名儒韋賢、蔡義、夏侯勝等入授於前，平成聖德。”盡管韋賢不是霍光的故吏，亦是以“帝師”的身份出任丞相，且年逾七旬，“不習吏事”，為相五年，政事上毫無建樹，與蔡義幾無二致。由此可見，霍光所謂“以為人主師當為宰相，何謂雲雲？此語不可使天下聞也！”似乎並不是僅指蔡義而言，韋賢何嚐不是如此。如果說所謂“論定策功”隻是循例故事，恩寵群臣的一種手段的話；可是任命百官之首的丞相則是人主的權力所在，而宣帝則聽任霍光處置，這一做法在當時的條件下是極其明智的，在一定程度上解除了霍光的戒備防範之心，這也是在霍光去世前，君臣能相安無事的一個原因。
地節二年（前68）春，權傾朝野的大將軍霍光去世。宣帝為報答霍光的擁戴之恩，為霍光舉辦一個“皆同乘輿製度”的隆重葬禮，並下詔追思霍光功德曰：
大司馬大將軍博陸侯宿衛孝武皇帝三十餘年，輔孝昭皇帝十有餘年，遭大難，躬秉義，率三公、諸侯、九卿、大夫定萬世策，以安宗廟。天下蒸庶，鹹以康寧，功德茂盛，朕甚嘉之。複其後世，疇其爵邑，世世毋有所與。功如蕭相國。
然而，在“追思霍光功德”表象的背後，一個翦除霍氏集團的行動卻在有條不紊地展開。
此時霍光雖死，但霍氏家族的勢力依舊存在，霍禹嗣父爵為博陸侯，遷右將軍，樂平侯奉車都尉霍山複領尚書事，中郎將霍雲封冠陽侯，諸婿、親戚依舊兵權在握。但是霍光之死，畢竟為打破霍氏家族左右朝政的局麵提供了難得的機遇。宣帝為強化皇帝權威，采納禦史大夫魏相的建議，廢除“副封”製度，同時詔魏相給事中，引入內朝，從中牽製霍氏集團；旋即又以“老病”免除丞相韋賢，代之以魏相，將中外朝都牢固地控製自己手中。與之同時，封皇太子外祖父許廣漢為平恩侯，位特進，與其弟中郎將許舜共同監護太子，免除禍生腋下之慮。宣帝此舉斷絕了霍氏家族以外戚身份繼續操縱朝政的企圖。難怪霍夫人顯聞知許皇後子立為皇太子後“怒恚不食，嘔血，曰：‘此乃民間時子，安得立！即後（霍皇後）有子，反為王邪？’”不久，宣帝又進一步采取措施，更任霍禹為大司馬，罷除其右將軍屯兵及官屬，諸霍及親戚掌握兵權者皆削除兵權，或外放任為郡太守，或更任為文職，京師屯兵的及宮廷宿衛均以外戚許氏、史氏子弟代領。地節四年（前66）秋九月，大司馬霍禹等被人告發密謀反叛，家族盡誅，霍皇後廢黜，“與霍氏相連坐誅滅者數十家”。