許平君的過世，也讓漢宣帝與霍光的關係發生了變化，從前宛似股肱的君臣，現在卻是敵人。霍成君被立為皇後，讓漢宣帝家裏平添了一頭“河東獅”，此女飛揚跋扈，且生活鋪張奢侈，與勤儉持家、溫良賢淑的許皇後完全是兩類人。對這一切，漢宣帝的態度就一個：忍。不忍也不行，滿朝文武都是霍家的人，自己更在風口浪尖上，反正自己從小就是從民間忍過來的，多忍幾年也無妨。這時期漢帝國的國力依然蒸蒸日上，漢帝國繼續推行休養生息政策，以減稅、鼓勵邊將屯墾等方式，恢複生產。忍到公元前68年，操勞一生的霍光終於去世。對霍光，漢宣帝也極盡榮寵，以皇帝的規格祭葬，但霍家的命運，卻從此開始改變了。
其實對於霍光家族，漢宣帝一開始並沒有清算之意，雖然霍光害死了他的結發妻，但其擁立的大功，漢宣帝還是感激的。尤其是對皇後霍成君，漢宣帝也極力隱忍。霍家後人日益囂張跋扈，霍光的妻子霍顯大興土木，屢做違法的事情。在隱忍的同時，漢宣帝不動聲色地削除了霍光的羽翼，他的兩個女婿都被解除了職務，其子霍勳被提升為大司馬，其實是明升暗降，解除了兵權。惶恐之下，霍家人鋌而走險決定謀反，然而就像當年上官桀謀反失敗一樣，這次霍家也輸在了謹慎的漢宣帝手裏。謀反的消息一開始就被漢宣帝掌握，還沒等到霍家發難，漢宣帝就不動聲色發布任命，將霍家的子孫們調出京城，然後突然動手，將其一網打盡，因謀反大罪，霍家全族遭誅。隱忍多年的漢宣帝，從此真正掌握了政權。
親政後的漢宣帝，開始延續漢昭帝時代已經有的中興局麵。比起漢昭帝時期，他內政的創舉，是對吏治重新整合，其中最重要的就是反腐敗，他派出大批精幹官吏，整頓已經冒頭的地方腐敗現象，嚴查貪官汙吏。比如對他有擁立大功的丞相田延年，就因為貪汙問題遭到懲治。漢宣帝還修正漢朝律法，廢除了諸多苛刻殘暴的法令，治官以嚴苛，治民卻以寬簡，漢王朝的官風、民風，在這一時期徹底扭轉。經濟方麵，漢宣帝繼承了休養生息政策，但也強化了漢武帝時期經濟改革的成果。尤其是他大力削弱諸侯，將諸侯土地盡可能地分配給農民耕種，進一步緩解了土地矛盾。工商業方麵，在加強稅收管製的同時，進一步放寬經營限製，這時期的工商業和農業都有長足發展。
漢宣帝在位時期做的最重要的事情，是徹底解決了匈奴問題。漢宣帝時代的匈奴，已經分裂成了南北兩大部，兩大部落相互攻殺，再無法對漢朝邊地形成威脅。但漢宣帝卻不滿足於這種暫時的和平，抓住機會重手出擊。一麵屢次聯合西域烏孫等國，派兵打擊匈奴，一麵實行招撫政策，招募匈奴人歸附。他的努力收到了回報，公元前51年，匈奴呼韓邪單於主動至長安，宣誓歸順大漢朝。經過了近百年和戰後，漢帝國終於贏得了對匈奴戰爭的徹底勝利，早已作古的漢武帝若泉下有知，也可含笑九泉。漢宣帝在位時的公元前61年，也是一個值得中國人記錄的年份。這一年，漢帝國正式在輪台設立西域都護府，以鄭吉為第一任西域都護，從此開始，廣袤的新疆大地正式劃入了中國版圖，這是一個繼往開來的偉大成就。
公元前87年至公元前48年，是西漢帝國最後一個光輝時期。就像夕陽正紅一樣，立國百年多的西漢帝國，此時確實已到了王朝的晚期，“昭宣中興”的餘暉之後，漢帝國即將進入一段漫長的黑暗期。