霍光的妻子霍顯（史不載其姓，一般稱之為霍顯）非常不滿，想方設法要讓女兒取代許平君。為了達到自己的目的，她竟然不擇手段。
漢宣帝繼位第四年（前71），皇後許平君懷孕。當時宮中有一位有名的女醫生，叫淳於衍。她也是霍家的常客，霍顯突然眼前一亮，想出一個大膽而陰毒的詭計。她對淳於衍說：“大將軍向來寵愛小女兒成君，希望她大富大貴，這件事得拜托您。”淳於衍一頭霧水，不解道：“這是怎麼說呢？”
霍顯靠近淳於衍，壓低聲音說：“女人懷孕生子是一件大事，九死一生。皇後快分娩了，如果在她的藥中下毒，讓她在分娩後中毒而死，到時別人自然會認為是死於生產，不會懷疑。隻要皇後一死，成君就可以名正言順地成為皇後。這事情要辦成，富貴榮華少不了你的。”
淳於衍聽後大駭，說道：“給皇後開藥治病的大夫多，而且藥一定事先要由下人先嚐過，要投毒怎麼可能？”
霍顯陰陰一笑道：“能否辦成，關鍵就看你。如今天下大權，操之大將軍之手，誰敢說三道四呢？就算出了差錯，也可以保護你的，隻怕你無意相助罷了。”淳於衍有得選擇嗎？霍顯既然開口了，她若不答應，不照做，隻能是死路一條。她無奈地從口唇中擠出三個字：“願盡力。”
回到家後，她找了一種名為附子的毒藥，搗碎後秘密帶入宮中，等待機會下手。許平君順利產下一個女兒，輪到淳於衍進藥時，她哆哆嗦嗦地將附子粉末摻和到太醫開的藥丸中，讓皇後服用。許平君服下後，不一會兒的工夫，覺得頭昏腦漲，便說道：“我頭很暈，會不會是藥中有毒？”淳於衍嚇一大跳，趕緊掩飾說：“沒有毒的。”可是許平君開始口唇肢體發麻，心慌氣促，最後漸漸失去知覺，毒發而死。
皇後之死，令漢宣帝非常難過。起初他認為是產後症引起的，後來有人上疏，告發宮廷禦醫犯有嚴重的失職。漢宣帝下詔將所有相關禦醫全部逮捕下獄審問，包括淳於衍在內。霍顯害怕事情露餡兒，隻好向霍光全盤托出。霍光聽後大恐，他萬萬沒有想到，妻子竟然是謀殺皇後的幕後主使。毒殺皇後，那是誅滅全族的罪啊。不該做也做了，無可挽回，霍光無奈之下，隻能選擇隱瞞真相。他上疏力保淳於衍，在奏章中注明淳於衍與皇後之死沒有關係。
有大將軍擔保，皇帝沒有追究此事，淳於衍終被釋放。
毒殺皇後之事被霍光擺平，霍顯更神氣了，她將女兒霍成君送入宮中。第二年（前70），霍成君被立為皇後。
公元前68年，執掌朝政達十八年之久的大將軍霍光病逝。
漢宣帝終於喘了一口大氣。多年來，他雖然是皇帝，卻隻能躲在霍光的陰影之下，朝政大事，由霍光說了算。霍光死後，漢宣帝才開始親政。他親政後勵精圖治，為政的最大亮點是重視吏治，特別是地方官吏的選派與委任，十分謹慎。
霍氏集團的權勢仍然很大。霍禹為右將軍，手握兵權；霍山為奉車都尉，兼領尚書事。霍顯是皇後霍成君的母親，也是上官太後的外祖母，可以自由進出太後的長信宮。其他霍氏成員多在朝中居顯要職位，實力不可低估。
在朝廷中，對霍氏專權反感的大有人在。禦史大夫魏相上了兩道密折給皇帝，皇帝對他的建議言聽計從。首先，拜張安世為大司馬兼車騎將軍，避免軍權落到霍氏子弟之手；其次，冊立劉奭為皇太子。劉奭是前任皇後許平君所生之子，這可把霍顯氣壞了。她氣得吐血，許平君都死了，怎麼陰魂不散呢？
霍顯打算重施故伎，毒殺太子劉奭。這件事交給誰來做呢？當然是她的女兒——皇後霍成君。她教唆女兒下藥毒死太子，霍成君答應了。霍成君數次召劉奭入後宮，想要找機會毒死他。可是劉奭的保姆很盡責，每次都要親自先嚐吃，令霍成君無法下手。
為了對付霍氏集團，漢宣帝任命魏相為宰相，許平君的父親許廣漢也得以隨時進出宮廷。在豐滿自己羽翼的同時，不斷削弱霍氏的力量。
首先是削奪霍氏的兵權。霍光三女婿範明友、二女婿鄧廣漢、五女婿任勝、孫女婿王漢等均手握兵權，漢宣帝把他們全部調離軍職，出任地方太守或其他文職。緊接著，漢宣帝任命張安世為衛將軍，同時兼任長樂宮、未央宮的守備司令。凡是在羽林軍、未央宮、長樂宮守備部隊和長安城防部隊中的霍氏將領，全部被調離，改由許、史二家的子弟接任。許家就是許皇後家族，史家就是漢宣帝祖母史良娣家族。
霍氏集團的權力不斷被削，霍顯恐懼不安。當時民間都說是霍氏毒死許皇後，此事鬧得沸沸揚揚，霍山問霍顯：“這件事到底有沒有呢？”紙是包不住火的，霍顯吞吞吐吐說出實情，承認許皇後是被自己暗中串通禦醫毒死的。霍禹等人大吃一驚，這可是滿門抄斬之罪。為今之計，隻能鋌而走險，發動政變，推翻漢宣帝。
恐慌籠罩著霍家，與其坐以待斃，不如絕地反擊。霍山擬訂了一個政變的計劃：由上官太後出麵宴請漢宣帝的外祖母，同時召魏相、許廣漢赴宴。在宴席上，刺殺魏相、許廣漢，然後以上官太後之命，廢掉漢宣帝，擁霍禹為皇帝。
霍家沉不住氣，他們政變的陰謀，已經不再是陰謀，聰明的漢宣帝早就死死盯住霍氏的一舉一動。看似精心設計的政變計劃很快就被皇帝得知，是到清算的時候了，宣帝下詔，逮捕霍氏家族成員。