建武十七年（公元41年）冬季，劉秀決意廢黜郭聖通，詔書擬好之後，劉秀秘密傳令大長秋準備封後大典之事，並命陰興從旁協助。陰興得知劉秀要廢黜郭聖通而立陰麗華為後，第一反應便是要勸諫。
劉秀了解陰興，在陰興屈膝之時，劉秀便說：“朕意已決，愛卿不必多言。”
陰興內心自然對此自是喜而樂見，勸諫不過是明麵上應該有的姿態罷了，既然劉秀言已至此，陰興自是順勢沒有勸阻劉秀廢黜郭聖通，不過對於封後大典他還是要進行勸諫，他對劉秀說：“雖然陛下已有決斷，然微臣還是請陛下三思而行。倘若陛下仍不改初衷，執意廢黜王後，便請陛下莫舉封後大典，乃因一來微臣亡母與亡弟忌日將至；二來舉之，於陛下與陰貴人皆不適宜。”
陰興所言，劉秀其實也想過，隻是他不想委屈了陰麗華，所以才決定舉行封後大典，不過陰鄧氏與陰欣的忌日倒是被他疏忽了，如此一來，劉秀自是再次感到躊躇，他說：“立後乃是大事，朕不想委屈了貴人。”
陰興卻說：“貴人素來恭儉，若知陛下此心已足矣。”
劉秀聽來，細細一想，覺得陰興所言言之有理，陰麗華素來不喜歡鋪張浪費，慶典於陰麗華而言也許根本就不重要，心意才是陰麗華素來看重的，既然時不可為之，劉秀隻能在往後的時日多加補償陰麗華。
十月十九日，劉秀下旨廢黜王後郭聖通，立貴人陰麗華為王後，詔曰：王後懷執怨懟，數違教令，不能撫循它子，訓長異室，宮闈之內，若見鷹鸇。既無關雎之德，而有呂、霍之風，豈可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持節，其上王後璽綬。陰貴人鄉裏良家，歸自微賤。‘自我不見，於今三年。’宜奉宗廟，為天下母。主者詳案舊典，時上尊號。異常之事，非國休福，不得上壽稱慶。
至此，滿朝無聲。私寵和政治緣由不必深說。
唯有崇尚忠直的太子太傅張湛，稱疾不朝。劉秀強起大司徒而不得。沉默是為抗爭，沉默更是為洞悉。十七年郭後既廢，太子之去，還會遠嗎？在意誌無可轉移的現實麵前，這位太子太傅，自毀形象，當堂便溲，自斷仕途。
與此同時，太子講師郅惲對劉秀上言道：“臣聞夫婦之好，父不能得之於子，況臣能得之於君乎？是臣所不敢言。雖然，願陛下念其不可，勿亂大倫，使天下有議社稷者。”郅惲借用司馬遷的名句，既“婚姻關係的締結，夫婦之間的相處，好的，可以興夫旺國，不好的，可以毀家滅國”，來向劉秀表明：夫妻之間，兒子不能控製父親的，更何況臣子對皇帝呢。所以我不敢就這樣的夫婦私事發表看法。但是，希望陛下考慮這是不可以的，並且不要亂了大倫（夫婦之倫），而讓天下對社稷多有議論啊。
劉秀對此回道：“惲善恕己量主，知我必不有所左右而輕天也。”意思是說絕對不會再次出現這種違背人道大倫的行為。
隨後，劉秀封郭聖通的兒子右翊公劉輔為中山王，封廢後郭氏為中山王太後，居北宮，以常山郡劃給中山國，以二郡奉養郭聖通。使郭聖通成為兩漢曆史上第三個皇帝沒死而封“太後”的女人。同時也對郭後的娘家進行安撫。郭況徙封大國，為陽安侯。郭聖通從兄郭竟，以騎都尉從征伐有功，封為新郪侯，官至東海相。郭竟弟郭匡為發幹侯，官至太中大夫。郭聖通叔父郭梁，早終，無子。包括郭姓的外戚女婿婿南陽陳茂，以亦被封為南*侯。自此以後，雖然郭聖通沒了後位，然郭家仍聖眷正隆。