兵部員外郎楊繼盛於嘉靖三十二年（1553）上疏彈劾嚴嵩十大罪，主要有：儼然以丞相自居，壞祖宗成法；伺世宗之喜怒以恣威福，竊君上之大權；讓嚴世蕃代為票擬，縱奸子僭竊權柄；子孫無功而官，冒濫朝廷軍功；納賄營私，引用奸臣；戒守將勿擊俺答，誤國家軍機；中傷天下善類，專黜陟之權……。疏上，嚴嵩唆使世宗廷杖一百，並投入大獄。又操縱刑部，判處絞刑。然世宗猶未欲殺之，下獄二年不執行。嘉靖三十四年（1555），嚴嵩搜索必能批準處決之案，附楊繼盛之名並奏，乃被棄西市。
嚴嵩擅權久，最後仍不免失寵於世宗。其失寵有一過程。
初，嚴嵩握權，遍引私人居要地。世宗漸厭之，而漸親徐階。徐階亦善於撰青詞，故得世宗寵幸。嘉靖三十一年（1552）三月，徐階得以禮部尚書兼大學士參與機務。三十七年（1558），徐階門生吳時來、門生張猻、同鄉董傳策同日彈劾嚴嵩。嚴嵩密請追究主使者，然無所得。世宗乃不問而慰留嵩。此後，世宗對嚴嵩的行為漸生懷疑。
其時嚴嵩妻病死，嚴世蕃當護葬歸。嚴嵩不能一日離其子，請求世宗同意由其孫嚴鵠代行，嚴世蕃仍留京城。因能幹預各司事如故，然已不能入直房代父票擬。有時遇情況緊急，文書飛至，而嚴世蕃正與諸姬狎客尋歡作樂，不能及時解決。嚴嵩無奈，每自己動手，則又往往不能合帝意。明世宗對嚴嵩之不滿於是更為加深。
嘉靖四十年（1561），世宗所居永壽宮火災，徙居玉熙殿，因住所狹窄，世宗欲另外營建。詢問嚴嵩，嵩答以請暫居南宮。南宮者，英宗為太上皇所居之地也，世宗深為不滿。世宗轉而訊之徐階，徐階建議重修永壽宮。及明年，工竣，改名萬壽宮。從此世宗益親徐階而遠嚴嵩。時有道行名方士蘭，“以扶乩得幸”。帝密問“輔臣（指嚴嵩）行否”？道行詐為乩語。具言嚴嵩父子竊據朝政大權的罪行。世宗問：“爾果上仙，何不殛之？”蘭道行又假乩言：“留待皇帝自殛。”明世宗迷信仙術。至此，不能不為之心動⑩。
四十一年（1562）五月，徐階支持禦史鄒應龍上疏彈劾嚴氏父子。極言嚴氏父子不法。於是世宗令嚴嵩致仕，嚴世蕃被謫戍雷州衛。嚴世蕃未到雷州，半途逃歸家鄉，仍舊誹謗朝政，役使4000人大治園庭。
四十三年（1564）十一月，南京禦史林潤奏“江洋巨盜多人逃軍羅龍文、嚴世蕃家。……道路皆言兩人通倭，變且不測”。世宗詔令逮捕，論斬，皆伏誅。同時黜嚴嵩及諸孫為民。“又二年，嵩老病，寄食墓舍以死”。
嚴嵩竊政二十年，溺信惡子，流毒天下，人鹹指目為奸臣。
注釋
①《明史》卷三○八《嚴嵩傳》。
②武宗朱厚照無嗣，死後由皇太後及首輔楊廷和定策，以武宗遺詔名義召興獻王朱祐杭之世子朱厚熄、武宗之堂弟入繼帝位。即位後改元嘉靖，是為世宗。
③《明史》卷三○八《嚴嵩傳》。
④《明史》卷一九五《夏言傳》。
⑤世宗崇道，在宮內設壇建醮，祈求長生。禱文謂之青詞。
⑥宮婢之變：世宗酷待宮婢。二十一年十月二十一日淩晨，世宗正熟睡。以楊金英為首的十六名宮女密謀勒死世宗。據《萬曆野獲編》卷一八載：“（宮女）用繩係上喉，翻布塞上口。以數人踞上腹絞之。已垂絕矣，幸諸婢不諳綰結之法，繩股緩不收。戶外聞咯咯聲，孝烈皇後率眾入解之。立縛諸行弑者赴法……寧嬪王氏，首謀弑逆，端妃曹氏時雖不與，然始亦有謀。”十六宮女全部被擒，淩遲處死，史稱“壬寅宮變”。自此，世宗從乾清宮移住西苑。
⑦《明史》卷三○八《嚴嵩傳》。
⑧《明史》卷二一○《王宗茂傳》。
⑨《明史》卷二一○《張種傳》。
⑩《明史》卷三○七《陶仲文傳》附《蘭道行傳》。
《明史》卷三○八《嚴嵩傳》。