嚴世藩雖然得以留在京城，但是朝堂是不能進了，因為他畢竟重孝在身。他趁這個機會，廣納美妾，身在苫塊，心在嬌娃，麻衣縞袂中，映著綠鬢紅顏，愈覺俏麗動人。嚴嵩年已衰邁，時常記憶不靈，各部官員遇事請他裁決，嚴嵩就讓他們找嚴世藩商議。待官員們上門請商，往往被耽於酒色的嚴世藩拒之門外。官員們不得已再去找嚴嵩，嚴嵩寫了字條派人飛速向他求問，他卻正左摟右抱，迷醉於歌舞美酒之中，哪還有心思去斟酌國家重事，即便草草應對，也是模糊了事，毫不經心。於是嚴嵩的奏對便不能再稱皇上的心思，嘉靖皇帝漸漸不高興起來。後來又聽說嚴世藩守孝期間的種種非為，對嚴氏父子更加不滿。
這時候有個方士名叫藍道行，以扶乩得幸，預示禍福，語多奇中，嘉靖皇帝信以為神。一日，又召道行扶乩，請乩仙降壇，問及長生修養的訣竅。乩筆寫了數語，無非是清心養性，恭默無為等語。世宗又問現在的輔臣，何人最賢？隻見乩筆疾書道：“分宜父子（即嚴嵩父子，嚴嵩是江西分宜縣人，因此他被尊稱為嚴分宜），奸險弄權，大蠹不去，病國妨賢。”世宗複問道：“果如上仙所言，何不降災誅殛？”乩筆亦隨書道：“留待皇帝正法。”嘉靖皇帝心內一動，便不再問。
過了不久，嘉靖皇帝住的萬壽宮忽然遭了火災，被燒了個一塌糊塗。禦駕隻得移住玉熙宮。玉熙宮建築古舊，規模狹隘，遠不及萬壽宮，嘉靖悒悒不樂。廷臣請還大內，但是自從宮女楊金英那次謀逆差點勒死嘉靖皇帝後，他遷出大內再不想回去。嚴嵩這時請皇上遷居南內，這南內曾經是英宗皇帝在土木堡兵敗被韃靼汗乜先俘虜放還後幽居的地方，嘉靖皇帝十分忌諱，看了嚴嵩的奏折，非常惱怒。這也是嚴嵩晦運將至，才這樣語言顛倒，屢失主歡。
此時禮部尚書徐階已升授大學士，與工部尚書雷禮一起上表主張重修玉熙宮，並說三月可成。嘉靖皇帝聞言大喜，馬上準奏，即令動工。徐階的兒子徐璠時任尚寶丞兼工部主事，重修玉熙宮的事就責成他來督辦。徐璠很賣力，不足百天就竣工了。嘉靖皇帝自然很高興，當即移駕過去。從此軍國大事，多與徐階諮商，很少去問嚴嵩了。
朝廷的言官們見嚴嵩失寵，感覺扳倒這個多年專政的大奸臣的時候到了，一個個摩拳擦掌。其中以禦史鄒應龍最為熱忱。這天晚上，鄒禦史鋪紙研墨，準備起草奏稿，彈劾嚴嵩。動筆之際，忽然想到，曆年來彈劾嚴嵩的官員不下數十名，都落了個撤職查辦甚至家破人亡的下場。這次又該如何下筆呢？萬一彈劾無效，自己就要倒黴，想到此處不覺心灰意冷，精神也困倦起來。
鄒禦史坐在書案前打起了盹。忽有侍役進來對他說：“馬已備好，請大人出獵去。”鄒禦史起身走至門外，果然有一駿馬，鞍韉齊備，當即縱身上馬，由侍役遞上弓箭，縱轡奔馳。行了一程，驀見前麵有一大山擋住去路，山上並無禽兔，隻有巨石磊磊，似將搏人。他竟拈弓搭箭要射那塊怪石，一連三箭都未射著，免不得著急起來。忽聞東方有鳥雀聲，回頭一望，見叢林蔭密處，籠住小丘，小丘上仿佛有座樓台，參差掩映。他也不管三七二十一，又複拈弓搭箭，颼地射去，隻聽得豁喇一聲，樓已崩塌。為這一響，鄒禦史不由得心中一跳，拭目再瞧，並沒有什麼山林樓台，役夫駿馬，隻有殘燈閃閃，留置案上，自身仍坐在書房內，至此才覺是南柯一夢。
此時譙樓更鼓，已聞三下，鄒禦史追憶夢境，如在目前，但不知主何吉凶。沉思一會，猛然醒悟道：夢中高山，莫不是指嚴嵩？東丘樓台，莫不是指嚴世藩（嚴世藩字東樓）？欲射大山，不如先射東樓，東樓若倒，大山也不免搖動了。想到這裏，鄒應龍精神抖擻，遂複磨墨揮毫，寫成奏稿，即於次日拜發。奏疏中羅列了嚴世藩賣官鬻爵、貪權納賄、巧取豪奪等等不法行為。還揭發嚴嵩的孫子嚴鵠，在護送其祖母的靈柩回鄉安葬的過程中，向途經的各府州縣大肆索取賄賂，致使各處府庫為空。鄒應龍在奏稿的最後，特別強調道：“今天下水旱頻仍，南北多警，民窮財盡，莫可措手者，正由世藩父子，貪婪無度，掊克日棘，政以賄成，官以賂授，凡四方小吏，莫不竭民脂膏，償己買官之費，如此則民安得不貧？國安得不竭？天人災警安得不迭至？臣請斬世藩首，以示為臣不忠不孝者戒！其父嵩受國厚恩，不思報而溺愛惡子，弄權黷貨，亦宜亟令休退，以清政本！如臣言不實，乞斬臣首以謝嵩、世藩，幸乞陛下明鑒！”