嚴嵩似乎感覺出夏言的首輔地位在動搖，於是便暗中加緊活動，找到夏言的死對頭郭勳，合謀整垮夏言。
郭勳是將門之後，尤其在“大禮議”之爭中，受到世宗寵信，進封翊國公，加官太師。他與夏言的緊張關係，朝中上下無人不知。受嚴嵩的挑唆，他便在世宗麵前大進讒言，說夏言獨攬大權，藐視朝臣，等等。
此時世宗正在生夏言拒絕表賀的氣，郭勳的話，更是火上澆油，便下了一道禦旨，命禮部追回賞給夏言的銀章和手敕，削掉夏言的少師勳階，以少保尚書大學士的身份致仕還鄉。過了幾天後，世宗怒氣消了，又恢複了他的官職。但從此之後，夏言的地位便不穩了。
後來郭勳因受言官重劾，被刑部處死。郭勳死後，世宗曾直接下令選定嚴嵩入閣，但在大臣會議討論時，夏言指責他過於柔媚順從，難當一國之大器，同時又說他私心太重，難以秉公持正。嚴嵩知道夏言從中作梗主要是怕自己取而代之，雖然以往夏言曾提攜過自己，如能留任京師，全在夏言之功。但眼下阻止自己入閣，使自己被攔在最高權力之外的也是他，怒火在嚴嵩心中燃燒，從前夏言對他的種種好處已全部燒掉，剩下的便全是仇恨。但嚴嵩表麵卻不露聲色，照舊逢迎巴結他，但背地裏卻在加緊活動，尋找機會搞掉他，也許這就是嚴嵩的陰險之處。
嘉靖二十一年，世宗在西苑設齋打醮，興致很高，便將自己戴的一種叫香葉巾的道士帽仿製五頂，分賜給夏言、嚴嵩等大臣，讓他們戴，並準他們在西苑中乘馬。
嚴嵩在朝見時，為了討皇上的歡心，特意戴上香葉巾，還在外麵罩了一方輕紗，世宗非常高興。就在此時，一份夏言的奏疏送到，他說香葉巾“非人臣所應戴之物，有違祖製，請陛下諒解臣下拒賞之罪。另外，西苑乃皇家禁苑，人臣乘馬於禮未安，微臣隻敢乘腰輿。”看了夏言的奏疏，世宗不覺心頭火起，連同平時的積怨也一同勾起。第二天本該由夏言入值，皇上卻將詔書下到嚴嵩處。夏言心裏有些緊張，在慌亂中想求嚴嵩幫自己想點辦法，他忙派人到嚴府中請嚴嵩，哪知派出去的人回來報告說，嚴嵩到道士陶仲文那裏去了，並說據嚴府門人透露，嚴嵩此時與陶仲文來往很密切。夏言憑著多年的官場經驗，一下子什麼都明白了。他忙叫人研墨，連夜寫了一份彈劾嚴嵩的奏章，準備同嚴嵩鬥一鬥。
由於嚴嵩與陶仲文相勾結，在皇上麵前反複進夏言的讒言，使世宗皇帝對夏言更加不滿意。因此夏言的奏章送到時，皇帝並不是轉刑部查辦，反而把嚴嵩召來，問道：“你做了什麼違法的事，讓夏言上章彈劾？”同時還把奏章拿給他看。
嚴嵩憑直覺，感到皇上是在偏向他，否則他不會這樣做，於是便跪下哭訴夏言對自己的排擠、誹謗。接著又編造了一些夏言如何看不起世宗，怎樣與世宗做對的謊言。這世宗最忌諱、最不能容忍的便是臣子看不起他，聽了嚴嵩的一番哭訴，不禁勃然大怒，竟把夏言革職。同時，嚴嵩拜武英殿大學士，入值文淵閣，仍兼禮部尚書。嚴嵩終於將首輔夏言搞掉了。嚴嵩此時已經60多歲了，但為了站穩腳跟，他表現得格外精神，工作十分勤勉，朝夕在西苑板房值班，連洗沐休假日也不回去，使世宗讚歎不已。
夏言被革職後，按照閣臣的資序，由翟鑾出為首輔，嚴嵩仍然在翟鑾之下。於是翟鑾便成了他想當首輔的障礙，嚴嵩當然不會放過他。但是要取代翟鑾也不是件容易事。翟鑾為人和氣，且資曆要比嚴嵩深得多。當年嚴嵩任南京國子監祭酒的時候，翟鑾已經以吏部左侍郎的身份進入了內閣。嚴嵩當首輔的欲望越來越強烈，憑此時在皇帝心中的地位，他根本不把資深的翟鑾放在眼裏。當然，他明白如果不找出翟鑾的毛病，想整掉他的確不容易。
從此嚴嵩把眼睛死死盯在翟鑾身上，千方百計找出他的差錯。像嚴嵩這樣的有心人，當然不會沒有收獲。終於，翟鑾出了毛病，嚴嵩的機會來了。嘉靖二十三年，翟鑾的兒子翟汝儉、翟汝孝同時考中進士。翟府上下大慶一番，嚴嵩也親到翟府祝賀。回家後，嚴嵩便將給事中王交、王堯日召到家中，向他們密授機宜。第二天便有彈劾考官和翟鑾的奏章呈給皇上，這是嚴嵩一手策劃的，使你世宗沒法不信。世宗下詔將翟鑾罷去首輔，削官為民。於是，嚴嵩終於取代翟鑾，成為首輔。
嚴嵩當了首輔之後，獨攬大權，兩位次輔都是由他舉薦，實在是有名無實的擺設。朝中不少大臣對其專權十分不滿，紛紛上疏彈劾他。世宗非常忌諱大臣專權，當他了解情況之後，便對嚴嵩有點不放心了。於是在嘉靖二十四年重新把夏言召回內閣，複任首輔。
夏言複出之後，便對嚴嵩的親信進行了清理。他將原嚴嵩的死黨許成名、崔木、黃佐等罷免，又將其親信王杲、王、孫繼勇等逮捕下獄。所有的批答奏章均不要嚴嵩過問，嚴嵩雖然火冒三丈，但也隻能往肚子裏收，不敢公開表示。
夏言此次重返朝廷，看到朝中上下，各要害部位都已被嚴嵩安插了親信死黨，十分惱火，更讓他氣憤的是，嚴嵩父子利用權力貪欲無度，納賄、朘削百姓。夏言已經收到一份彈劾嚴世蕃的奏章，奏章內揭發了嚴世蕃倚仗著父親的權勢，借兼管城建工程之機，大肆收受賄賂、盤剝工匠財產中飽私囊的罪行。
夏言看著奏章，胸中燃起怒火，嚴嵩身為輔臣，其子卻橫行霸道，大開貪汙之門，不嚴加整肅，怎麼能行？他準備上奏皇上，進行嚴厲處罰。但此事不知怎的卻泄露出去了，嚴世蕃大驚失色。這嚴嵩為保兒子，便不顧臉皮，親自到夏言府上求情。
嚴嵩把自己名刺遞進去，夏言稱病不見。嚴嵩隻好賄賂門人，得進夏言書房。此時夏言躺在床榻上，裝病不起。嚴嵩父子二人長跪請罪，夏言見嚴嵩那滿麵愁容，泣不成聲的樣子，不覺動了惻隱之心。把嚴世蕃的材料放下，沒有上報，使一次鏟除奸佞的機會失去了，也導致了夏言自己的失敗。