如果我們尊重曆史的話，公正地對待嚴嵩，他之所以被納入奸臣行列，被後人肆意醜化，除了政敵們的蓄意汙蔑，他的兒子嚴世蕃的胡作非為，最終把老父親拖入有口難辯的尷尬境地，是其中一個重要的原因。
自古有許多帝王將相、才子能臣，可率千軍萬馬所向披靡殺敵於疆場，可呼風喚雨威震一方天地，然而麵對家中悍妻、膝下逆子，常常卻束手無策、徒歎奈何。嚴嵩的夫人歐陽氏倒是個本分而恪守婦道的賢淑女人。——順便說一下，在明代官僚士大夫熱衷****、淫逸成風的時代大氣候下，嚴嵩終其一生隻有這位原配歐陽氏，連世俗所允可的姬妾都未曾納一人進門。嚴世蕃是嚴嵩唯一的兒子，很可能就是這根繼承香火“獨苗”的因素，家中上下視作寶貝，嬌生慣養，最終造就了其恣意妄為的性格與行為習慣。——當然這與嚴嵩溫和的性格不無關係，“子不教、父之過”嘛。
嚴世蕃天資聰穎，但自幼落下殘疾，一隻眼睛從小就失明。因老爸的關係，沒有經過科舉考試，直接進入國子監讀書。——我們不必為此驚詫與持疑，又來給嚴嵩扣一頂借手中權力為兒子開方便之門的帽子，此類對高幹子弟的優待政策，在共產黨的新中國也是見多不怪的平常事，許多黨的高級領導子弟，都是這樣進入清華、北大、北航、哈軍工的。嚴世蕃紈絝，但並非不學無術，相反他從小就好學善思，尤其對政治之道頗有興趣，常出驚人之語。正因此，他成人之後就成為父親為官處事的幫手，嚴嵩老邁，“且旦夕直西內，諸司白事，輒曰‘以質東樓’。”有一些事情嚴嵩會交給兒子嚴世蕃代為處理。而嚴世蕃的個人身份是大明工程建設部副部級官員，一向處事謹慎的嚴嵩，也正是由此時開始，被這個兒子帶上了歧途。
嚴世蕃生活上與其父截然相反，追求奢華排場，不拘小節，花天酒地；好色淫逸，據稱有二十七個姬妾；貪財納賄，史載他連皇太子裕王朱載垕（嘉靖之後的穆宗皇帝）的銀子都敢收。嚴世蕃的言行做派狂傲而張揚，與其父嚴嵩風格迥異。以嚴嵩向來的做人習慣，對兒子的浮躁輕狂不會不心存擔憂，但我們說過，麵對嚴氏唯一的這根獨苗，一個父親的慈愛與寬容，很容易導致他心懷僥幸，雖非縱容，但確實是眼看著兒子張牙舞爪，聽之任之，未加嚴厲地製止。而這個惹是生非自以為是的兒子，正是嚴嵩的軟肋。
重新奪回首輔位置的夏言，淫威濫施，“複盛氣陵嵩，頗斥逐其黨，嵩不能救。”以羞辱打擊嚴嵩為快，凡嚴嵩信任重用過的人一律清除免職。“言凡所擬旨，行意而已，不複顧問嵩。”呈送皇帝的票擬隨意而行，根本不與嚴嵩商量。同時，迅速大量安插親信掌控朝廷各處要要津，嚴嵩隻能眼看著夏言為所欲為，束手無策。