而且嚴嵩為人用心險惡，害人不露痕跡，被害的人也不知道被誰所害。在他入內閣後，通過陰謀詭計，使他曾竭力巴結並曾提拔過他的首輔夏言被誣陷斬首，自己取而代之。
在嚴嵩獨攬朝政的二十年，嘉靖居深宮，大臣難得覲見。隻有嚴嵩能夠親近，旨意由他代下，因此能一手遮天，權傾天下。他打擊異己，殘害忠良。因彈劾嚴嵩而獲罪的官員，有數十名之多。
有得寵之日，就有失寵之時。隨著他的歲數越來越大，嘉靖皇帝漸漸對他產生了厭煩，故而逐漸疏遠他。有什麼事情多找徐階處理，而不用嚴嵩。
在與徐階爭權奪利中，嚴嵩也處於下風。嘉靖四十一年（1562年），世宗下詔將嚴嵩罷職，勒令回籍，他的子孫以及黨羽也都遣戍邊疆。嚴嵩的兒子嚴世蕃和黨羽羅龍文在去戍地的途中逃回原籍，招納亡命之徒，橫行鄉裏，無惡不作，被朝廷斬首。嚴嵩被削籍為民，家產被抄，奸黨與家人被一一治罪。
隆慶元年（1567年），87歲的嚴嵩貧病交加，在舉國一片唾罵聲中死去。他死的時候，寄食於墓舍，既無棺木下葬，更沒有前去吊唁的人。
嚴嵩之所以能長期在朝中作奸作惡，使嘉靖對他長期信任而不懷疑，主要就是因為他的表裏不一。論才學，他是文壇領袖；論工作，年過六十還勤於朝政；再加上對皇帝的歌功頌德，這些都足以迷惑嘉靖。然而百姓和各地的官員都知道嚴嵩的惡劣行徑，隻是昏庸的嘉靖隻知道裝神弄鬼，對嚴嵩的為人自然無法知曉。
不僅才智不逮者會在識人上有錯誤判斷，即使聖人識人也會有誤差。
孔子有許許多多弟子，其中有一個名叫宰予的，能說會道，利口善辯。他開始給孔子的印象不錯，但後來漸漸地露出了真相：既無仁德又十分懶惰；大白天不讀書聽講，躺在床上睡大覺。為此，孔子罵他是“朽木不可雕”。
孔子的另一個弟子，叫澹台滅明，字子羽，是魯國人，比孔子小三十九歲。子羽的體態和相貌很醜陋，想要侍奉孔子。孔子開始認為他資質低下，不會成才。但他從師學習後，回去就致力於修身實踐，處事光明正大，不走邪路；不是為了公事，從不去會見公卿大夫。後來，子羽遊曆到長江，跟隨他的弟子有三百人，聲譽很高，各諸侯國都傳誦他的名字。
孔子聽說了這件事，感慨地說：“以言取人，失之宰予；以貌取人，失之子羽。”
識人是智慧。通過鑒別人才，也能判斷識人者的才智。劉劭在《人物誌》中說，一般人所尊崇的，隻是比自己更優秀的人才，而不欣賞人才中的人才。所以一般人的聰明之處在於能夠鑒視同輩人中的人才，而不能鑒視排列人才的標準；而同輩中的人才，能夠知道排列人才的標準，但不能識別出特別出眾的人才；特別出眾的人才，能夠知道聖人的主張和觀點，卻不能知道聖人的學問和技巧的精深奧妙。因此，品評人物，是深不可言、奧妙無窮的。