李林甫心還不甘，準備連太子李亨一起解決，就嚴刑逼供韋堅，希望把太子李亨也拉下水。可太子李亨絕非等閑之輩，他沉毅勇為，不慌不忙地來個壯士斷腕，他以“情義不睦”為由，請父皇準許他與韋氏離婚，表明自己決“不以親廢法”，廢棄韋氏，洗清自己。李林甫一看，呀，這李亨還挺狡猾，就一不做二不休，瞄上了李亨另外一個愛妃——杜氏的父親，以貪汙罪將杜氏的父親逮捕下獄，但李亨韜光養晦的功夫實在一絕，他又來了個大義滅親，主動廢掉了杜妃，這下李林甫沒有辦法了，他總不能把唐玄宗的兒媳婦全部休掉，隻好長歎一聲，暫時罷手。
這時候，朝廷的局勢已經悄無聲息地發生了變化。19年來，李林甫盡管殫精竭慮、一絲不苟地編織自己的天羅地網，但百密難免一疏，“雜胡”安祿山就是李林甫的漏網之魚，另外，唐玄宗的小舅子楊國忠也算一條。他們都沒有文化，符合李林甫重用的條件，但是，他們都憑借自己機敏的頭腦和非凡的膽識，破土而出，據說兩人已經開始自學《四書五經》和《論語》，安祿山還特別花重金聘請了家庭教師，楊國忠也不斷籠絡一些有想法的學者為自己策劃，他們的積極進取引起唐玄宗的關注。在李林甫的19年宦海生涯中，出於陷害打擊異己的需要，李林甫曾蓄意豢養了一批酷吏，其中的精英人物有兩個，一個是被唐玄宗評價為“一不良人，朕不用也”的吉溫，另一個就是“為吏深刻”的羅希。吉、羅兩人審案，完全按照李林甫的意思行事，製造了許多冤假錯案。凡是落入吉、羅兩人之手的李林甫政敵，沒有一個能逃脫厄運，所以時人稱之為“羅鉗吉網”。這兩個人中，吉溫是個“識時務”的俊傑，看見安祿山深受寵信，就準備反戈一擊，他不嫌棄安祿山“雜胡”的民族身份，拐彎抹角、低三下四地叫安祿山為三哥。有一天，吉溫直言不諱地對他三哥安祿山說：“李林甫是不會提拔三哥您做丞相的，我整天為他忙前跑後，也得不到提拔。三哥，如果您把我推選給皇上，我和您聯手，把李林甫這老渾蛋擠出朝廷，那您不就是丞相嗎？《呂氏春秋》雲‘世易時移，變法宜矣’，嘿嘿嘿，多好啊！”
安祿山聽完後，笑了笑，什麼也沒說。吉溫不知道，其實，這時候李林甫已經病入膏肓了，他“時已有疾，憂懣不知所為”。就是說，李林甫已經不能正常上班了，安祿山完全沒必要做最後一擊。 幾天後，楊國忠忽然遞上奏折，狀告李林甫與番將阿布思有異謀，李林甫的舊人陳希烈等人也紅著臉、賭咒抹脖子從旁作證。
幾天後，李林甫一命嗚呼了。李林甫時代真正結束了