李林甫淫威暴肆，就連其子將軍監李岫都有些憂慮。一日陪其遊後園。李岫指著役夫對李林甫說：“大人久處釣軸，怨仇滿天下，一朝禍至，欲為此得乎！”其子都預感到李林甫將來不會有好結果，大禍臨頭時說不定還不及一個役夫呢。由此可以看出，李林甫的罪惡是多麼深重。李林甫聽了，當然不高興，說：“勢已如此，將若之何。”
李林甫心裏非常清楚，他結怨甚眾，每每擔心遭刺客暗算。所以，他一改先前宰相“騶從不過數人”的舊製，而是“出而百餘人為左右翼，金吾靜街，前驅在數百步外，公卿走避”。晚上在自己家裏睡覺，他的心裏也不踏實，弄得神出鬼沒，“居則重關複壁，以石瓷地，牆中置板，如防大敵。一夕屢徙床，雖家人莫知其處。”李林甫甚至連家人都防範，其內心虛弱到了極點。
確實，李林甫已危機四伏。首先是他的親信黨羽已在暗中活動，準備倒戈。戶部郎中吉溫是李林甫最得力的打手，吉溫見安祿山深受寵幸，便依服之，並與其約為兄弟。吉溫直言不諱地對安祿山說：“李右丞相雖以時事親三兄，不必肯以兄為相；溫雖蒙驅使，終不得超擢。兄若薦溫於上，溫即奏兄堪大任，共排林甫出之，為相必矣。”當初，李林甫以為容易製服而引以為相的陳希烈，也開始與李林甫為敵。楊國忠與李林甫更是針尖對麥芒。不久，楊國忠狀告李林甫與蕃將阿布思有異謀。陳希烈等從旁作證，玄宗“由是疏林甫”。李林甫“時已有疾，憂懣不知所為”。天寶十一載（752年）十一月，李林甫結束了他罪惡的一生。
翌年正月，李林甫尚未下葬，楊國忠和安祿山合謀，告李林甫與阿布思謀反。安祿山還讓阿布思所部的降將來朝作證，說李林甫與阿布思約為父子。玄宗信而不疑，“下吏按問”，李林甫的女婿諫議大夫楊齊宣怕受牽連，便按照楊國忠的意圖出了證言。二月，玄宗決定：“剝削林甫官爵；子孫有官者除名，流嶺南及黔中”，並“剖林甫棺，抉取含珠，及金紫，更以小棺如庶人禮葬之。”
惡貫滿盈的李林甫，終於落了個眾叛親離，死後亦難逃懲罰的下場。
安史之亂後，玄宗逃到四川避難時，給事中裴士淹很得寵。一次，談論起宰相，曆評十餘人，玄宗皆以為勝任。當談論到李林甫時，玄宗說：“是子妒賢嫉能，舉無比者。”裴士淹問：“陛下誠知之，何任之久耶？”玄宗默然無語。
裴士淹問得好！是呀，李林甫不學無術，隻會固寵市權，何以為相十九年，並且深受恩寵，備受重用呢？固然，李林甫善於權術，尤善口蜜腹劍，求官保位有方。但是，玄宗皇帝在天寶年間，“君王從此不早朝”，恐怕是姑息養奸的直接原因吧！