楊國忠的出現，李林甫的災星到了，所謂一物降一物，惡人還須惡人治，李林甫終於遭遇到一個與其同一德性的真正對手。
楊國忠也屬於爬蟲類，他靠的是他的堂妹楊玉環的得寵和一身善為主子樗蒲（色子遊戲）製造氣氛的本事。楊國忠剛進朝廷的時候，李林甫並沒有把他放在眼裏，這個人整天傻嗬嗬的看不出有什麼野心。楊國忠早知道李林甫是朝中老大，討好皇帝之外，他不忘巴結李林甫，李林甫陷害太子李亨的行動，楊國忠就積極參與其中，充當急先鋒。讓李林甫失算的是，貌似憨厚的楊國忠原來心機頗重，不幾天便換取了唐玄宗的寵信，地位不斷攀升，大有與他分庭抗禮之勢。
自從感受到來自楊國忠的威脅，李林甫開始厭惡並處心積慮地想擠走這個人。還是那條原則：“凡才望功業出己右及為上所厚，勢位將逼己者，必百計去之。”凡是才能業績比他強，深得天子厚愛並對自己的權勢構成挑戰的人，李林甫一定要想辦法將其從天子身邊攆走。楊國忠對此心知肚明，隻是他像李林甫的“不見容色”一樣，表麵上也裝作兩人心無芥蒂。楊國忠兼領劍南（川蜀）節度，南蠻多次北犯，李林甫認為這是個機會，可以將楊國忠從皇帝身邊支走。他啟奏玄宗，南蠻侵邊，請楊國忠赴蜀中任所去吧。玄宗雖然同意了楊國忠前去，但對這位愛卿終有些依依不舍。楊國忠看穿了這是李林甫給自己使的暗招，無奈皇帝已詔命前往，動身之前他來給玄宗辭行，哭哭啼啼擔心被李林甫所陷害；楊貴妃也出麵為之求情。唐玄宗安慰楊國忠說：你去蜀中督軍，朕掐著手指等你回來，回來就任你做宰相。李林甫聽到天子這話，心裏一下子涼了半截，這不是弄巧成拙了嗎？急火攻心，李林甫病倒在床。
入冬時節，李林甫的病不見好轉。唐玄宗要赴驪山華清池去，命李林甫隨駕，他隻好拖著病軀，隨駕來到驪山。也許是一路車馬顛簸、也許是林甫心情抑鬱，病情更加沉重。喚來當地的巫醫探視，巫醫講：見上天子一麵病就會減輕。——這個巫醫看來名不虛傳，打眼便知李林甫病的病根，他太擔心失寵了，見見天子，安慰安慰就好了。唐玄宗聞此說，心想這有何難，朕便去慰問一下李相，被左右侍從以擔心沾染病人晦氣硬給勸住。無奈想了一個變通的法子，皇帝讓人把李林甫抬到華清池院子裏，天子登上降聖閣，遠遠地上下都能望見。玄宗在樓上手持一麵紅絲巾，向李林甫打招呼，李林甫起不了身，隻好讓人代為拜謝天子。病入膏肓的李林甫，在為帝王的恩寵和不舍的權力作最後的掙紮。沒想到第二天，楊國忠就從蜀中跑了回來。楊國忠兔死狐悲、假模假式地來到李林甫病榻前安慰，李林甫一見楊國忠，便知大勢已去，利用這最後一點時間，何不做個順水人情。他擠出幾滴眼淚，掏心窩似地交待楊國忠：我去後，大人您就接替相位吧，費心了。十幾天後，李林甫永遠地閉上了他那一對狡黠貪婪的眼睛。朝廷贈他太尉、揚州大都督，安排儀仗、棺木，由兒子們護送其靈柩回長安，靈車到達京師平康坊李林甫家時，才對外發布訃告。
楊國忠做了宰相，把持了朝政，翻過年不等李林甫安葬，就著手算賬。他指使手下，到唐玄宗麵前誣告李林甫，稱李林甫曾與外族將領阿布思秘密擬定反叛計劃，“誘林甫親族間素不悅者為之證”，誘使李林甫家族中向來對其有怨言的人來作證，——楊國忠玩這一套“欲加之罪何患無辭”的把戲，較前輩李林甫毫不遜色，且顯然“青出於藍”。
一切權臣不過都是天子豢養的走狗，是玩於帝王鼓掌中的寵物，李林甫也不例外，已做故人無可再用的李林甫，遭皇帝遺棄是必然的，即使李隆基懷疑楊國忠對李林甫是構陷，站在他大唐皇權的利益上，他也寧信其有，因為此時唐皇帝需要楊國忠這隻獵犬，哪裏再會顧及李林甫那隻死貓。
唐玄宗得到告李林甫的狀子，表現得異常驚訝和氣憤，立即下詔，全部剝奪李林甫身上的官祿爵位，廢作庶人；李岫兄弟幾個一律貶謫嶺南，近親、黨羽五十多人統統流放；劈開李林甫的棺槨，取出含在嘴裏的珠玉、剝下金紫朝服，換上一具薄板小棺，按庶民葬禮草草埋了；籍沒其所有家產。
所謂惡有惡報，李林甫靠阿諛奉承、投機鑽營，“位極台輔，不懼盈滿”，權傾朝野尚不知足；“生既唯務陷入，死亦為人所陷”，活著挖空心思害人，死了便難逃被別人陷害的下場。——冥冥之中，蒼天是公正的。