代宗繼位後，對李輔國的專權十分不滿，但他位高權重，不敢對他怎麼樣。五月，代宗封李輔國為司空兼中書令，實現了他當官的夢想。
另外，代宗尊他為"尚父"，食邑八百戶。李輔國仍然不滿足，比以前更加驕橫了，公開對代宗說："陛下隻管坐在內宮，外麵的事情一切由老奴處置。"
代宗心中不高興，但李輔國控製禁軍，朝中官員大多是他的黨羽，他剛剛繼位，地位尚且不穩，隻能聽從李輔國的擺布。
李輔國更加跋扈，朝中大政都由他裁決，朝中大臣們出入內宮，必須先去拜見他，李輔國感到心安理得，欣然大喜。
他在朝廷各部門安置了大批黨羽，程元振升為左監門衛將軍；韓穎升為秘書監；劉炬升為中書舍人。
李輔國一心總攬大政時，許多人都在暗中窺視著他宰相的高位。
程元振在與李輔國合力誅殺張皇後和越王李係後，贏得了李輔國的寵信，由掌握射手的職務升到左監門衛將軍。
程元振仍不滿足，感到氣憤，如果不是自己先安插眼線，李輔國到死都不知道為什麼；如果不是自己帶兵攔住太子，太子被殺後，禁軍將領們見風使舵，李輔國就會死無葬身之地。
李輔國太老了，也該有人代替他了。為了鏟除李輔國，程元振在代宗麵前列舉李輔國的罪行，求代宗加以製裁。
六月，代宗和顏悅色地對李輔國說："李公公，你是三朝老臣。朕念你勞苦功高，年紀大了，該好好養老，軍務太繁重，交給程公公吧。這麼多年來，真辛苦你了。"
代宗賞給他很多的綢緞布匹和金銀，告訴他其他的職務仍然兼任，他仍然是宰相。
李輔國看著程元振，程元振連忙轉過頭去。
百姓們聽說這件事後，舉國歡慶。李輔國感到大難臨頭，他得罪的人太多了，上書請求辭職。代宗罷免了他的中書令之職，李輔國的宰相美夢結束了。
代宗認為不能太冷落擁立自己的李輔國，封他為博陸王，準許進京朝拜。
李輔國想進入中書省寫封謝表，當他剛步進中書省門檻，值班的官員喝道："你不能再進入此門。"
李輔國跑到皇宮，氣憤地對代宗說："老奴侍候不了您這個小皇帝，我去侍候九泉之下的老皇帝。"代宗下了一道詔書，對他進行寬慰。
李輔國要離開京城了，十月十八日這天晚上，有個刺客奉代宗之命，翻牆進入李輔國家，取其首級，扔進廁所，斬下其右臂埋到泰陵，奠祭唐玄宗。
李輔國死後，代宗派人用木頭做了個腦袋，裝在李輔國的無頭屍上，給予厚葬，追賜他為太傅。這件事幹得幹淨利落，沒有產生任何惡劣影響。
李泌曆經中唐五朝，輔佐了四朝天子。他善於謀劃，處理了很多國家大事。他還精於韜誨之術，常能化險為夷，多次入朝主持大事，使李唐王朝轉危為安。李泌被譽為"中唐傑出的謀略家"。