李抱玉調往山南西道,他原來所屬的鳳翔軍士不滿,竟大肆掠奪鳳翔坊市,數日才平息這場兵亂。軍隊不聽話,根源在於調動,魚朝恩的死黨看出不妙,便向魚朝恩進言請示,魚朝恩這才感覺有些不好,意欲防備。可是,當他每次去見代宗時,代宗依然恩禮益隆,與前無異,便逐漸消除了戒備之心。
一切準備就緒,在公元770年的寒食節,代宗在宮禁舉行酒宴,元載守候在中書省,準備行動。宴會完畢,代宗留魚朝恩議事,開始責備魚朝恩有異心,圖謀不軌,謾上悖禮,有失君臣之體。魚朝恩自恃有周皓所率百人護衛,強言自辯,“語頗悖慢”,卻不想被周皓等人擒而殺之。宮禁中所為,外麵不知。代宗乃下詔,罷免魚朝恩觀軍容等使,內侍監如故;又說魚朝恩受詔自縊,以屍還其家,賜錢六百萬以葬。爾後,又加魚朝恩死黨的官職,安頓禁軍之心,成功地翦除了魚朝恩的勢力。
代宗借元載之力除掉魚朝恩,元載“遂誌氣驕溢;每眾中大言,自謂有文武才略,古今莫及,弄權舞智,政以賄成,僭侈無度。”久而久之,自然也招致代宗不滿,代宗曾對李泌說:“元載不容卿,朕匿卿於魏少遊所。俟聯決意除載,當有信報卿,可束裝來。”元載也非善輩,有所耳聞,深知代宗對他有成見,便深謀自固。他內與宦官董秀相勾結交通,借以刺探代宗的意向;外使百官論事自告長官,長官告之宰相,再由宰相上聞,欲控製各方麵的信息,尤其是不利於自己的信息,更是上下其手匿而不聞。以此,元載居相位十五年之久,“權傾四海”之後,也不免“恣為不法”。於是“貨賂公行”,“侈僭元度”,家中“婢仆曳羅綺者一百餘人”,貪汙更甚,家中僅調味用的胡椒就有八百石之多。
十餘年的宰相,其勢力也是盤根錯節的,代宗“欲誅之,恐左右漏泄,無可與言者”,於是找自己的舅舅吳湊密謀。在公元777年,代宗先杖殺董秀,斷絕元載內延信息通道;然後命令吳湊前往政事堂收捕元載及其黨羽,逼令元載自殺,又除去了元載勢力。