善有善報，惡有惡報。李義府如此恣肆妄為，禍國殃民，終究會有敗露之日。
也巧，有一術士杜元紀，望見李義府宅第有獄氣，便說：“需要打發積錢二千萬，才可以饜勝。”何謂饜勝？迷信指以詛咒鎮壓、製服他人或邪惡。按迷信講，李義府需要散財行善，以德贖罪，才能免去地獄之災。然而，對此深信不疑的李義府卻財迷心竅，不想舍棄以往巧取豪奪的不義之財，而是更加急切地收斂錢財，想奪用他人資財以贖己之罪孽，這豈不是罪上加罪？！
在李義府居母喪期間，高宗允許他初一和十五可以告假守喪。然而，李義府打著守喪的幌子告假後，並非盡守喪禮，而是換上普通百姓服裝與杜元紀悄悄地來到城郊野外，登上古望。盡管他們的行蹤詭秘，還是被人發覺了。人們疑竇頓生：他們可能是在窺覘星象氣色，圖謀不軌吧？同時，他派其子李津找到長孫無忌的孫子長孫延，對長孫延說：“我可以為你謀得一官。”五日後，果然授予長孫延為司津監，並向其索謝錢70萬。李義府的鬻官之舉，已達到了登峰造極的地步。
麵對李義府肆無忌憚地聚斂搜刮，而且還居心叵測地圖謀不軌，朝野已忍無可忍。右金吾倉曹參軍楊行頻向高宗上表，參奏了李義府的種種罪狀。高宗命司刑太常伯劉祥道與三司共同審查此案，並命司空李責力監察督辦此案。經過詳細核查，確認李義府罪狀屬實。由於李義府的所作所為，已威脅到高宗的集權統治，高宗便下詔將其官爵盡除，流放他鄉。其次子李洽、三子李洋和女婿柳元貞流放廷州，其長子李津流放振州。對李義府及其子婿的處置，朝野無不慶賀。“人以為誅‘四凶’”。四凶即指其三子和女婿。有人還寫了《河間道元師劉祥道破銅山大賊李義府露布》，張貼於通衢大街之上。所謂“銅山大賊”是指李義府劫得銅錢如山。時為龍朔三年，即663年。
三年後，即乾封元年（666年），朝廷大赦，惟獨流放在外者不得歸還朝廷。李義府自知隻能在流放中了此一生，憂憤成疾，發病而死。時年53歲。
李義府是因其才而受到唐太宗李世民賞識的。但他入朝後權力欲膨脹，僅憑他的才華又無法滿足他的欲望，他便走向了自己的反麵，成了奸佞之徒。與眾多奸臣不同的是，他非常善於偽裝：咬人不露牙齒，整人麵帶微笑，口蜜腹劍，笑裏藏刀，是一個典型的笑麵虎。披著這樣的外衣，更利於竊權固位，倒行逆施。然而，他的真麵目最終還是被朝野識破，無法逃脫罷官流放的下場。
第十五章 口蜜腹劍的唐代宰相：李林甫