幾番試探之後，李義府認定自己有擁立之功，無論他捅了多大婁子，高宗和武皇後都會罩著自己，於是更加肆無忌憚。可是，他聰明一世，糊塗一時，他沒有弄明白皇帝之所以能縱容他，是因為他有用，利用他打擊元老重臣。如今元老重臣垮台了，長孫無忌滾蛋了，他在高宗心目中的地位已不再那麼重要。尤其是顯慶五年後，武則天協理朝政，她與高宗之間的關係出現了微妙的變化，在這種微妙變化中，雙方形成了各自的勢力集團，李義府被劃入皇後一黨。如此一來，他若再不知好歹，再胡作非為，是不可能蒙混過關的。但李義府依然我行我素。
龍朔三年（663年），李義府改葬祖父。改葬就改葬吧，沒有什麼大不了的，偏偏李義府認為自己了不起，要大肆顯擺，讓附近七個縣都派人參加義務勞動。然而，不給錢的事很多人是不願幹的，畢竟是給李義府私人幹活，不是給國家幹活，這不是勞動人民分內之事。但地方官員是不能違抗命令的，畢竟官大一級壓死人，得罪了李義府，就意味著你甭想在官場上再混下去。有個縣令實在抓不到勞工，隻好親自上陣參加義務勞動，沒想到勞累過度死在了工地上。這又鬧出一條人命來，同樣是朝廷命官。這件事把李義府的名聲搞得很壞，可他仍不知道收斂。同一年，李義府主持銓選，所謂銓選，就是選拔官僚，這可是個有油水可撈的差事，李義府借此機會賣官鬻爵，把這次銓選弄得烏煙瘴氣。高宗實在看不下去，就找來李義府談話：“聞卿兒子、女婿皆不謹慎，多作罪過，我亦為卿掩覆，未即公言，卿可誡勖，勿令如此。”應該說高宗還是很給他麵子的，沒有直接說他，而是從其子女的角度旁敲側擊：朕聽說你的兒子、女婿做事都太不像話，作惡多端，朕不是不知道，但一直替你們藏著掖著，沒有宣布出來，現在你要回家整頓一下，好好告誡他們，不要再這樣亂來。李義府若是順勢認個錯，可能這件事也就過了，但他驕狂慣了，好像這李唐王朝的天下，少了他李義府就要分崩離析似的。他不但不認錯，反而認為高宗揭了他的傷疤，惡狠狠地問道：“誰向陛下道此？”李義府太把自己當回事，他不明白，高宗是找他說事的，不是向他告密的，人家是主子，他居然敢向主子質問。高宗聽了也不跟他客氣，說：“但我言如是，何須問我所從得耶！”隻是我拿這話問你，你好好回答我就是，何必要問我是從哪裏聽來的。李義府若是識趣，到此時趕緊謝罪，也許還有挽回的餘地。不過，他以為他是大唐帝國的中流砥柱，少了他，高宗的事情就辦不成，他一句話也沒說就揚長而去。高宗並不生氣，當然也不會對李義府再客氣：老子今天找你談，本想給你幾分麵子，既然你不要麵子，那就讓你吃點油辣子。
很快，李義府出事了。原來，李義府是個很迷信的人，加上他本是個地地道道的小人，小人得誌後是很喜歡顯擺的。他特地請了個陰陽術士為自己望氣，看看自己還有多少富貴可享。俗話說，富貴之人問命，大多問災不問福。那術士根據慣例，煞有介事地說他宅第之上有不祥之氣，屋主必有牢獄之災，要想化解此災，必須積財二十萬緡，以財氣鎮妖氣。李義府信了，可是到哪裏去籌這筆錢呢？這時，李義府想到了長孫無忌。雖說長孫無忌死了，但他為相三十年，樹大根深，他的後人應該還有不菲的家財。其實，長孫無忌的後人並不多，因為他在顯慶四年就自殺了，他的那些兒子當時已經成年，一個個都被判了死刑，孫子一個個被流放嶺南。其中有個叫長孫延的孫子九死一生，好不容易回到了長安。不過，此時的他隻是一個普通的百姓，沒有任何官職。李義府把長孫延找來，對他說：“我知道你們家有錢，你給我七百緡，我就幫你謀一個從六品的司津監之職。”但這件事還沒有眉目，李義府就被人彈劾了，說他與犯罪人家的子弟勾結，圖謀不軌。按常理講，這不是什麼大不了的事，但是，是大事還是小事，關鍵在於皇帝怎麼看，皇帝高興了，這是小事，要是皇帝不高興了，這就是大事。高宗對李義府已經失去了耐心，見有人彈劾，立即派人審理。這李義府犯的事太多，小事不說，光是人命就有三條，不審理則已，一審理那簡直是休目驚心。不過，高宗還是對他手下留情，雖說是數罪並罰，但還是給他留了一條性命。李義府被除名，流放到慯州（今四川省西昌市），幾個兒子和女婿早有前科，也未能幸免，被天南海北的流放，一家人就這樣生離死別，要想再見，等下輩子吧！