東山再起的李義府依然很紅，他的紅又持續了數年，到龍朔二年，李義府的紅達到了頂點。這一年，李義府做了一件大事：改葬祖父，為其祖父在李淵祖父李虎的陵墓側營造了一座陵墓，這座陵墓造的相當體麵。為了造這座陵墓，三原縣令李孝節動用了丁夫和車馬，日夜不停，為李義府的祖父造墳。村看村，戶看戶，群眾看幹部，幹部還看其他幹部。在李孝節的帶動下，高陵、櫟陽、富平、雲陽、華原、同官、涇陽等七縣的縣令也行動了起來，征集民夫和車馬加入了為李大人祖上造墳的行列。在這場轟轟烈烈的造墳運動中，高陵縣令張敬業勤於職守，任勞任怨，終於不堪重負，過勞死了。墳成之後，王公以下的高官紛紛向李義府贈送奠儀，場麵極其宏大，所送葬的羽儀、導從、器服都是窮極奢侈。等到安葬那一天，場麵更是驚人，從灞橋到三原七十裏間，相繼不絕。武德年間已來，葬禮場麵之宏大，李義府家數第一。其實，明眼人都知道，哀榮是送給死人的，麵子卻是送給活人的，眾人之所以這麼做，隻是因為李義府確實很紅。然而紅又能持續多久呢？李義府能逃得過盛極必衰的俗套嗎？事實證明，他一樣逃不過。龍朔三年，李義府開始走下坡路，起因是一次談話。
龍朔三年三月，李治與李義府進行了一次推心置腹的談話。李治對李義府說：“我聽說你的兒子和女婿做事很不檢點，做了很多不法的事情，弄得我還要幫他們掩飾，隻是一直沒跟你說而已。你回去也教育教育他們，讓他們別那麼幹了！“按照常理，李義府這時應該叩頭請罪，然後謝主隆恩，然而李義府卻沒有這麼做。李義府臉色突變，麵部青筋暴漲，口氣生硬地問道：“這是誰跟陛下說的？“李治對李義府的反應頗感意外，有些不快地回應道：“隻要我說的是實情就行，你還追問我是誰說的幹嗎？“令李治更加沒有想到的是，李義府居然未做回應，反而做沉思狀，晃晃悠悠自顧自地走了。老虎不發威，把你當病貓了！以上紀錄來自《舊唐書》和《資治通鑒》，對以上紀錄，我有所懷疑，縱使李義府紅到了極點，難道他忘記了他隻是皇帝麵前的一條狗嗎？這次談話的紀錄，似有可疑。在我看來，李義府之所以最後會倒台，不是因為他無禮觸怒了皇帝，而是因為長孫無忌等人已除，武則天的位置已穩，李義府這樣聲名狼藉的狗他們已經不需要了，現在到了卸磨殺“狗“的時候了。李義府的倒台同樣是因為別人的告發，告發他的罪狀主要有兩條：一是占卜望氣，圖謀不軌；二是賣官鬻爵，勒索錢財。
如果李義府繼續得到李治和武則天的信任，其實這兩條是扳不倒李義府的，可惜此時的李義府已經失去了武則天和李治的信任，因此兩頂大帽子扣下來，李義府不倒也得倒了。龍朔四年四月初，李治下令成立李義府專案組，由德高望重的司空李勣擔任組長，對李義府的各種罪刑進行審判。數天後，李勣等人向李治報告：所有罪刑，均事實清楚，證據確鑿！紅了八年的李義府就此倒了，他被從官籍中除名，並流放巂州。巂州即現在的四川省西昌市，那裏有新中國的衛星發射中心，之所以把衛星發射中心建在那裏，就是因為那裏荒涼，人煙稀少。與李義府一起倒台的還有他的兒子李津、李洋以及女婿柳元貞。李治做事也很絕，李義府居然和兒子和女婿流放的不是一個地方：李津流放到振州（海南三亞），李洋和柳元貞流放到庭州（位於今天的新疆），值得一提的是，李義府的流放不是暫時的，而是無期流放。三年後，李治大赦天下，一般的囚犯都得到赦免，而李義府這種無期流放的人則不在赦免之列，終老長安終成一夢，他隻能老死在遙遠的巂州。不久，李義府憂憤成疾，鬱鬱而終，享年五十餘歲。在他死後，長安城中的一些人才長出了一口氣，並開始慶祝，為了這次慶祝，他們已經等了三年。
三年前他們就想慶祝，可是害怕李義府殺個回馬槍，現在終於可以踏踏實實地慶祝了，因為那個曾經很紅的李義府死了。蓋棺定論，這是一個有才無德的人，他的德行遭人唾棄，但他的文才還是有的，他有文集三十卷傳於後世，同時還有二十卷《宦遊記》，可惜已亡失。都說李義府是“李貓“，其實套用歐洲的諺語，他隻是替人火中取栗的“貓爪“而已。八年後，李治再次大赦天下，李義府的妻子和兒子得到赦免，回到洛陽。後來武則天念及李義府在永徽年間擁立有功，追贈其為揚州大都督。值得一提是，李義府一家與武則天的糾葛並沒有就此結束，他們的糾葛一直延續到武則天生命的最後一刻。在武則天生命的最後一年，她已經病重，張柬之等人發動“玄武門之變“，誅殺武則天寵幸的張易之兄弟，逼迫武則天讓位於太子李顯。在這個過程中，出力最多、身先士卒的便是李義府最小的兒子，左羽林將軍李湛。當武則天看到李湛時，驚訝地說道：“你就是誅殺張易之的那位將軍？我待你們父子不薄，何至於走到這一步？“然而，到了這個時候，武則天說什麼也沒有用了，她已經落到了李湛的手裏，從此直到最後病逝，她一直處於李湛的監視之下。父親李義府擁立有功，兒子李湛兵變有功，世事真是無常。