本來，高宗好意從正麵告誡他，不要讓其子、婿等親屬胡作非為。不料李義府聽了以後，不但不反省自律，反而勃然大怒，氣呼呼地質問高宗這是誰告訴陛下的。高宗見他如此蠻橫無禮，也十分氣憤地說：“但我言如是。何須問我所從得耶！”
李義府雖見高宗有些惱怒，卻一點兒也不在乎，反而若無其事一樣，“殊不引咎，緩步而去”。
也活該李義府倒黴。這時恰巧有個叫杜元紀的陰陽先生，說李義府居宅有“獄氣”，當積累二十萬緡錢。才能鎮壓這刑獄之氣。李義府信以為真，急忙千方百計。大肆搜刮，以湊足二十萬緡錢，結果鬧得群議鼎沸。
時李義府正遇有母喪。朝廷每月初一、十五給兩天哭喪假，但他不在家哭喪守靈，卻常常脫去官服，換上平民服裝，與杜元紀悄悄地來到長安城東，登上古墳，觀察風水。雖然他行動詭秘，但還是被人發覺了。有人告發他鬼鬼祟祟，行蹤可疑。說也湊巧，他的兒子李津，時任右司議郎，借其父權勢，私下召回長孫無忌的孫子長孫延，從中受賄七百緡，讓長孫延做了司津監官。此事也被右金吾倉曹參軍楊行穎告發。
李義府自以為背後有武後撐腰，無人敢把他怎麼樣，所以並不把這些事放在心上。大概這一次唐高宗執意要懲治李義府，而武後心有餘而力不足了。高宗下令將李義府逮捕入獄，由司刑太常伯劉祥道與禦史、大理寺的官員共同審理這一案子，並由司空李勣總監其事。經過審查，罪證確鑿無疑，三天之後，即下詔罷免李義府的一切官爵，遠流雋州（今四川西昌市），其諸子、女婿也都罷掉了官職，流放到庭州。高宗除了朝廷中的一大禍害，真是大快人心，“朝野莫不稱慶”。
這次唐高宗不顧武後的意見，決心要嚴懲李義府，故將他流放後，規定即使遇到大赦，他也不在赦免之內。因此，李義府被流放到雋州之後，再也沒有生還的希望，不久便憂鬱成疾，很快命歸西天了。隻是過了三十年以後，武則天做了皇帝，思念他詡讚皇後有功，追賜他為揚州大都督，還賜李義府之子左千牛衛將軍李湛實封三百戶。
引起高宗對武後強烈不滿的還有一件事，就是韓國夫人的暴卒。原來武士彠續娶楊氏後共生了三個女兒，長女嫁給賀蘭越石，次女是武則天，三女兒嫁給郭孝慎早死。後來賀蘭越石也亡故，賀蘭氏在家守寡。武則天立為皇後，大姐賀蘭氏被封為韓國夫人。韓國夫人因武後的關係，經常出入六宮，並在宮內也有居宅。時韓國夫人雖過不惑之年，仍楚楚動人，風姿不減當年，因此很快得到了高宗的寵幸，這種風流韻事當然會傳入武後的耳朵裏。於是過了不久，韓國夫人就突然死去，而且死因不明。高宗眼看著自己所寵幸的美人就這樣不明不白地死去，在悲慟之餘，揣知此事一定是武後所為，心裏對她更是怨恨不已。
武後的“專作威福”，韓國夫人的暴卒，使唐高宗達到了難以容忍的地步。真是無巧不成書。公元664年十月，有個術士叫郭行真，與武後關係較為密切，時常出入後宮。這時已死去的王後、蕭妃仍是陰魂不散，在武後麵前時常出現她二人變成厲鬼作祟的幻覺。武後便讓郭行真施展其法術，作“厭勝”活動。這種稱為旁門左道的妖術是皇室最忌諱的事情之一。