武後參與朝政不久，還曾一度和高宗產生了一些矛盾。《通鑒》卷二百零一記載說：
初，武後能屈身忍辱，奉順上意，故上排群議而立之；及得誌，專作威福，上欲有所為，動為後所製，上不勝其忿。
這大概是由於高宗多病，武後又辦事幹練，有很多政事沒有請示高宗，自己就擅自處理了，所以高宗認為武後“專作威福”。
另外還有的史籍所記與此略有不同，說武則天立為皇後，“已得誌，即盜威福，施無憚避，帝亦儒昏，舉能鉗勒，使不得專，久稍不平”。這條史料與上述那條有所不同。是說高宗“儒昏”，處理朝政不如武後那樣英明果斷，因此高宗處理朝政而“使不得專”，受武後掣肘，時間久了，便忿然不平。這一情況也許是符合史實的，因為這時武後的地位已經鞏固，因常常參與軍國大事，政治地位變了，於是也變得不那麼溫良恭順，乃至於獨斷專行，因此招致了高宗的不滿。
不僅這時武後有些“專作威福”，就連由她所提拔的李義府也有恃無恐，變得越來越飛揚跋扈了，這也引起了高宗的反感。
李義府時任右相（中書令），主持官吏的選舉工作。他雖是被貶官後升為宰相，仍是惡性不改，在他改遷祖父墳墓時，周圍的七個縣令親自出馬，征調民間牛車，為他祖父載土築墳。其中高陵令不堪勞苦，累死在途中。在安葬時，他又興師動眾，七十裏長的路上人流相繼不絕。唐初以來，即使王公送葬也從沒有這種宏大的排常李義府本無藻鑒官吏的才能，又怙武後之勢，專以賣官為事，銓序失次，人多怨言。盡管他把選官事搞得烏七八糟，人們怨聲載道，但是百官還是畏懼他的勢力而不敢上言。時間久了，高宗也對李義府的一些醜事有所耳聞。
公元663年四月的一天，唐高宗從容地對李義府說：“聞卿兒子、女婿皆不謹慎，多作罪過，我亦為卿掩覆，未即公言，卿可戒勖，勿令如此。”
本來，高宗好意從正麵告誡他，不要讓其子、婿等親屬胡作非為。不料李義府聽了以後，不但不反省自律，反而勃然大怒，氣呼呼地質問高宗這是誰告訴陛下的，高宗見他如此蠻橫無禮，也十分氣憤地說：“但我言如是，何須問我所從得耶？”
李義府雖見高宗有些惱怒，卻一點兒也不在乎，反而若無其事一樣，“殊不引咎，緩步而去”。
也活該李義府倒黴。這時恰巧有個叫杜元紀的陰陽先生，說李義府居宅有“獄氣”，當積累二十萬緡錢，才能鎮壓這刑獄之氣。李義府信以為真，急忙千方百計，大肆搜刮，以湊足二十萬緡錢，結果鬧得群議鼎沸。
時李義府正遇有母喪。朝廷每月初一、十五給兩天哭喪假，但他不在家哭喪守靈，卻常常脫去官服，換上平民服裝，與杜元紀悄悄地來到長安城東，登上古墳，觀察風水。雖然他行動詭秘，但還是被人發覺了。有人告發他鬼鬼祟祟，行蹤可疑。說也湊巧，他的兒子李津，時任右司議郎，借其父權勢，私下召回長孫無忌的孫子長孫延，從中受賄七百緡，讓長孫延做了司津監官。此事也被右金吾倉曹參軍楊行穎告發。
李義府自以為背後有武後撐腰，無人敢把他怎麼樣，所以並不把這些事放在心上。大概這一次唐高宗執意要懲治李義府，而武後心有餘而力不足了。高宗下令將李義府逮捕入獄，由司刑太常伯劉祥道與禦史、大理寺的官員共同審理這一案子，並由司空李勣總監其事。經過審查，罪證確鑿無疑，三天之後，即下詔罷免李義府的一切官爵，遠流雋州（今四川西昌市），其諸子、女婿也都罷掉了官職，流放到庭州。高宗除了朝廷中的一大禍害，真是大快人心，“朝野莫不稱慶”。
這次唐高宗不顧武後的意見，決心要嚴懲李義府，故將他流放後，規定即使遇到大赦，他也不在赦免之內。因此，李義府被流放到雋州之後，再也沒有生還的希望，不久便憂鬱成疾，很快命歸西天了。隻是過了三十年以後，武則天做了皇帝，思念他詡讚皇後有功，追賜他為揚州大都督，還賜李義府之子左千牛衛將軍李湛實封三百戶。
引起高宗對武後強烈不滿的還有一件事，就是韓國夫人的暴卒。原來武士彠續娶楊氏後共生了三個女兒，長女嫁給賀蘭越石，次女是武則天，三女兒嫁給郭孝慎早死。後來賀蘭越石也亡故，賀蘭氏在家守寡。武則天立為皇後，大姐賀蘭氏被封為韓國夫人。韓國夫人因武後的關係，經常出入六宮，並在宮內也有居宅。時韓國夫人雖過不惑之年，仍楚楚動人，風姿不減當年，因此很快得到了高宗的寵幸，這種風流韻事當然會傳入武後的耳朵裏。於是過了不久，韓國夫人就突然死去，而且死因不明。高宗眼看著自己所寵幸的美人就這樣不明不白地死去，在悲慟之餘，揣知此事一定是武後所為，心裏對她更是怨恨不已。
武後的“專作威福”，韓國夫人的暴卒，使唐高宗達到了難以容忍的地步。真是無巧不成書。公元664年十月，有個術士叫郭行真，與武後關係較為密切，時常出入後宮。這時已死去的王後、蕭妃仍是陰魂不散，在武後麵前時常出現她二人變成厲鬼作祟的幻覺。武後便讓郭行真施展其法術，作“厭勝”活動。這種稱為旁門左道的妖術是皇室最忌諱的事情之一。