奸佞之人，大都是貪得無厭之輩，擅於結黨之流。李義府也不例外。顯慶三年（658年），得寵於上的李義府，將其諸子、甚至尚在繈褓中的嬰兒，都封列為官。如此榮寵豪貴，李義府仍不滿足。“惟賄是利”，他與其母、其妻及諸子“賣官市獄，門口沸湯”，足見其貪婪之至。同時，李義府不惜施用各種手段培植親信，多樹朋黨，其勢可“傾動朝野”。
李義府如此得意忘形，胡作非為，自然惹起一些朝臣的不滿。中書令杜正倫，乃一元老重臣，對李義府的所作所為甚是厭惡；李義府依仗恩寵，也不把杜正倫放在眼裏。杜正倫便暗地與中書侍郎李友益商量，想要設法搜集李義府的罪證，然後將其除掉，不料，李義府卻得知了這一消息，便來個惡人先告狀，想到反誣杜正倫。於是，倆人在高宗麵前爭辯不休，相互指責。高宗雖然寵幸李義府，無奈杜正倫乃太宗重臣，又言之有理，然而高宗又不想光處罰李義府，便各打五十大板，對雙方都做了懲罰：顯慶三年（658年）十一月，貶杜正倫為橫州刺史，李義府為普州刺史。當時朝中輿論支持杜正倫，而武後則褊袒李義府。高宗作出這樣的決定，表麵上看是“兩責之”，實際上隻是對杜正倫的懲罰。因為，李義府本該懲處，貶為刺史就算高抬貴手了；而杜正倫剛正進諫彈劾奸佞，理應受到賞賜，卻反遭貶謫，豈不是黑白顛倒？事實上也正是如此，杜正倫死在了橫州，而李義府不到一年又官複原職。顯慶四年（659年）八月，高宗詔令李義府為吏部尚書、同中書門下三品，其餘官封如故。
這期間，朝廷內部發生了一次大變動。唐太宗皇後之兄長孫無忌，因反對高宗立武昭儀為皇後，深為武後所怨。武後伺機陷害長孫無忌。經過一番謀劃，許敬宗誣告國舅長孫無忌乃“今之奸雄”，意欲謀反。於是高宗將其舅父長孫無忌放逐黔州，其子秘書監駙馬都尉長孫衝等被除名，流放嶺南。同時還斬殺了貶在外地的韓瑗等，受牽連的大臣達十多人。就連中立不言的燕公於誌寧也被貶為榮州刺史。這是武後勢力對唐朝元老派的一次毀滅性打擊。從此，朝權進一步被宮中勢力所控製。沒有這個變故，李義府官複原職恐怕不會如此之快。經過這個變故，李義府重入朝廷也就更加膽大妄為了。
李義府既已顯貴，總覺得自己的家族世代未能列名人誌——貞觀時所修的《氏族誌》，是一大缺憾，應予更改。他的這一想法，與武後是不謀而合的。因為武後家族也未入《氏族誌》。於是李義府和許敬宗奏改《氏族誌》。有武後在高宗麵前鼓動，高宗自然準奏。新訂氏族誌更名為《姓氏錄》。李義府借此機會，終於躋身於名門望族了。李義府曾說他本出於趙郡李氏，並與諸李氏敘親疏。“無賴之徒藉其權勢，拜伏為兄敘者甚眾。”給事中李德崇開始與其敘同譜，待其被貶普州，李德崇便將其從趙郡李氏族譜中刪除。李義府聽說後十分惱怒，重新為相後，便唆使親信羅織罪名誣陷李德崇，將其下獄，並逼其自殺。由此可見，李義府報複心極強，且心狠手辣，稍不如意，便想盡辦法以達到複仇的目的。