李義府很善於偽裝自己，他雖然非常奸佞。但在外表上，卻給人一種頗為柔順、謙恭的感覺，與人說話也總是麵帶微笑，而把陰險狡詐和褊私妒嫉藏之於心。凡遇不順心者，皆加以中傷陷害。這樣的口蜜腹劍之人，更帶欺騙性，也更具危害性。久而久之，朝野皆透過麵紗看清了他的真實嘴臉，稱他“笑中刀”。因其“以柔而害物”，故又稱他為“人貓”。
李義府因得寵於高宗和武後，攘取威柄，就愈加膽大妄為。洛州有一女子因罪被關押在大理寺。李義府聞其貌美，讓大理丞畢正義將其釋放，他要納其為小妾。大理卿段寶玄聞聽此訊，馬上向高宗奏明此事。高宗便令給事中劉仁軌、侍禦史張倫審問，弄清事情真偽。李義府黔驢技窮。為了防止事情泄露，便逼令畢正義自縊於獄中，殺人滅口。高宗內心明白，卻裝糊塗，不問其罪。侍禦史王義方明知彈劾李義府會禍及自身甚至連累其母，但在其母的堅決支持下，還是挺身而出，上奏：“義府於輦轂之下，擅殺六品寺丞；就雲正義自殺，亦由畏義府威。如此，則生殺之威，不由上出，漸不可長，請更加勘當！”並且當庭大聲斥責李義府退下，李義府則左顧右盼，若無其事，王義方再三斥責，李義府見高宗沉默無語，隻好退出。王義方當廷宣讀了彈劾李義府的奏章。高宗本想息事寧人，沒料到王義方居然揪住不放，十分惱火，不但不問李義府的濫殺之罪，反說王義方毀譽大臣，言辭不遜，將其貶到州做司戶。
李義府“誅棄骨骨更大臣”，何止王義方一人？顯慶二年（657年），李義府進中書令，兼檢校禦史大夫，加太子賓客，封為河間郡公。這時，他與禮部尚書許敬宗秉承武後旨意，誣奏侍中韓璦、中書令來濟與褚遂良圖謀不軌，貶韓瑗為振州刺史，來濟為台州刺史，“終身不聽朝覲”。又貶褚遂良為愛州（今越南清化）刺史。這些太宗以來的重臣，憂國憂民，維護朝綱，是李義府等人行其奸佞的絆腳石，所以相繼被貶。