得勢的李義府如同一隻充了氣的氣球，在站隊成功後節節攀升。顯慶元年他兼任太子右庶子，並受封侯爵。太子右庶子即太子宮事務署署長，太子宮兩大領導之一，能得到這個職位，說明皇帝對李義府無比信任，因此才會派給太子。得勢又得意的李義府由此忘了形，不久便製造了一出疑案。他居然把手伸進了大理寺監獄！事情的起因是這樣的，顯慶元年，大理寺監獄關押進一個女犯人，女犯人姓淳於，因為犯了案子被關進大理寺監獄。淳於氏被關押不久，李義府就將手伸了進來，他授意大理寺丞畢正義將淳於氏無罪釋放，然後將其接到了自己的一處別院。李義府為什麼會把淳於氏從大理寺的監獄裏撈出來呢？這完全是因為淳於氏貌美如花，李義府起了色心，就想把淳於氏收為自己的偏房。李義府以為做的神不知鬼不覺，可是還是讓人知道了，知道這個秘密的人就是大理寺卿段寶玄。段寶玄原本知道淳於氏犯案羈押獄中，沒想到不久之後竟然被畢正義無罪釋放，而且還被接到了一處別院，這裏麵藏著什麼貓膩呢？段寶玄將自己的疑問寫成奏章，上奏給了皇帝李治，李治派人追查，案子由此發了。
不過李義府並不慌亂，反正到目前為止，隻是追查到畢正義這一環，要查到他，還早著呢。可是，如果畢正義指證李義府呢？不必著急，你見過死人指證嗎？在李義府的安排下，畢正義自殺了，從自殺的結果來看，可能是心裏有鬼，畏罪自殺。然而，即便畢正義自殺，人們還是把矛頭指向了李義府，他與畢正義以及淳於氏的關係已經成了眾所周知的秘密，不是一個畢正義自殺，就可以掩蓋所有的一切。大家在等待著李義府得到應有的懲罰，然而卻遲遲沒有動靜，原來李治也知道其中的秘密，但是他護著李義府，並不想予以處罰，隻想就這麼算了。皇帝裝起了糊塗，禦史們卻不糊塗，很快，侍禦史王義方站了出來，對李義府進行彈劾。朝堂之上，王義方與李義府對質起來。王義方義正詞嚴，三次嗬斥要李義府退出，因為按照慣例，為了保證彈劾的效果，被彈劾的人需要離開現場。李義府站在原地，賴著不走，他期待著李治能發話讓他留在原地，然而皇帝也要遵守規則，礙於此，李治沒有發話。無奈，李義府還是悻悻而去。王義方開始了自己的彈劾，說的義正詞嚴，有理有據，不過在說到李義府仕途的起步時，王義方的用詞有些狠，他說李義府是因為容貌得到了馬周和劉洎的寵幸，因此才得到了重用。
除此之外，王義方的彈劾均言之有物，在場大臣內心都讚同王義方，隻是都沒有表現出來。彈劾完畢，李治出離憤怒：太不像話了，這樣的人不處理怎麼行！王義方出言不遜，侮辱高官，即日起貶往萊州，出任司戶（管理戶籍的官員）。鬧了半天，被貶的居然是王義方。黑白顛倒。在王義方彈劾失敗後，李義府還是沒有忘了羞辱王義方一番。李義府趾高氣昂地問：“王禦史，你那麼狂妄地彈劾我卻沒有任何結果，難道心裏不慚愧嗎？“王義方針鋒相對地回應：“孔子在魯國隻擔任了七天司寇，就能把少正卯誅殺，我王義方擔任禦史有些日子了，卻不能為國鏟除奸佞，這一點確實有愧！““你！“李義府被噎住了，不過轉念一想又釋然了，你王義方除了能逞口舌之快，還能做什麼？反正我現在很紅。李義府確實很紅，不久他又兼任太子左庶子，太子左庶子是太子宮政務署署長，太子宮最大的官員。一年後，很紅的李義府出任中書令，同時代理禦史大夫，同時監修國史，同時還是弘文館學士。不久又加官太子賓客，進封河間郡公。顯慶三年，李治又追贈其父李德晟為魏州刺史，所有兒子都位列高官，就連尚在懷抱的孩子，同樣也有一頂官帽，同時李治下詔為李義府在長安最好的地段蓋一所房子。恩寵無以複加，無人可比。