而這時候魏王李泰已經鬱悶地死於均州，房遺愛原本作為魏王李泰的心腹，在貞觀年間為助李泰奪嫡，上下奔走頗為賣力。長孫無忌當然不會放過他，不僅如此，他還要趁這次機會盡量多幹掉一些自己的政敵。房遺愛夫妻的謀反罪看來是板上釘釘跑不掉了，這是一張網，他要盡可能地把這張網撒開，口要張得越大越好，大魚多多益善，小魚小蝦一個不能少。他要將那些他看著不順眼，人家也看他不順眼的政敵們統統羅織進來。
首當其衝的就是魏王舊黨和不滿李治做皇帝的人，其中包括當世名將丹陽公主駙馬薛萬徹、巴陵公主及駙馬柴令武夫婦以及荊王元景。
第二波就是雖然沒有參與進來，但關係和長孫無忌不和的，就是李世民的第三個兒子李恪。李恪在諸位皇子中的名望較高，很得人心，現在又是司空，長孫無忌很忌恨他，想要找借口誅滅李恪以斷絕眾望。他示意房遺愛誣陷李恪也參與謀反，房遺愛自作聰明，希望能像當年紇幹承基密告太子謀反那樣免死，就招認說與李恪是同謀。
永徽四年（公元653年）二月初二，房遺愛、薛萬徹、柴令武被處斬，李元景、李恪、高陽公主、巴陵公主一並被賜自盡。
吳王李恪臨死的時候，大罵道：“長孫無忌擅弄威權，殘害忠良，祖宗有靈，長孫無忌滅族在即！”
第三波打擊對象就是那些與房遺愛關係親密的大臣。這一撥人中間有宰相兼太子詹事宇文節、左驍衛大將軍、駙馬都尉執失思力、江夏王李道宗等人。
宰相宇文節是高宗皇帝任命用來分化長孫無忌一黨權力的，本來就是長孫無忌的眼中釘、肉中刺，現在房遺愛犯罪，宇文節又出麵為他開罪辯護，無疑給了長孫無忌一個株連的借口。
江夏王李道宗是皇室中的戰功卓著者，為人也很謙和。貞觀末期時，他因與長孫無忌不和，自請改任散官，那意思是惹不起咱還躲不起嗎？他忘記了，在這個世界上，有些人你既躲不起更惹不起，李道宗最後還是沒能逃過被羅織立案的命運，病死於流放途中。
接著，長孫無忌又將房遺直貶為春州銅陵尉，同時還取締了房玄齡在太宗廟陪祭的殊榮。
長孫無忌這樣抓住一件事情大興冤獄，就算不相幹的旁人，也感到不寒而栗。這件事讓高宗切切實實地感受到了來自舅父的震主之威。這時候，即使長孫無忌不是想篡權的奸臣，皇帝也不由得往這方麵懷疑了。
皇帝也不好混，因為你不知道，那些笑容和語言的背後包藏的是一顆熱乎乎剛出爐的忠心，還是一把冷冰冰剛磨好的鋼刀。
長孫無忌既然如此無忌，那他這個皇帝就要有所忌，不然早晚要吃虧。
高宗皇帝馬上做出奪回大權的準備了，就在這個月頒詔升任李績為司空，仍然兼任宰相職務。一向小心謹慎的李績這次卻很幹脆地接受了皇帝的任命，這與他永徽元年為了避免和長孫無忌衝突，而堅決推掉左仆射的做法，形成了鮮明的對比。
估計李績此時也已經對長孫無忌起了疑懼之心，長孫無忌這時候已經成為一手遮天的權奸。這時候，他能夠幹脆地接過高宗賦予他的權力，有兩種考慮：一是為大唐江山考慮；二是為自己身家性命著想。
他不能坐等長孫無忌的屠刀指向他，他要挺身而出主動出擊。
高宗在任命李績做司空後，還在努力提升他的地位，特命畫工再度為李績畫像，並親自作序，先追憶一番李績為東宮舊屬時的往事，重提太宗提拔他的本意，提醒他記得自己的責任：“朕以綺紈之歲，先朝特以委公，故知知哲之明，所寄斯重！”最後又對他大加褒獎：“茂德舊臣，惟公而已，用旌厥美，永飾丹青！”都是溢美之詞。
高宗這麼做，有他自己的想法。昔日淩煙閣畫像的二十四功臣之中，隻剩下長孫無忌和李績仍在用事，稱李績為“茂德舊臣，惟公而已”。高宗顯然是想樹立李績的威望，故意冷落一下長孫無忌這位元舅兼托孤大臣。
其實這些年李績的存在對長孫無忌而言一直是塊心病，就算他長孫無忌是大唐帝國的一哥，但李績至少也能撈取一個次一哥的地位。李績的存在，始終是對長孫無忌的牽絆。隻不過在長孫無忌尚未驕狂的時候，或雖然驕狂但打擊時機還沒成熟的時候，老於世故的李績是不會站出來與長孫集團做無謂的摩擦的。
畢竟長孫無忌是先皇的發小，是高宗的親舅舅，算是一家人。
但是現在，李績已經明顯地感覺到高宗皇帝對自己的這個舅舅已心生芥蒂，鏟除長孫無忌的時機正悄然逼近。