永徽元年十一月，監察禦史韋思謙上奏疏彈劾宰相褚遂良，說他強行低價收購中書省職員的土地。大理寺少卿（相當於現今的最高法院副院長）張睿冊跳出來為褚遂良辯解，說他是依照估定價格購買的，完全沒問題。
韋思謙代表正義一方站出來駁斥他：“那種官方的估定價格，是國家需要征地時才用的，所以是很低的。私人之間的交易，怎麼能夠按照那種價格標準呢？張睿冊利用職務之便舞弊，附和大臣，欺罔皇上，按其罪行應當處死。”
最後實在無法收場，長孫無忌隻好在無奈之下以朝廷的名義將褚遂良降職為同州刺史（今陝西境內），將張睿冊降為遁州刺史（今廣東境內）。
褚遂良雖然被貶，但還在陝西境內任職，明眼人能看出來朝廷有隨時召他回來的打算。這一切唐高宗和長孫無忌都心知肚明，他們曾經是一根繩子上的螞蚱，但現在繩子斷了，他們各自蹦躂，各自盤算，繩子上的歲月成了他們美好的回憶。
其實這時候，唐高宗對長孫無忌的專權已經有點不舒服了，外界流傳的一些關於皇權被竊、長孫專權的傳言也或多或少傳到了他的耳朵裏。唐高宗已經不滿足於當個沒有實權的偽皇帝，於是，他也試圖在朝中的一些關鍵位置上安插自己的親信大臣，但是安插的這些人雖然位高卻權輕，無法也不敢和長孫無忌正麵抗衡，並不能起到牽製長孫無忌的作用。
朝臣們在議事的時候，往往不看皇帝臉色，反而看長孫無忌的臉色行事。就連那個被先帝同樣器重的李績，也看出了其中的端倪當了縮頭烏龜，所以，朝中意見經常是倒向長孫無忌一邊，隻要長孫無忌一聲吼，朝堂也要跟著抖三抖。
唐高宗李治畢竟不是傻子，他已經看出了其中的端倪，朝堂之上的眼波流轉，朝堂之下的噤若寒蟬。他在宰相們麵前也暗示了一些不滿，他曾經當著他們的麵說：“我聽說你們在議論朝政的時候，都沒有自己的主見，官員們還要互相觀察臉色行事，那樣的話還談得上集思廣益和民主公正嗎？”
李治已經明顯意識到，這時候的朝堂已經成了舅舅長孫無忌的“一言堂”。
長孫無忌接話：“皇上說的這個情況也不是說沒有，但還遠遠沒有到徇情枉法的地步。就是皇上你在處理政事的時候，也會考慮一些人際關係因素吧。”長孫無忌這話就是在今天聽來也是不過時的，中國人的關係網、人情網，撕不破扯不斷，每個人都是網蟲。
以長孫無忌在權力場上摸爬滾打幾十年，不可能看不出高宗皇帝在人事安排上的用意，也不可能聽不出來這個外甥的弦外之音。估計他是太沒把這個外甥放在心上了，不但毫無收斂之意，而且大有愈演愈烈之勢。
永徽三年（公元652年）春天，長孫無忌把同州刺史褚遂良調回朝中，任命為吏部尚書、同中書門下三品，履行宰相職責。接著又任命自己的親戚、兵部侍郎韓瑗代理黃門侍郎、同中書門下三品，也是實職宰相，這樣長孫無忌的勢力就更加穩固，連皇帝和李績都讓他三分。還有一位新任宰相柳奭更不敢和這樣的權臣叫板，柳奭的表現讓長孫無忌還算滿意。
柳奭也明白自己之所以能坐到宰相的高位，都是因為自己是皇後的舅舅。皇後的位子穩固，他的位子就穩固；皇後要是失寵，他的官位就不保。
在這之後又發生了一件大事，徹底地暴露了長孫無忌的弄權和驕狂，甚至連高宗也隻能眼睜睜地看著長孫無忌將政敵一網打盡，而沒有任何辦法阻止。鬧到最後，處死兩名王爺、兩名公主、三位駙馬，大批皇親國戚受牽連被貶，結案之慘烈，舉世皆驚。這就是初唐轟動一時的高陽公主謀反案。
高陽公主是李世民很寵愛嬌慣的一個女兒，平日裏驕橫跋扈，淫惡縱欲，欺淩家人，甚至與和尚私通。她的老公就是貞觀朝名相房玄齡的二公子房遺愛，此人因當初與魏王李泰交往過密，高宗上台之後也是屬於失勢的一派。因此，他們常和同樣不滿現狀的皇親國戚，如魏王舊黨巴陵公主駙馬柴令武，征高麗回朝馬上被貶的丹陽公主駙馬薛萬徹，還有自認為比李治更有資格做皇位的荊王李元景等人私下往來，發表一些對朝政不滿的牢騷話。
高陽公主還想把大伯子房遺直繼承的爵位和家產據為己有，整天告刁狀，欺人太甚。房遺直一是因為忍無可忍，二是擔心這對無法無天的小夫妻總有一天會捅出什麼婁子連累整個房家，索性一不做二不休把房遺愛和高陽公主聚眾謀反一事揭發了出來。
高陽公主告房遺直謀反不過是空口白話，可房遺直卻拿出了證據：公主不僅罵皇帝，毀朝廷，還派人占星卜筮窺視宮省，看看老天什麼時候讓高宗皇帝離開這個世界。
要知道那個時候請巫師占卜星象就是謀反，一般人能隨便圍繞天象在那裏一天到晚瞎搗鼓嗎？皇帝是天子，是奉天而來。既是謀反大案，犯案的又是金枝玉葉，事情立刻呈報給了長孫無忌。長孫無忌正吃飽了沒事幹在那裏磨刀。