褚遂良死了，韓瑗、來濟、柳奭也被貶了，而長孫無忌依然呆在長安城，依然位居太尉高位。難道武則天已經放過了他？不！如果說全世界誰都可以放過，這個長孫無忌是最不可能放過的，此人在貞觀、永徽兩朝為官三十多年，關係盤根錯節，此人不除，日後武則天焉能放開手腳？不是不針對長孫無忌，而是慢慢來，一步一步為他編織一張大網，然後將他一網打盡。在打擊長孫無忌的道路上，武則天並不孤獨，因為她還有一個得力的盟友，這個人就是隨著武則天步步高升的許敬宗。到顯慶四年，許敬宗已經升到了中書令，風頭壓過長孫無忌，他同時得到了皇帝和皇後的信任，而長孫無忌雖然位居太尉高位，然而卻飽受皇後的猜忌，同時皇帝李治與他漸行漸遠。此消彼長，許敬宗沒有理由不針對長孫無忌，曾經在長孫無忌麵前遭受的屈辱他要一點點還回去，他要讓不可一世的長孫無忌知道，什麼叫三十年河東，三十年河西。在武則天的授意下，許敬宗積極行動了起來，他努力地尋找著長孫無忌的破綻，不久，他得到了一個“靈感“。許敬宗的“靈感“來自一次控告。
當時洛陽人李奉節控告太子洗馬韋季方與監察禦史李巢結黨，這一下捅到了皇帝李治的癢處，曆來“結黨“都是皇帝非常忌諱的事情，這兩個人居然在皇帝的眼皮底下結黨，必須嚴查，加以審理。審理工作便落到了中書令許敬宗和兼任侍中的辛茂將頭上，許敬宗唱主角，擔任主審。為了獲得口供，許敬宗嚴刑逼供，肆意拷打，然而即使如此，也沒能敲開韋季方的嘴，他居然自殺了！想死？沒那麼容易。許敬宗下令搶救，又生生把韋季方給搶救了過來。折騰了半天，依然一無所獲，許敬宗有些失望。然而就在此時，許敬宗的“靈感“迸發了：誰說一無所獲，眼前這個韋季方不正是最大的收獲嗎？如果把這個人跟長孫無忌扯上關係，那該是多麼驚人的豐收啊。隨即許敬宗給李治上了一道奏疏，這道奏疏的內容把李治驚著了。許敬宗的奏疏大體內容是這樣的：韋季方與長孫無忌相互勾結，圖謀殘害宗室和大臣，將權柄搶回手中，然後伺機發動政變。他們的陰謀被我發現，韋季方畏罪自殺，不過又被我救活了。
長孫無忌與韋季方意圖謀反，事大了！李治驚訝地說道：“怎麼會有這樣的事？舅舅被小人離間，對我小的怨恨可能是有的，但是謀反不至於吧！“這時許敬宗回話：“陛下，長孫無忌意圖謀反的事，臣已經前前後後仔仔細細查過了，證據非常明顯，到現在陛下還不信，恐怕並非社稷之福！“聞聽此言，李治哭了：“我家門不幸，親戚中總有叛逆的。前些年有房遺愛和高陽公主謀反，現在舅舅也要謀反，這讓我有何顏麵見天下人。如果謀反屬實，我該怎麼辦呢？“看著相關的記錄，實在對李治的智商以及人品產生懷疑：他與許敬宗的對話如果是發自肺腑的，那麼他的智商有問題；如果是虛張聲勢的，那麼他的人品有問題。總結陳詞，他的智商和人品都有問題。僅僅憑許敬宗的捏造，他就相信了自己親舅舅的“謀反“，並全然忘記如果沒有長孫舅舅，他何德何能能登上大唐的皇位。現在他將舅舅的擁立之功一下子忘到腦後，一門心思就掉進了“謀反“兩個字眼中了。
其實，他又何嚐不知，“謀反“二字實在太寬泛了，以前舅舅用這張網將吳王李恪等人裝了進去，現在許敬宗又準備將長孫舅舅裝進去，這實在是一張無往不勝的網。此時李治的態度是曖昧的，他其實不相信舅舅謀反，但是他又希望通過這次整肅將舅舅從高位上拉下來。從貞觀二十三年到現在，已經有十個年頭了，他已經不願意再生活在舅舅的陰影之下了。即便從顯慶元年開始，舅舅已經刻意淡出，然而隻要他在朝堂一天，李治就始終感覺有壓力，舅舅的身影似乎在一直在提醒著他：小子，你是我扶上來的！我長大了，舅舅，你該走了！顯慶四年四月二十二日，距離太宗李世民去世已有整整十年。這一天原本高高在上的太尉長孫無忌被剝奪了太尉的頭銜以及封爵采邑，此時他的官職已經變為揚州都督，不過就連這個官職也是虛的，他的真正去處是黔州（重慶市彭水縣），在那裏他將享受與廢太子李承乾一樣的政治待遇：軟禁，不過好一點的是他的物質待遇一切不變，依然保持正一品高官待遇。