武後對事情總不會忘記，對冊立皇後前後的人事總是耿耿於懷，褚遂良雖然走了，但陰魂不散，朝中居然還有人為他說話。當初阻礙她登上皇後寶座的長孫無忌、韓瑗、來濟的一箭之仇未報。許敬宗、“李貓”等近臣把朝臣的近況都一一稟報給她，她對朝臣的表現了如指掌，誰好誰壞心裏有一本帳。
國舅長孫無忌顯然“學乖”了，他不再硬頂硬抗，對一切都不置可否，采取超然局外的消極抵抗策略。廷議議政，他一言不發，一副不屑涉身政事的冬烘模樣，與史館國子祭酒令狐德棻編撰《武德貞觀二朝史》去了。
還有的置身事外，不肯與她合作共事；還有的做一天和尚撞一天鍾，消極怠工，得過且過。
武後認為現在的朝廷雜亂無章，是一艘骨架鬆散，已經朽敗殆廢的破船。她認為，優柔寡斷的丈夫已無力駕馭，簡直成了她的累贅。她有了三十四歲，正當春秋鼎盛之年，渴求按照她自己的主見和秩序整頓朝綱，進一步鞏固自己的力量，建立一個由她武則天控製的朝廷。
高宗八年，移居武德殿卻仍然被王皇後、肖淑妃陰魂鬧得夜不安寐的武則天，決心離開這個鬼氣森森的老皇宮。她慫恿皇帝駕幸東都洛陽宮，文武大臣隨駕而去。
三月，皇帝敕令潭州都督褚遂良為桂州都督。
夏五月，在洛陽宮一次早朝時，宰相李義府奏，方今天下無虞，請皇帝將登基以來的每日朝會視事，改變為隔日一朝。已達不惑之年的皇帝，竟迷迷惑惑采納了奏請。這等於放棄皇帝應有的權力，讓武後有更多的機會擅專朝政。忠心耿耿的韓瑗，又不識時務地諍諫道：
“臨朝視事，乃先帝遺風，從太宗以來就成了定製，豈可將每日一朝改為隔日一朝，延誤軍國大事。臣承乏侍中，夙夜警懼，尤恐小有不慎，貽大患於來日。今正義不行，賢臣遠謫，臣縱欲默默，豈可得乎？太宗求賢若渴，獎勵諍諫，納諫如流。先帝引遂良為知己，視如兄弟，臨終擇命，以受遺詔，伏願陛下將遂良召回朝廷，以振綱紀。”
韓瑗也許不知道武後正坐在簾後，也許根本並不在乎，他仍一如既往廷爭直諫。他說完之後，皇帝道：
“你的話朕很敬佩，但你把事情想得太嚴重了，也扯得太遠了。隔日一朝怎麼又扯到褚遂良身上去了呢？不視朝不等於不禦覽奏章，不理庶政嘛！”
韓瑗披肝瀝膽地回奏道：
“臣意不以為然！一國之興，在於選用忠良之臣，在於使忠良之臣在其位，謀其政。問題是陛下究竟選用奴才，還是選用人才。所謂一蠅之微可使白布粘汙，一蟻之穴可潰千裏金堤。如今臣深恐小人之勢長，君子之道消矣！”韓瑗一時失口，竟引用不得體的古詩，“《詩》曰：赫赫宗周，褒姒滅之。臣不願見唐室之盛，一旦衰亡也！”
朝堂上“君子”之臣為韓瑗捏了一把汗，“小人”則恨得咬牙切齒。韓瑗引用周亡“褒姒”典故太不妥當了，這等於公開侮辱武後。武後在簾後不聲不響，她的緘默如老虎吃人前的沉穩，比張牙舞爪時更為凶險可怕，韓瑗的厄運算是注定了。
皇帝李治嚼出了話裏的骨頭，終於怒吼說：
“你下去吧！”
就在洛陽宮，武後、許敬宗和“李貓”，把一張羅致莫須有的罪名，欲將敵人一網打盡的天網，悄悄兒鋪開了。這是一個龐大的影響長久的恐怖陰謀之網，凡觸網者，無不身敗名裂，落得死無葬身之所。
由侍中許敬宗、中書令“李貓”兩宰相杜撰的廢太子梁王忠為首的叛逆謀反案，彈劾密奏堂而皇之擺到了皇帝的龍案上。可憐廢太子梁王忠，十三歲時被廢，孤苦伶仃，無人照顧，生身之母出身卑微，養母王皇後死於非命，情形極為悲慘。他現在還不到十五歲，一個自身難保的孩子，怎麼可能圖謀複辟東宮，起來造反呢？
醉翁之意不在酒，真正的目的是要借“梁王謀反”之網，打掉礙手礙腳的朝廷重臣。密奏上羅列了韓瑗、來濟以及一切與武後相左的大臣的黑名單。說他們與梁王忠暗相來往，結為死黨，企圖讓廢太子忠重返京師，複辟東宮。
罪名子虛烏有，就連皇帝也能看出，所以梁王忠並沒因此處死。但這並非空穴來風，李治當然知道始作甬者是他現在無法不全力依靠的則天皇後，他得賣她的帳。於是將韓瑗貶職，流配瓊崖，遠謫到海南島蠻夷之地，瘴雨之鄉。
來濟則流配百越。
罪證確鑿與否無關緊要，隻要後麵有武則天撐腰。
事情並未到此了結。沒過多久，許敬宗、“李貓”之流又煞費苦心，誣構案情，說這個陰謀集團的核心人物，乃是前宰相褚遂良。韓瑗利用居侍中之便，將褚遂良從貴州邊鄙小縣的潭州，遷調廣西桂林都督，其狼子野心就是為了在桂林招兵買馬，呼應梁王忠發動叛逆謀反。
事情編造得有鼻子有眼。皇帝據此下了一紙敕令，將褚遂良貶斥更遠，遠遷異邦它鄉的愛州（今河內），從此遠離了皇漢的文教之邦。此時的褚遂良，已年老體衰，到了風燭殘年，他渴望葉落歸根。褚遂良在愛州向皇帝上了一道表疏，追敘當年太宗駕崩，今聖伏在他肩膀上痛哭失聲的情景，他自恨有忤聖意，請求皇帝赦免他的罪，準他回鄉安度晚年。