公元656年正月初七，李治做出了一個出人意料的舉動：改元。改元就是更改年號，李治下令，正月初七之前為永徽七年，正月初七之後為顯慶元年，從此永徽成為過去，顯慶已經來臨。長孫無忌在聽到改元的詔令之後，心頭一懍，他知道這是皇帝改弦易轍的開始，他的好日子到頭了。長孫無忌為什麼會這麼想呢？這還得從“永徽“這個年號說起。“永徽“這個年號是在貞觀二十三年之後起用的，“永徽“的“永“是永遠的意思，“永徽“的“徽“是標誌、旗幟的意思，“永“、“徽“組合到一起，其實就是繼承、延續、發揚，說白了，就是繼續貞觀年間的事業，堅持貞觀年間的道路。因此，在中國曆史上，永徽年間的統治也被視為“貞觀之治“的延續。現在，年號改了，長孫無忌從中嗅出了不同的味道，看來，自己已經過時了。從李治改元之後，長孫無忌便將自己的精力轉移到監修國史之上，他知道李治與武則天的雙劍合璧已經不可阻擋，他這個舅舅還是知趣點，遠遠地走開吧。在貞觀一朝以及永徽年間紅了三十年的長孫無忌不會想到，他的刻意遠離並沒有幫他躲開禍端，相反，針對他的禍端正在慢慢醞釀。武則天的追討開始了，她要清算那些曾經反對立後的人。
清算從褚遂良開始，然後由褚遂良波及到其他人。其實褚遂良在兩次激烈冒犯李治後就遭到了打擊，從中書令一下子被貶為潭州都督，中書令是正三品的京城高官，而潭州都督則是總部位於今天湖南長沙的地方官而已。對於褚遂良的打擊還遠遠沒有結束，不久他又被從潭州趕到了桂州，桂州即今天的廣西桂林市。貶到桂州還不是結束，而是開始。顯慶二年，褚遂良的桂州都督身份被許敬宗和李義甫解釋為另外一種意思：侍中韓瑗和中書令來濟聯合褚遂良意圖政變，褚遂良所在的桂州是軍事重地，可以用做韓瑗和來濟的外援。欲加之罪，何患無辭。在“意圖謀反“的罪名下，侍中韓瑗被貶為振州州長，中書令來濟被貶為台州州長，終身不準到長安朝見。
振州即今天的海南三亞，但在那個年代卻沒有今天的海景房，有的隻是一地蠻荒；台州即今天的浙江臨海，那時同樣是欠發達地區。不幸的人總是相似的，與韓瑗和來濟一樣，褚遂良和柳奭也被貶了。褚遂良由桂州都督被貶為愛州都督，柳奭由榮州州長被貶為象州州長，兩人的被貶都是折騰死人不償命。褚遂良的愛州在今天越南的清化市，柳奭的象州在廣西象州縣，一個從廣西前往越南，一個從四川前往廣西，在交通基本靠走的年代，可以想象路途上的艱辛。褚遂良輾轉從桂州到了愛州，從此長安已是千裏之外。委屈的褚遂良給皇帝李治寫了一封信，信中追憶了自己對李治的忠心：昔日李泰和李承乾爭儲時，臣不顧危險，歸心陛下。當時岑文本和劉洎向先帝力薦李泰，又是臣挺身而出，竭力爭取，這些都是陛下親眼看到的。最後我和長孫無忌等四人一起擁立，先帝最終同意。
等到先帝駕崩時，臣和長孫無忌一起在病榻之前接受遺詔。陛下您當時突遭巨變，傷心不已，臣以“社稷為重“寬慰陛下，當時陛下手抱著我的脖子，痛哭不已。後來臣與長孫無忌一起處理國家大事，毫無紕漏，數日之內，內外平靜。然而，臣畢竟力量太小，而責任太重，一舉一動，都容易犯錯。臣就像一隻螞蟻，剩下的生命是有限的，懇請陛下可憐！褚遂良這封信寫的嘔心瀝血，既追述了自己的忠心，又向皇帝俯首乞憐，尤其是信的結尾寫的聲淚俱下，我見猶憐。褚遂良寫信的目的很簡單，就是想終老長安，然而就是這個小的不能再小的願望也沒能實現，接到信的李治居然視而不見，不做回應。一年後，褚遂良在愛州病逝，享年六十三歲，那個被李世民稱為“小鳥依人“的托孤重臣就這樣在遠隔長安數千裏的愛州離開了人世。在褚遂良生命的最後時刻，或許他是遺憾的，不過如果他地下有知，他應該感到欣慰，至少他可以帶著自己的腦袋平靜地入土為安。