原本是避嫌，留待李顯自己處理，沒想到最終卻是養虎遺患。
想到此處，張柬之經常撫摩座位，不停歎息，有時在憤慨之餘居然把自己的手指挖出了血。對於李顯，他們有些失望了，而對於自己的未來，也隻能走一步看一步了。
在這之後，不斷有壞消息傳來，李顯居然多次前往武三思的家中以示恩寵，曾經被視為落水狗的武三思徹底活了過來。
幾個月後，一件令張柬之哭笑不得的事情發生了。
張柬之、敬暉、桓彥範、崔玄、袁恕己等人被認定為複辟功臣，賞賜鐵券，有此鐵券在手，可以免除十次死刑。也就是說，在李顯的手下，張柬之他們每人多了十條命。
令張柬之哭笑不得的是，跟他們一樣多出十條命的還有一些人，其中便有武三思和武攸暨，他們同樣被認定為複辟功臣。
黑白顛倒，是非不分。
如同召開表彰見義勇為大會，見義勇為的人被公開表彰，而與他一起被表彰的居然還有行凶的歹徒。
本來是痛打落水狗，沒想到落水狗已經爬上了岸，於是正麵交鋒隨之展開。
公元705年五月十五日，納言敬暉率先發難，他率領文武百官上疏李顯，要求降低武三思等武氏勢力的官爵，以維護國家利益，這個奏疏再次遭到了李顯的拒絕。
奏疏被拒絕，敬暉並不慌亂，他知道不能把寶都押在李顯身上，關鍵時刻還是需要自救。
想來想去，敬暉想到了培養間諜，他希望有一個經常接近武三思的人能成為自己的間諜，從而及時反饋關於武三思的消息，自己也好提前準備。
把認識的人在腦海中過了一遍，敬暉最後選定了考功員外郎（文官部考核司副司長）崔湜，他決心把崔湜發展為自己的間諜。
崔湜痛快地答應了下來，然後開始比較敬暉和武三思。
經過比較，崔湜發現，敬暉等人已經沒有前幾個月紅了，現在李顯明顯跟武三思更親熱，相比之下，武三思更紅。
崔湜當即下定決心，跟更紅的人走，做一個無間道。
當崔湜將敬暉的用意告知武三思時，武三思吃了一驚，不過他馬上反應過來，對崔湜許下了承諾。
不久，武三思兌現承諾，將崔湜由考功員外郎提升為中書舍人，算是給崔湜的見麵禮，而這一切，敬暉還蒙在鼓裏。
如果僅僅靠一個崔湜，武三思是對付不了張柬之等人的。不久之後，他又意外地迎來了一個怪人，這個怪人先是哭，後是笑，把武三思搞得非常詫異，這是哪來的怪人呢？
怪人的名字叫鄭愔，事實證明，武三思扳倒張柬之等功臣，靠的全是他。
說起來，鄭愔此時的境遇也不好，或者可以說糟透了。
原本他投靠張昌宗和張易之，做到了殿中侍禦史，後來張昌宗兄弟被殺，他作為黨羽就被貶到了宣州做司士參軍（工務官）。在司士參軍任上沒幹多久，他又因為受賄貪汙被審查，為了逃避處罰，他就腳底抹油溜了，一溜就溜回了洛陽，然後藏起來等待機會。
不久，他敏銳發現，張柬之和武三思之間存在著不可調和的矛盾，他們之間的矛盾，正是自己東山再起的機會，於是便以待罪之身來給武三思指點迷津。甫一見麵，鄭愔先是悲切哀哭，後是縱聲大笑，弄得武三思心裏直發毛，哭什麼？又笑什麼？
鄭愔說：“我剛見大王時哭，是哀歎大王將被誅殺並且全族滅族。後又大笑，是為大王慶幸得到我鄭愔的相助。”
鄭愔展開了分析，他的分析讓武三思冷汗直流。
通過鄭愔的分析，武三思發現自己與張柬之等人和平相處已不可能，不是他們死，就是自己死，如果自己不先除去他們，自己就是早上的露珠，隨時有可能消失。由此，武三思將鄭愔視為心腹，並把他擢升為中書舍人，這樣武三思同時擁有了兩個智囊，一個是無間道崔湜，一個是怪人鄭愔。
在鄭愔的指點下，武三思開始出招，而且一出招就很致命。
武三思的招數是隔山打牛、借力打力，隔著韋皇後這座山，打李顯這頭牛，事實證明，非常有效。
在武三思、韋皇後、李顯三人和平相處時，武三思和韋皇後便開始構陷敬暉等人，在他們口中，敬暉等人就成了有恃無恐的權臣，這正好刺中了李顯的軟弱內心。
在中國古代，兵變就是一把雙刃劍，不要以為參與兵變就能得到回報，有時得到的可能是負麵的回報，並因此受到君王的猜忌。
試想，兵變本身就是非法事件，今天你能造前任皇帝的反，或許明天就能造現任皇帝的反。因此當武三思指出敬暉等人恃寵專權時，正觸及李顯的最癢處，這是他一直擔心的，也是最害怕的。
那麼怎樣解決敬暉等人潛在的威脅呢？
武三思給李顯支了一招：明升暗降。
五月十六日，武三思的第一次出招獲得成功。
張柬之等五人一起由郡公升任為王，敬暉為平陽王，桓彥範為扶陽王，張柬之為漢陽王，袁恕己為南陽王，崔玄為博陵王。
封王本是件高興的事，可是張柬之等人高興不起來，因為在封王的同時，他們被剝奪了宰相資格，同時規定隻有每月的一日和十五日才能進宮朝見，這就意味著他們由之前不可或缺的宰相，已經淪為可有可無的閑人。
武三思的刀已經向他們砍下，而此時的他們已經沒有反擊機會，餘下的時間隻能不斷躲閃，然而能否躲得開，還得看各人的悟性和造化。
同樣參與政變的楊元琰無疑是悟性最高的，他從這次封王中已經看出了武三思的殺機，他果斷地選擇了自救——出家為僧。決定出家之前，楊元琰找到了敬暉，讓他跟自己一起出家，沒想到敬暉卻跟楊元琰開起了玩笑。
由於楊元琰的胡子比較密也比較長，看起來像胡人，因此敬暉打趣道：“出家？別逗了。我要早知道，一定請求皇上，直接剃光你這個胡人的腦袋，那將是多有趣的一件事情！”
楊元琰看著敬暉，有些生氣地說：“功成名遂，不退則危，我是真心來做這件事的，不是鬧著玩的。”
楊元琰的這句話敲醒了敬暉，敬暉呆在原地，不知所措。
不久之後，楊元琰毅然決然地走了，從此跳出三界外，不在五行中。
交鋒已經開始，升級隨之而來。
在張柬之等五人封王之後，武三思的殺招繼續進行，他要將五王一個一個剪除。
首先被打壓的是博陵王崔玄，他被武三思調整到梁州（今陝西漢中）出任梁洲刺史；接下來是漢陽王張柬之，他是自己走的，八十歲的他請求退休回襄州（今湖北襄陽），李顯順水推舟將張柬之委任為襄州刺史，隻拿俸祿，不需管事。
時間進入公元706年，武三思的打壓繼續進行，他把敬暉、桓彥範、袁恕己都貶出了洛陽，一一趕到了滑州、洺州、豫州擔任刺史。
值得一提的是，此時的桓彥範已經叫韋彥範了，韋皇後將他列入族譜，以示恩寵。
然而所謂的恩寵都是虛的，注定抵擋不了武三思的殺招。
不久之後，武三思繼續出招，除張柬之之外，四王再次遭到貶黜。
敬暉被貶為郎州（今湖南常德）刺史，崔玄被貶為均州（今湖北丹江口）刺史，韋彥範被貶為亳州（今安徽毫州）刺史，袁恕己被貶為郢州（今湖北京山縣）刺史，四個人去的地方有一個共同特點：都是欠發達地區。
這會是四王的終點嗎？
不，遠遠不夠。
不久，洛陽城發生的一起謀反未遂案又成了武三思打壓五王的理由。
這起謀反未遂案是由曾經參與過兵變的駙馬都尉王同皎而起。王同皎是李顯的女婿，此時正擔任光祿卿（宮廷膳食部長），按說他應該對現狀很滿足，不會與謀反沾邊，可惜他偏偏沾了邊。