交鋒已經開始，升級隨之而來。在張柬之等五人封王之後，武三思的殺招繼續進行，他要將五王一個一個剪除。首先被打壓的是博陵王崔玄暐，他被武三思調整到梁州（陝西漢中）出任梁洲刺史；接下來是漢陽王張柬之，他是自己走的，八十歲的他請求退休回襄州（湖北襄樊），李顯便順水推舟將張柬之委任為襄州刺史，隻拿俸祿，不需管事；時間進入公元706年，武三思的打壓繼續進行，他把敬暉、桓彥範、袁恕己都貶出了洛陽，一一趕到了滑州、洺州、豫州擔任刺史。值得一提的是，此時的桓彥範已經叫韋彥範了，韋皇後將他列入族譜，以示恩寵。然而所謂的恩寵都是虛的，注定抵擋不了武三思的殺招。不久之後，武三思繼續出招，除張柬之之外，其餘四王再次遭到貶黜。敬暉被貶為郎州（湖南常德）刺史，崔玄暐被貶為均州（湖北丹江口）刺史，韋彥範被貶為亳州刺史，袁恕己被貶為郢州（湖北京山縣）刺史，四個人去的地方有一個共同特點：都是欠發達地區。這會是四王的終點嗎？不，遠遠不夠。不久，洛陽城發生的一起謀反未遂案又成了武三思打壓五王的理由。
這起謀反未遂案由曾經參與過兵變的駙馬都尉王同皎而起，王同皎是李顯的女婿，此時正擔任光祿卿（宮廷膳食部長），按說王同皎應該對現狀很滿足，不會與謀反沾邊，可惜他偏偏沾了邊。其實，嚴格論起來，王同皎是個忠臣，他策劃的其實不是謀反，而是貨真價實的“清君側“，他想清理的是武三思和為虎作倀的韋皇後。正是因為武三思和韋皇後不斷地有緋聞傳出，王同皎起了“清君側“之心，於是便關起門來策劃清理武三思。本來是神不知鬼不覺的事情，王同皎卻大意了，他忘了約定一起起事的張仲之家裏多了兩條流浪狗，一條叫宋之問，一條叫宋之遜，兩人是親兄弟，剛從嶺南逃回洛陽，被他收留在家中。隨後，宋之問上演了“農夫和蛇“的故事，將王同皎告發，王同皎最終被處死，而宋之問和宋之遜卻由此平步青雲。（最終也不得好死）本來王同皎的“清君側“跟五王沒有任何關係，然而即便這樣，還是被武三思扯上了關係，五王被誣告與王同皎暗中勾結，針對五王的貶黜再次升級。
公元706年六月六日，敬暉被貶為崖州（海南瓊山）司馬，韋彥範被貶為瀧州（廣東羅定）司馬，張柬之被貶為新州（廣東新興）司馬，袁恕己被貶為竇州（廣東信宜）司馬，崔玄暐被貶為白州（廣西博白）司馬，五王的去處全部屬於傳統的嶺南地區，而且同時被剝奪了王爵。在被貶的同時，還有附加條件，五人此時的官職均屬於編製外，永遠不享有調遷的權利，也就意味著，不出意外，他們的人生就將在這五個地方定格。同時韋彥範被剝奪了姓韋的權力，又改回來了，還姓桓！這會是五王的最後結局嗎？還不是。幾個月後，武三思又出招了。
他偷偷地命人將韋皇後的醜聞寫到一張紙上，然後又把這張紙貼到了人流量最大的洛陽城南洛水橋上，在這張紙的最後還寫道，要求將韋皇後廢黜。這一下觸到了李顯的炸點。在被拘禁的歲月裏，正是韋皇後的支持才讓他挺了過來，現在他已經是君臨天下的皇帝，他不能容忍任何人侵犯韋皇後。氣急敗壞的李顯下令追查，不久就得出結論：這是以張柬之為首的五王幹的！真的是張柬之等人幹的？八十一歲的張柬之沒有那麼下三濫，如果張柬之真的能做出那樣的事，武三思的腦袋早就搬了幾回家了。這就是一個社會怪狀，有原則的人往往路越走越窄，而沒有原則、沒有道德底線的人路卻越走越寬，這到底是為什麼呢？