李多祚是靺鞨族人，在禁衛軍已有二十多年曆史，是禁衛軍中老資格的成員。張柬之和他密談，首先挑動起他對先帝的哀思。
“將軍今日之富貴，是誰賜予的？”
“是大帝。”他所說的大帝，指高宗李治。
張柬之趁機說：“大帝的兒子已處於張易之兄弟的威脅之下，將軍難道能袖手旁觀，不起來報大帝的恩德嗎？”
“我要報德！”被感動的李多祚，對天發誓，“我一切聽你吩咐！”
然而，若要使政變取得成功，還必須取得太子李顯、相王李旦的支持。李顯是政變集團擁戴的人物，政變的目的，就是要將他推上皇帝寶座，使李唐皇室複辟。李顯具有號召全局的政治地位，政變若想成功，就必須以李顯的名義。敬暉承擔了動員李顯的任務，他尋找與太子接近的機會。當時李顯在宮城的北門起居，桓彥範和敬暉謁見李顯，密陳政變之計，李顯答應了。負責疏通與李旦關係的是袁恕己，袁恕己也完成了使命。
一切準備妥當後，張柬之派人去請為官在外、任靈武道大總管的姚崇，姚崇自百裏之外趕來京師。張柬之聽說了姚崇的到來，喜道：“一切完備了。”
在李派忙於準備之時，武則天的勢力日漸衰弱。長安四年底，武則天的身體狀況嚴重惡化，長期深居洛陽宮的寢殿長生院裏。從這年的最後幾個月起，女皇臥病不起，有二張侍在寢側。長久臥床，武則天信息渠道不暢通了，如同一隻年老的老虎失去了嗅覺和視力，她已經不能有效掌握外朝的動靜了，這給她的決策帶來巨大的不便。
長安四年十二月，洛陽街頭出現了許多榜文，沒有署名，但內容都是相同的：說二張要謀反。謀反要有兵權，而張氏兄弟沒有一個是掌兵權的。與二張接近的人，大都是些文士，也沒有一個是掌兵權的。隻是在張柬之大範圍的人事調動之後，張易之等人產生了疑懼，才推薦武攸宜出任右羽林大將軍。實際上，委任武攸宜以軍職，也是由張柬之安排的，是穩住二張的一種策略。然而，從另一方麵看，張氏兄弟的能量也不可低估。沒有掌握兵權的二張，卻掌握著一種特殊權力，那就是武皇的寵信。二張可以被稱為天子的近臣，是接近權力頂峰的人物。如果二張兄弟利用這種權力，為己圖謀或打擊政敵，那是很可怕的。比如，他們突然假傳聖旨，罷免張柬之等人的職務，乃至廢黜李顯的儲位，會令李唐派措手不及。所以，李唐派不能容忍這種情況延續下去。宰相崔玄（日韋）試圖將張易之兄弟從武則天身邊驅走。武則天病稍愈，宰相崔玄（日韋）對女皇說：“皇太子、相王，都是有孝心的，都可以服侍陛下湯藥。宮禁重地，請陛下千萬不要讓異姓的人出入。”武則天沒有理睬。看來，說二張要謀反是張柬之他們放出來的煙霧，為製造政變尋找借口；而頻繁調動禁軍首領則更是政變的前兆，如果武則天敏銳的話，這種信號她是不會無所察覺的。這也許就是老年政治的悲哀吧。
看看張易之兄弟當時的精神狀態，他們對末日的來臨似乎是有預感的。雜史記載了這樣一個故事：
張易之當初建了一所富麗堂皇的府第，晚上有鬼在牆上寫：“能得幾時？”張易之令人把字跡削去。第二天字跡又出現了。就這樣寫了削，削了寫，前後六七天。最後張易之在“鬼書”下也題字：“一日即足。”從此再也沒有“鬼書”了。
張易之的兄弟張昌儀曾對人說：“丈夫當如此：今時千人推我不能倒，及其敗也，萬人擎我不能起！”這是一種什麼樣的心理狀態！？真是途窮末路，倒行逆施啊。這也反映了為什麼二張得到武則天的真正信任，現在，他們看到了武則天的末路，也就是看到了自己的末路，但無力扭轉。因為他們才真正做到了與武則天“君臣同體”，一榮俱榮，一損俱損。他們隻能任車子向深淵滑落，能做的就是最後的瘋狂。
神龍元年（公元705年）正月，武則天的病加重了。她的寢宮裏不斷傳出令人憂心的消息。她的身邊依然隻有二張兄弟陪伴著。一場政變就在眼前了。
經過周密準備，張柬之等人在正月二十二日發動了政變。政變部隊分作兩支：一支是“北軍”，即守衛皇宮的部隊，有一千騎兵，五百步兵。他們的任務是要包圍皇宮，進攻長生殿，迫使武則天讓位。這支隊伍由張柬之、桓彥範、敬暉、崔玄（日韋）、楊元琰等率領。另一支是“南牙兵”，他們的任務，是當北軍進攻宮廷之際，嚴密守衛首都各要害地點，包圍張昌宗的家丁，控製其府第。名義上由相王李旦率領，實際上則是由袁恕己負責指揮。李多祚等人另有任務，被派去迎接李顯，請他出麵主持政變。
計劃是周密的，各方麵的人事關係都已疏通好了。但還有一個問題，就是如何才能通過玄武門這一關。由於玄武門是通往宮禁的主要門戶，統治者常以精兵守之。不掌握玄武門，政變就將失敗。
現在，守衛玄武門的，是一支名喚“千騎”的精銳部隊。千騎的前身是“百騎”，由唐太宗建立，他挑選了一批孔武有力，特別是箭法高強的人組成“百騎”，太宗出獵的時候，百騎就簇擁在他的鞍前馬後。後來，武則天又將它擴展成為“千騎”。千騎的指揮官是殿中監田歸道。田歸道與武三思、二張的關係不錯。但在政變這個重大問題上，他支持李派。