神龍元年（705）正月二十二日，張柬之等人啟動了政變。一聲令下，大家兵分四路，第一路由張柬之和崔玄曄率領部分禁軍將士占領玄武門，控製人宮通道；第二路由李多柞率領部分禁軍將士去東宮迎接太子，把太子接到玄武門來號令天下，然後兩路兵馬彙合，直逼皇宮，誅殺二張，逼武則天退位；第三路由太平公主策反好的那些宮女在宮裏做內應，隨時通報宮中的情況；第四路由相王李旦和他的司馬袁恕己率領南衙衛兵控製朝廷，穩定京師秩序。整個計劃是周全的，但事到臨頭還是出了兩個岔子，差點讓政變毀於一旦。
第一個岔子出現在太子李顯身上。李多祚帶領禁軍將士來到東宮門前迎接太子前往玄武門，但此時太子李顯忽然害怕了，不出來。太子不出來，此次行動不就成了謀反了嗎？那怎麼行！於是，太子的女婿、一個叫王同皎的禁軍將領就進去勸說太子，大道理講了，小道理也說了，但太子就是不動。其實，大小道理他都懂，之所以不出來，就是因為害怕，他母親的手段他是領教過的，一旦失敗，將死無葬身之地。他還搬出一套理由：做人要有孝心，誅殺二張沒有錯，可是，現在母親臥病在床，把她老人家嚇著了怎麼辦？還是從長計議為是。事情都到了這個份兒上，還要從長計議，您再計議，大家都得完蛋。這時，一個叫李湛的將領急了，他在外麵嚷道：“太子殿下，我等不顧身家性命來保衛您，您非要把我等置於死地嗎？您不去也行，請您自己跟手下的弟兄們解釋吧，我是沒有辦法跟他們解釋了。”李湛這話明顯是在威脅，這麼多人的性命都跟你綁在一條船上，你不去，讓大家都等死呀！反正是死，你要是不去，那弟兄們隻好把氣撒在你身上了。李顯不是傻子，如此充滿火藥味的話意味著什麼，他比誰都清楚。沒有辦法，一聲長歎之後，他終於鼓起勇氣走出來，騎上了那匹早已為他準備好的高頭大馬，在眾將士的簇擁下前往玄武門。
在太子出岔子的同時，玄武門這兒也遇到了麻煩。張柬之和崔玄曄帶著部分禦林士兵來到玄武門，被殿中監田歸道擋住了去路，他帶領著千騎士兵攔在那兒，不讓過去。原來，足智多謀的張柬之還是忽略了一個問題：駐守玄武門的確實是左右禦林軍，但是在此之外還有一支人馬，那就是千騎。千騎雖然也屬於左右禦林軍的編製，但它的將領是由皇帝親自任命，實際上，它隻是掛靠左右禦林軍，兩者沒有從屬關係，這樣一來，左右禦林軍將軍就管不著它。皇帝的意思很明顯，就是讓禁軍內部互相牽製。張柬之天真地認為千騎掛靠禦林軍，就應該聽禦林軍將軍的話。但田歸道不吃這一套，張柬之趕緊做工作，說他們是奉太子之命進宮清除小人，希望田歸道率領千騎一起參加行動，但田歸道堅決不幹，雙方僵持不下。正在這時，太子趕到，田歸道見了太子，頓時沒了底氣，太子是儲君，是未來的皇上，他得罪不起。於是，田歸道讓步了，他說：“我可以讓你們進去，但我的兵不能跟著你們走。”雙方就此達成妥協。
太子和張柬之等人率眾從玄武門迅速奔向武則天的寢宮——迎仙宮。武則天散布在外的一些眼線看到這副情形，心知情勢不妙，趕緊往裏跑，想去給武則天報信，但寢宮裏那些被太平公主策反了的宮女早已守候在門口，報信的人還沒有進入宮門，就被一刀捅死，宮裏沒有人知道外麵發生了什麼。太子和張柬之等人到了迎仙宮，直奔宮裏，此時張昌宗、張易之兄弟正在睡覺，忽然聽到外麵有動靜，知道不妙，趕緊披衣起床逃跑，剛出門就被士兵殺死在外廊下。
誅殺二張兄弟後，張柬之等人帶兵進人武則天的寢殿——長生殿。
武則天被驚醒了，她抬起頭來一看，眼前一片刀光劍影，當即問道：“誰在興兵作亂？”她的語氣很鎮定，沒有一絲驚慌。張柬之躬身施禮：“啟奏陛下，張易之、張昌宗兄弟謀反，臣等奉太子之令誅之，恐不慎走漏風聲，故事先沒有通報陛下，臣等擅闖宮禁，罪該萬死！”武則天心裏全明白了，這個老頭子雖然口稱罪該萬死，口氣卻很強硬，沒有一點兒領死的意思。她沒有理睞他，轉過臉對太子李顯說：“原來是你派兵殺人呀，好啦，現在二張已經伏誅，你回東宮去吧！”武則天的口氣依然鎮定，語氣毋庸置疑，太子李顯聽後，嚇得兩腿發軟，轉身真要往回走。