神龍元年（705年）正月，張柬之趁武則天病重之時，準備誅殺張易之兄弟。此時，姚崇正好回京，姚崇與張柬之等人經過謀劃，殺死張易之兄弟。隨後，又逼武則天讓位於太子李顯。李顯複位以後，姚崇擔任宰相之職。
武則天遷居上陽宮以後，王公大臣們個個喜形於色，隻有姚崇一個人嗚咽流淚。
張柬之勸道："您不要在今天流淚，會惹禍上身的。"
姚崇哭道："我和你們一起誅殺張易之兄弟，是臣子應該做的，不敢邀功，現在突然要離開侍奉多年的則天皇帝了，心中感到難過而哭泣，如果由此獲罪的話我也心甘情願。"不久，姚崇就被中宗李顯貶為刺史。
姚崇之所以悲傷，主要是因為他見昏庸的中宗繼位後，麵對武氏家族的勢力，一場激烈奪權鬥爭在所難免，他不想成為這場權利之爭的犧牲品，才會"以一涕謝諸武"。
果然不出姚崇所料，張柬之等五人第二年就在流放途中遇害身亡，而姚崇因遠離京城免於一死。
不久，韋後和女兒安樂公主合謀，毒死了中宗。李隆基策動禁軍發動政變，將韋後和安樂公主及其黨羽一網打盡。相王李旦恢複帝位。
睿宗李旦即位以後，姚崇再次當上了宰相。此時，姚崇名為宰相，卻沒有任何實權，真正掌權的是太平公主。
太平公主幹預朝政，一心想效仿其母武則天。為了防患於未然，姚崇建議將太平公主安置在東都洛陽。不想昏庸的睿宗卻將這件事如實地轉告了太平公主。
太平公主大怒，李隆基為了爭取主動，主張嚴懲姚崇等挑撥皇上與太平公主兄妹關係的人。於是，姚崇被貶為申州刺史。