十月，單於大都護府的突厥阿史德溫傅、奉職兩部落共同造反，擁立阿史那泥熟匐為可汗。二十四州酋長相繼反叛以為響應，人數達到了數十萬。
十一月初六，唐高宗宴請裴行儉，對他說：“愛卿文武全才，當授予兩個職位。”於是他被任命為禮部尚書兼檢校右衛大將軍。
二十七日，又任命裴行儉為定襄道行軍大總管，領軍18萬，會同西軍檢校豐州都督程務挺、東軍幽州都督李文暕的軍隊，共計30多萬，討伐突厥；由裴行儉統一調度。
裴行儉軍抵朔川，對他的屬下說：“用兵之道，安撫士兵要真誠，製服敵人要使詐。前一段時間，突厥人搶奪了蕭嗣業運送的軍糧，士兵因為受凍挨餓所以失敗。現在突厥人一定會故技重施，我們應當用計欺騙他們。”
於是偽裝運送糧草的車子300輛，每輛車裏藏著5名壯士，都拿著大刀弓弩，僅派幾百老弱士兵押送，又埋伏精兵在險要的地方等待突厥人。
突厥人果然前來劫糧，押車的老弱士兵扔下糧車逃跑。突厥人把糧車趕到有水草的地方，解鞍放馬，準備搬糧食。車中壯士一躍而出，襲擊他們。他們受驚逃走，又遭埋伏的士兵攔截，幾乎全被俘虜或者殺死。從此再也不敢前來搶奪糧草。
裴行儉行軍到單於府北麵，已經接近黃昏，於是安營紮寨。四周的壕溝已經挖好了，裴行儉突然命令轉移到高岡上。眾將領都不解其中緣由，不願移營，裴行儉不答應，催促他們趕快轉移。
當天夜裏，狂風大作，暴雨來臨，原來的營地積水有一丈多深。眾將領又是驚訝又是佩服，問他原因，裴行儉笑著說：“今後隻管服從我的命令，不必多問緣由。”
永隆元年（公元680年）三月，裴行儉在黑山大敗突厥兵，活捉突厥酋長奉職。突厥可汗泥熟匐被部下殺死，他們拿著可汗的首級向唐軍投降。
奉職被擒後，其餘叛軍退守狼山。唐高宗讓戶部尚書崔知悌乘驛馬趕赴定襄前線，傳達皇帝對將士們的慰問，並且負責討伐殘餘敵人，讓裴行儉率軍返回。
開耀元年（公元681年）正月，裴行儉率軍返回後，突厥阿史那伏念又自立為可汗，與阿史德溫傅聯合作亂。高宗又任命裴行儉為定襄道大總管，以右武衛將軍曹懷舜和李文暕作為副將，率軍討伐突厥。
裴行儉駐紮在代州的陘口，通過反間計使阿史那伏念與阿史德溫傅逐漸互相猜疑。阿史那伏念把妻子兒女、輜重都留在金牙山，率領騎兵準備偷襲曹懷舜。裴行儉則遣副將何迦密從通漠道、程務挺從石地道突襲金牙山。
阿史那伏念與曹懷舜訂下和約後率兵返回。等回到金牙山，已經失去了妻子兒女和輜重，士兵中又有很多人患病，於是率領軍隊向北逃竄。裴行儉派副總管劉敬同、程務挺等人率領單於府兵追擊他。
阿史那伏念請求捉拿阿史德溫傅以報效朝廷，然而還有些猶豫，又認為道路遙遠，唐兵一定追不上，於是疏於防範。劉敬同等人率領軍隊抵達，阿史那伏念狼狽不堪，隊伍根本無法作戰，隻好抓住阿史德溫傅，從小路投降裴行儉去了。
偵察騎兵報告說塵埃彌漫而來，將士們有些擔心是敵騎兵來襲，裴行儉說：“這是阿史那伏念捉了阿史德溫傅前來投降，不是來進擊的敵兵。然而接受投降如同對付敵人一樣，也不能沒有防備。”於是命令嚴加防範，僅派一名使者前去迎接慰勞他們。
不久，阿史那伏念果然率領酋長綁著阿史德溫傅前來請罪。於是裴行儉平定了剩餘的突厥餘黨，把阿史那伏念、阿史德溫傅押回長安。朝廷把阿史那伏念、阿史德溫傅等54人斬首示眾。
當初，裴行儉曾經許諾不殺阿史那伏念，因此他才甘願投降。後來裴炎妒忌裴行儉的功勞，就上奏說：“阿史那伏念被副將張虔勖、程務挺逼迫，又遇回紇等從漠北向南進逼，走投無路才投降的。”於是誅殺了他。
裴行儉感歎地說：“王渾、王浚爭奪功勞，古今都認為是恥辱。隻怕殺了降服者以後，就沒人敢再降了。”從此借口患病，不出家門。
武則天稱帝
弘道元年（公元683年）十二月，唐高宗李治駕崩，遺詔中讓太子在靈柩前即位，軍國大事有難以決斷的，征詢天後武則天的意見。
太子李顯即位，是為唐中宗。尊武則天為皇太後，一切政事由她定奪。
次年正月，中宗想任命皇後韋氏的父親韋玄貞為侍中，又想授給乳母的兒子五品官，中書令裴炎堅持勸諫。中宗大怒，說：“我就是把天下送給韋玄貞，也是可以的，竟然還要吝惜侍中這個小小職位！”裴炎害怕，報告武則天，秘密計劃廢黜皇帝。
二月初六，武則天在乾元殿召集群臣，裴炎與中書侍郎劉禕之、羽林將軍程務挺、張虔勖率領衛兵入宮，宣布武則天的詔令，廢黜中宗為廬陵王，並讓他退位下殿。
中宗說：“我犯了什麼罪？”
武則天說：“你想把天下送給韋玄貞，這是大罪！”
初七，武則天立豫王李旦為皇帝，是為睿宗。朝政大事仍由武則天決定；讓皇帝居住在另外的殿宇，對政事不準過問。
初九，武則天命令左金吾將軍丘神前往巴州，檢查原太子李賢的府第，以防意外發生，實際上是暗示丘神殺了李賢。丘神到達巴州以後，把李賢幽禁在別的房間，讓他自殺。