武德九年（公元626年），突厥大兵開始騷擾河套地區，李建成覺得行動的時機已經到來，決定對李世民下手了，李世民被逼無奈隻好采取行動先發製人，發動了玄武門兵變，一舉滅掉處於優勢地位的太子建成。
武德九年夏天，突厥數萬軍隊進入黃河南岸。按過去的慣例，李淵會派秦王李世民率軍抵禦。但是太子建成為了抑製秦王世民的勢力，所以向高祖建議由齊王元吉統率各軍北上，讓齊王也曆練一下，高祖覺得這的確是鍛煉李元吉的一個好機會，就答應了。
李元吉出發之前，與太子李建成秘密商議，他們對高祖說秦王府中的尉遲敬德、程知節、段誌玄和秦叔寶都是有名的大將，有他們同去征討突厥，一定能凱旋而歸，秦王府中能征慣戰的精銳士卒很多，希望能補充到軍隊中。李淵覺得這次元吉出征的確是勢孤力單，有幾個久經沙場的名將保護，能比較安心。可是李建成和李元吉卻不這樣想，他們計劃把秦王府的精兵良將控製在自己手中，好為下一步謀殺秦王做準備。
太子李建成與齊王李元吉密謀此事時說：“既得秦王精兵，統率數萬之眾，吾與秦王至昆明池，於彼宴別，令壯士拉之幕下，因雲暴卒，主上諒無不信。吾當使人進說，令付吾國務。正位之後，以汝為太弟。敬德等既入汝手，宜悉坑之，孰敢不服？”
可是他們的這一計劃還未實行，就被太子率更丞王晊得知，王晊是李世民在東宮收買的密探，他立即向李世民告密。他不但收買了王晊，還收買了東宮另一臣屬常何（掌東宮宿衛）。他們雖然地位低下，但知道很多秘密，這使李世民得到了兩次關鍵性的支持。
李世民得到王晊密報後，立即找長孫無忌、高士廉、尉遲敬德、侯君集等商議對策。長孫無忌等人竭力主張搶先動手，李世民大發感歎說：“骨肉相殘，古今大惡。吾誠知禍在朝夕，欲俟其發，然後以義討之，不亦可乎？”
兄弟相殘，對於誰來說，都不是一件好事，更何況在天下人矚目的皇宮內。但是尉遲敬德對李世民這種被動應付的主張並不讚同。他站起身疾聲說：“人情誰不愛其死！今眾人以死奉王，乃天授也。禍機垂發，而王猶晏然不以為憂，大王縱自輕，如宗廟社稷何？大王不用敬德之言，敬德將竄身草澤，不能留居大王左右，交手受戮也！”
長孫無忌也說道：“不從敬德之言，事今敗矣。敬德等必不為王有，無忌亦當相隨而去，不能複事大王矣！”
尉遲敬德接著說：“王今處事有疑，非智也；臨難不決，非勇也。且大王素所蓄養勇士八百餘人，在外者今已入宮，擐甲執兵，事勢已成，大王安得已乎？”
聽了眾人的言語，李世民終於下定決心，不再猶豫，準備先發製人，搶占有利時機。於是他下令召回被調離秦王府的兩位心腹謀士房玄齡、杜如晦進府共同商議大事。房玄齡為了堅定李世民的決心，故意激怒地說：“皇上已經敕令微臣不得再服侍秦王，今日如果私下進見，必受誅戮，實在是不敢從命。”
李世民聽了房玄齡這番話後，果然大怒，解下腰間佩刀，交給尉遲敬德說：“玄齡、如晦豈叛我耶？公往觀之，若無來心，可斷其首以來！”
尉遲敬德知道房、杜隻不過是用話激秦王，看他的決心的。所以他立即去見二人說：“大王已經下定了決心，你們應該立即進秦王府，共謀大事。”經過一番討論，大家認為玄武門是最理想的地方，最後決定在玄武門伏殺李建成和李元吉。
玄武門是長安宮城的北門，是宮廷衛軍司令部的所在地，有堅強的工事和雄厚的兵力，誰控製了玄武門便可以控製整個皇宮，甚至控製京師，所以玄武門的地位十分重要。當時負責門衛的將領是常何。據常何墓誌銘記載，常何在武德五年底跟隨李建成討平河北，也就是平定劉黑闥第二次起兵。武德七年（公元624年），常何擔負玄武門的守衛之事。因為內宮中人多數已被李建成收買，在京師處於劣勢的李世民，不得不在玄武門將領身上打主意。為了方便行事，秦王李世民收買了常何，還收買了玄武門的其他一些將領，如敬君弘、呂世衡等。李世民確實是老謀深算，這一顆棋子使他贏得了決定性勝利。