且說秦王李世民命令長孫無忌秘密地將房玄齡等人召回，房玄齡等人不答應回秦王府，說道：“陛下敕書的旨意是不允許我們再事奉大王的。如果我們現在私下去謁見大王，肯定要因此獲罪而死，因此我們不敢接受大王的教令！”李世民發怒，對尉遲恭說：“房玄齡、杜如晦難道要背叛我嗎！”他摘下佩刀交給尉遲恭道：“明公前去察看一下情況，如果他們果真沒有回來的意思，可砍下他們頭回來見我。”尉遲恭前去，與長孫無忌一起明示房玄齡等人說：“大王已經將行動的計劃決定下來了，眾位明公應該速去秦王府中共議大事。我們四個人不能在街道上同行。”於是命令房玄齡和杜如晦穿上道士的服裝，與長孫無忌一同進入秦王府，尉遲恭則經由別的道路也來到了秦王府。
六月初三己未日（公元626年7月1日），太白金星再次在白天出現在天空正南方的午位。傅奕秘密上奏道：“金星出現在秦地的分野上，這是秦王應當擁有天下的征兆。”皇帝李淵將傅奕的密奏給秦王世民看。於是這樣，李世民乘機秘密上奏父皇，告發李建成和李元吉與後宮的嬪妃不清不楚，而且說：“兒臣絲毫沒有對不起皇兄和皇弟，現在他們卻打算殺死兒臣，這簡直就像要替竇建德和王世充報仇。如今我快要含冤而死，永遠地離開父皇，魂魄歸於黃泉，如果見到王世充諸賊，實在感到羞恥！”皇帝李淵看著李世民，驚訝不已，回答道：“明天朕就審問此事，你應該及早前來參見朕。”張婕妤暗中得知了李世民密奏的大意，急忙告訴李建成。李建成將李元吉召來商議此事，李元吉說：“我們應當管好東宮和齊王府中的士兵，托稱有病不去上朝，以便觀察形勢。”李建成道：“宮中的軍隊防備已很嚴密了，我與皇弟應當入朝參見，親自打聽消息。”於是二人決定先入大內皇宮逼高祖表態。不料在宮城北門玄武門執行禁衛總領常何本是太子親信，卻被李世民策反，因此宮中衛隊已經倒向秦王，李建成和李元吉卻不知道，還以為宮中都還是自己人。
六月初四庚申日，也就是公元626年7月2日，李世民率領眾人入朝，並在玄武門埋下伏兵。李建成、李元吉二人不知底細，也一起入朝，騎馬奔向玄武門。此時，皇帝李淵已經將眾人召集前來，準備查驗這件事情了。
清晨，他與早已買通的李建成心腹——玄武門禁軍守將常何內外接應，自己則率領尉遲敬德等人埋伏於玄武門內。這天一早，李建成、李元吉準備好一起去向父親李淵狠告一狀，期望削減李世民的勢力。不過，就在前一晚，李世民已通過安插在太子身旁的耳目，對他們的動向了如指掌。當李建成、李元吉兩人騎馬行至玄武門附近時，隱隱感到氣氛不對，撥馬便回。這時李世民躍馬衝出，一箭射死了李建成。元吉還沒來得及逃走，也被敬德殺死。當東宮的太子黨羽們領兵前來解圍時，一切都太遲了，他們的首領已經暴斃，首級也被砍下。
李建成、李元吉來到臨湖殿，察覺到了變化，立即掉轉馬頭，準備向東返回東宮和齊王府。李世民跟在後麵呼喚他們，李元吉心虛，先張弓搭箭射向李世民，但由於心急，一連兩三次都沒有將弓拉滿，箭沒有射中。李世民卻搭弓射向李建成，將他射死了。尉遲恭帶領騎兵七十人相繼趕到，他身邊的將士用箭射中了李元吉，李元吉跌下馬來。可就在此時，李世民的坐騎受到了驚嚇，帶著李世民奔入玄武門旁邊的樹林，李世民又被林中的樹枝掛住，從馬上摔下，倒在地上，一時爬不起來。李元吉迅速趕到，奪過弓來，準備勒死李世民，就在這時尉遲恭躍馬奔來大聲喝住了他。李元吉知道不是對手，趕緊放開李世民，想快步跑入武德殿尋求父皇庇護，但尉遲恭快馬追上他，放箭將他射死了。
太子李建成的部下、翊衛車騎將軍馮立得知建成身死，歎息道：“難道能夠在太子生前蒙受恩惠而太子一死便逃避禍難嗎！”於是，他與副護軍薛萬徹、屈直府左車騎謝叔方率領東宮和齊王府的精銳兵馬兩千人，急馳趕到玄武門，準備為太子和齊王報仇。張公謹膂力過人，他獨自關閉了大門，擋住馮立等人，馮立等人無法進入。雲麾將軍敬君弘掌管著宿衛軍，駐紮在玄武門。他挺身而起，準備出戰，與他親近的人阻止他說：“事情未見分曉，姑且慢慢觀察事態的發展變化，等到兵力彙集起來，結成陣列再出戰，也為時不晚。”敬君弘不聽從，便與中郎將呂世衡大聲呼喊著向敵陣衝去，結果全部戰死。把守玄武門的士兵與薛萬徹等人奮力交戰，持續了很長時間，薛萬徹擂鼓呐喊，準備進攻秦王府，將士們大為恐懼。此時，尉遲恭提著建成和元吉的首級給薛萬徹等人看，東宮和齊王府的人馬頓失戰心，迅速潰散，薛萬徹與騎兵數十人則逃入終南山中。馮立殺死敬君弘後，對部下說：“這也可以略微報答太子殿下了。”於是，他丟掉兵器，落荒而逃。至此，整件事情以秦王李世民的勝利而告終。