李建成為了鞏固自己的地位，走內宮路線，多方討李淵妃嬪們的歡心。妃嬪們知道他是將來的當然接班人，便與他交好，在李淵的麵前說他的好話。同時，也幫助他時不時地散布一些對李世民的非議之辭。而李世民也利用妻子長孫氏在父皇身邊服侍的機會，加緊收買宮門守將，作先發製人的準備工作。在東宮和齊王府，他也安插了自己的耳目。
事態發展得日益嚴重了。在李建成、李元吉和妃嬪們的勸說下，李淵曾想廢黜李世民，以確保李建成的太子地位。大臣陳叔達諫道：“秦王有大功於天下，不能廢黜。況且他性格剛烈，假若無故加以抑製，恐怕要發生難以預料之事。到那時陛下後悔就來不及了！”
李淵隻得作罷。
李元吉早有奪宗之心。對庸懦的太子李建成，他倒不十分擔心，唯一顧忌的便是秦王李世民。此時，他見有機可乘，便大膽地秘密勸說李淵，請求除掉李世民。李淵回答說：“秦王有平定天下之功，如今罪狀並不顯著，有什麼理由除掉他？”李元吉說：“平定洛陽時，秦王就已萌動奪宗之心。當時他散發錢帛，交結豪傑，私樹己恩，收買人心，又違抗君命，顧望遲留，這不是造反是什麼？怎能說沒有理由殺掉他！秦王為臣不忠，為子不孝，留著他早晚是個禍害。望陛下三思！”一席話說得李淵怦然心動，但他無法輕易勾銷父子之情，仍然不忍下手，不過也沒有責罰李元吉的誅兄之心。
父皇的舉動，李世民知道得一清二楚。當他得知上述情況以後，便決定先下手為強，殺掉李建成，逼父皇退位。
秦王府驍將謀士甚多，李建成、李元吉頗為顧忌。他們曾用重金收買尉遲敬德、段誌玄等人，以便尋找刺殺李世民的機會，但都碰了釘子。尉遲敬德是李世民手下第一員猛將，他們更是放心不下，收買不成，便派刺客前去刺殺，但也沒有得手。李元吉又向李淵進讒言，欲將尉遲敬德下獄治罪，多虧李世民多方相救，尉遲敬德才得以脫險。收買無效後，李建成又鼓動李淵將李世民的心腹謀士房玄鈴、杜如晦逐出秦王府。
李世民深感如此下去秦王府將要被擊垮，再不動手隻能束手就擒。為了試探元勳宿將的態度，他冒著危險問計於靈州大都督李靖和行軍總管徐世勣，二人均不置可否。既然不出主意，也不去告發，李世民心裏便有了底數。於是，他決定搶先動手。
武德九年（626年）六月，一個決鬥的機會終於來了。邊防傳來消息，突厥又向唐朝發動進攻。李建成推薦李元吉為帥，得到李淵同意。李元吉又請求將秦王府的戰將尉遲敬德、程知節、段誌玄和秦叔寶等人歸他指揮，並調李世民部下精銳士兵充實自己的部隊，李淵也都一一同意了。李淵作出這一決策，是為了改變雙方的政治失衡，鞏固李建成的太子地位。而李建成和李元吉卻想借這個機會架空李世民，然後尋機將其除掉。他們並且商量了具體辦法：當李元吉出征時，李建成和李世民同去送行，乘其不備之時，將李世民殺死。
在這千鈞一發之際，李世民安插在東宮的密探、率更丞王眰派人將這一消息告訴了李世民。李世民聞訊大驚，急忙召集心腹們商議。為了探得心腹們的真實態度，以防他們臨陣脫逃或反悔，李世民裝出一副可憐無奈的樣子，故行激將之法。當其妻兄長孫無忌勸他立即動手時，他假惺惺地歎息道：“骨肉相殘，古今大惡。我固然知道禍在旦夕，但還是想等待他們現行發難，然後以正義之師討伐他們，這樣不更好嗎？”
性格爽直的尉遲敬德一聽這話便火了，衝著李世民嚷道：“人情誰不愛惜自己的生命！現在眾人都誓死追隨大王，這真是天授良機。禍患垂發之際，而大王卻仍然晏然處之，不以為憂，實在令人難以理解。您這樣不愛惜生命，甘受屠戮，對宗廟社稷又有什麼益處？大王若不聽我的話，我寧願亡命江湖，也不能這樣坐以待斃！”
長孫無忌也說：“如今不聽敬德之言，大王必敗無疑。到那時不僅敬德不能再侍奉大王，無忌亦當相隨而去，不能跟著大王白白送死！”
李世民見狀，又裝出一副可憐相：“我剛才說的話，也不是全無道理，你們再想想有沒有別的辦法。”
尉遲敬德斥責說：“大王如今處事遲疑，非智；臨難不決，非勇。況且，大王平常所畜養的八百名勇士，在外麵的現在都已經入宮聽命。箭在弦上，不得不發。騎虎之勢已成，怎能安然了結？”
其他人也紛紛表態，一致同意立即起事。但李世民仍然假惺惺地讓人占卜，以測吉凶。這一舉動，激怒了幕僚張公瑾。他氣衝衝地上前一把搶過占卜用的龜甲，扔在地上，大叫道：“占卜是為了決疑，如今事情明明白白，無疑可言，還用占什麼卜？再說，箭已上弦，卜之不吉怎麼辦？難道還能就此罷休嗎？！”
李世民終於明白了秦王府上下全都擁護自己，於是再不遲疑，命令長孫無忌密召房玄鈴、杜如晦入府議定兵變部署。
政治風雲，變化莫測。頭腦機敏、極富政治經驗的房玄鈴，在這生死存亡關頭也施計探究實底。他對奉命前來的長孫無忌說：“皇上已經下令，不讓我再去侍奉秦王。如今倘若我私自進見秦王，必會因此喪命。請閣下轉告秦王，玄鈴不敢奉召。”
李世民聽了長孫無忌的彙報，不禁大怒。他對尉遲敬德說：“房玄鈴和杜如晦難道要背叛我嗎？你趕快去一趟，把咱們的打算和他們講清楚，如果他們仍無來意，就提著他們的首級來見我！”
又等了好一會兒，既不見房杜二人，又不見尉遲敬德，眾人正在焦慮不安之時，忽見長孫無忌和兩位頭戴平頂冠、身穿青布袍的道士聯翩而至。李世民定睛一看，正是房玄鈴和杜如晦。原來，二人見到尉遲敬德後，知道李世民大計已定，於是便不再猶豫。為防止暴露目標，二人喬裝成道士，和長孫無忌先行入府，尉遲敬德則從別道自行入府。
經過一番精心謀劃，殺兄奪位的陰謀終於決定下來了，諸人分頭準備不提。
為了能把李建成和李元吉按計劃引入自己的陰謀圈內，李世民惡人先告狀，以難以一時說清的罪過告發李建成、李元吉淫亂後宮，以激化父皇與二人的矛盾。
李淵果然中計，大驚道：“竟然有這樣的事？”
李世民又道：“兒臣於兄弟毫無虧負，但自從平定王世充、竇建德以來，太子多次加害於臣，此皆父皇所親見。兒臣實在不解，太子對臣為何如此深仇大恨，莫非要為王、竇二賊報仇不成？二人若死而有知，一定會稱心快意於地下！如果太子陰謀得逞，兒臣枉死以後，實在無顏麵對王、竇二賊。”
說罷，伏地痛哭不已。
李淵道：“你所奏之事，關係重大，明日我要親自審問！”
當天夜裏，李世民調兵遣將，準備妥當。第二天一早，便親自率領長孫無忌等人，埋伏在玄武門附近。
與李建成有勾結的張婕妤聽到了風聲，馬上派人報告李建成。李建成急忙找李元吉商量對策。
李元吉道：“今日之事，來勢不善。你我且稱病不朝，將兩府兵眾集聚一起，靜觀事變。”
李建成想了想道：“不好，你我不去，父皇必然以為我等畏罪躲避，倒讓老二得逞了。此時你我一定得在父皇身邊，可以察看動靜，相機行事。況且，內有張、尹二妃照應，外有自家軍隊守衛玄武門，能把我們怎麼樣？”