隨著國內戰爭結束，世民與建成的鬥爭趨於白熱化。如果說先前主要在後宮，現在則發展到後宮、外廷和地方並舉；如果說先前主要是互相揭短、自樹黨羽，現在在揭短、樹黨的同時，互挖牆腳，收買對方心腹，並著手動用武力。
高祖李淵在當唐公之前，就已妻妾成群，後來當上唐王，進而又建大唐，當天子，自然更是三宮六院七十二妃，整日沉湎於女色之間。所以除了皇後嫡生的四個兒子夭折一個剩三個之外，庶出的兒子有萬貴妃生的楚王李智雲，尹德妃生的酆王李元亨，莫嬪生的荊王李元景，孫嬪生的漢王李元昌，宇文昭儀生的韓王李元嘉、魯王李靈夔，崔嬪生的鄧王李元裕，楊嬪生的江王李元祥，小楊嬪生的舒王李元名，郭婕妤生的徐王李元禮，劉婕妤生的道王李元慶，楊美人生的虢王李風，張美人生的霍王李元軌，張寶林生的鄭王李元懿，柳寶林生的滕王李元嬰，王才人生的彭王李元則，魯才人生的密王李元曉，張氏生的周王李元方等，加上公主，則更是不計其數。
高祖皇帝如此好色，寵幸繁多，就必然耳朵根子軟。這些晚生王子的母親們，在爭得老皇帝的寵幸方麵，自然都各有一套，要不怎麼能博得皇上的歡悅呢？
現在她們又都為皇上生了子嗣，自然更名正言順，要去為她們所生的王子爭地位，爭榮譽，爭享樂。
秦王李世民總是愛從大處著想，隻想著外務、軍事、招賢、聘才等，至於嬪妃、婕妤們向他有所參請時，他總不好管這些椒房女流們的閑事。而她們本來是看在秦王有名聲和實力的分上，想通過他能鞏固地位，得到保護，多占財物等，不料秦王鐵麵無私，從不滿足她們的什麼欲望。於是她們都去走皇太子的門路，還都在陛下麵前說李世民的壞話，告李世民的惡狀。
當東都洛陽初平之際，高祖皇帝親派貴妃昭儀、婕妤們，去東都選看宮人與府庫的珍寶財物等，讓她們替皇上選美女之餘，也可為自己挑些宮女、才人以及珍奇玩物等。不料她們來到東都之前，秦王李世民公事公辦，已將所有財物造冊封存了大庫，隻是對有功之將帥、士卒有所封賞，而對她們則一應全無。她們本來還想趁機向得勝的秦王為她們親戚朋友去討個一官半職呢，哪知竟然連皇上命令她們幹的名正言順的事，也一件沒辦成，甭說什麼金銀財寶了，連普普通通的東西也沒得到一件。於是個個都憋了一肚子怨氣，空著手鬱鬱地返回了京師。所以當她們有機會在皇上麵前說悄悄話的時候，能為李世民說好話嗎？
當秦王李世民任陝東道行台之時，高祖李淵為他下過一道詔書，內容是：在他管轄的範圍之內，他可以專權處分一切事務。淮安王李神通因為有功勞，李世民便撥了一塊數十頃的田地歸他所有。誰知後來張婕妤在高祖枕邊博得了歡心，開口為她父親討一塊封地，高祖一高興，寫下道手詔，把已歸李神通的這塊地又賜給了張婕妤之父。那時皇帝下的書叫“詔”、叫“諭”，王一級下的書則叫“教”、叫“命”。李神通已在這塊田地上經營了很久，莊稼也種了，屋宇也蓋了，卻必須奉詔退還，當然他不答應，認為“教”在前“詔”在後，自然前令已行，不可更改，再說淮安王雖不是皇帝嫡係，好歹也是皇帝的堂兄弟，所以就是不肯讓出來。
這位張婕妤當然也不肯讓步，並且在陛下麵前強詞奪理地說：
“這是敕令賜給臣妾家父之封地，卻叫秦王奪了去賜給淮安王，這樣下去，天下還有沒有王法可言。”
高祖被張婕妤這麼一激，頓時大怒起來，當即派人去把秦王召了來，揪著秦王的衣袂斥責道：
“我下的詔書、敕令倒不予實行，你下的教令州縣倒都接受了，難道我的詔敕還不如你的教命嗎？”
秦王為了顧全大局，隻得作了讓步，又去勸慰李神通，再另行劃撥封地。
事後高祖皇帝還呼著秦王的小名對裴寂等人說：
“此小兒久典兵事，在外專權慣了，所以往往被書生輩所左右，他已不是昔日我的好兒子了！”
裴寂等輩聽了，回答是也不好，回答不對又不敢，隻好似點頭非點頭地聽著，默不作答。
杜如晦當年還隻是秦王府的屬員，一次他騎馬過尹德妃之父尹阿鼠的宅第門首，卻被尹阿鼠的好幾個家丁上前拉下馬，還打了一頓，並罵罵咧咧地斥責他說：
“你算是老幾，膽敢過我們家門而不下馬？真是狗膽包天啊！”
尹阿鼠既縱容家丁們到處胡作非為，又怕皇上知道了會怪罪他，於是來一個賊喊捉賊，叫她女兒尹德妃去啟奏皇上，說是秦王的左右盡是些凶暴之輩，竟敢淩辱臣妾之家父。
高祖已被嬪妃們耳鬢廝磨得黑白不分了，聽了這話也不予調查，當即又把秦王叫了來，怒不可遏地連諷刺帶挖苦地對秦王說：
“你倒是真的越來越好了，你的左右竟敢欺侮到我妃嬪之家的頭上來了！這樣的事都做得出來，我真不知你對普通的老百姓又該會是個什麼樣子！”
這回秦王李世民在摸清情況之後，又去向父皇擺事實，講道理，但父皇又怎麼聽得進去呢？而是一味地擺出君子一言，駟馬難追的架勢，就是不聽秦王的申辯，更甭提采納他的正確意見了。
於是這幫嬪妃們越發地趁火打劫起來，都在皇上耳邊煽風道：
“陛下，等至尊萬歲之後，要是秦王得了誌，我們母子可就孑遺無存了呀！”
有的嬪妃說著說著，竟還泣不成聲了，而高祖對嬪妃一向最慈祥，就聽不得她們的哭聲，見不得她們的熱淚，往往惻隱之心頓生，為之感歎良久，要鬱悶上大半天。
有的又從另一麵來反襯說：
“東宮太子可真仁慈寬厚，將來太子必定能養育好臣妾母子的。”
於是高祖對秦王的禮遇恩典日見其薄，而對太子建成與齊王元吉倒是越發恩寵有加，對他倆的管教就更是置之腦後了。
自高祖武德初年起，皇上就命秦王李世民住在西宮的承乾殿，而讓齊王李元吉住在皇上起居的武德殿之後院。這武德殿之前後院與東宮、西宮和上台之間是晝夜都相通，彼此間往來，了無限隔，所以皇太子與秦王、齊王想要出入上台十分隨便，往往都佩帶著弓箭刀劍，以及一應雜用之品，彼此間不管在院內、在殿上，還是在門口、台階，相遇時都隻是隨便打打家人間的招呼，並不拘泥於什麼重大禮節。
這樣做對李氏父子來說倒是無所謂，但他們畢竟已不是普通的家人父子，而是統一了華夏中國的皇帝、太子、王爺，這一隨便不要緊，下屬百官乃至全國百姓，可就不好辦了。他們都可往下發號施令，但誰也分不清哪些是敕、是詔，而哪些又是教、是令，到底該聽誰的而不聽誰的，這叫底下怎麼去辦事呢？
太子建成和齊王元吉兄弟與諸多公主乃至六宮的親戚們，在內在外都有千絲萬縷的聯係。在內互相勾結，狼狽為奸；在外則驕橫恣肆，兼並田宅，侵奪犬馬，無惡不作。彼此間又往往同惡相濟，互相包庇，掩人耳目，隻為達到他們的目的，可以想出一切方法，串通著去討好皇上，阿諛逢迎，一味讓皇上高興，而不去過問他們的不可告人的勾當。
太子建成私自招募四方的驍勇與無賴，又在京城裏募集了2000多名惡少衙門等，收養在宮中，配備有甲胄器械，分屯於左、右長林門，即號之為長林兵。
一次高祖皇帝行幸仁智宮，讓太子建成留守宮中，這下可給了他可乘之機。
李建成先下令讓慶州總管楊文斡去招募一幫健兒送到京師來，作為除滅秦王，甚至弑殺父皇的兵力準備，又派遣郎將爾朱煥、校尉橋公山等人拿甲胄去賜給楊文斡，令他在起兵時相接應。當橋公山、爾朱煥等人走到豳鄉的時候，心裏越想越害怕，要是敗露了，可是要殺頭的啊！於是星夜兼程趕到仁智宮去，把太子的所作所為告訴了高祖皇帝。
高祖李淵這才對皇太子有所“醒悟”，並略施計謀，並不怒形於色，表麵上裝得若無其事，隻是找了個理由，派人送道詔書，要皇太子也馬上到仁智宮來。
太子建成還不知事已敗露，得詔，便隨送詔使臣趕來見父皇，還以為父皇在仁智宮有什麼“樂事”，非與太子同享才痛快呢。
建成一到，隻見父皇怒容滿麵，才覺有所不妙，還隻是問：
“父皇命子臣來此不知所為何事？”
“你還來問朕，怎麼不問問自己呢？”
說著說著，怒火更加燒得旺盛起來，霍然站起，即把爾朱煥、橋公山等也叫上殿來。太子與他們一照麵，這才徹底明白，原來他們沒有去進甲胄給楊文斡，而是向皇上告了密，於是也不用再辯解什麼，立即跪倒在父皇腳下，叩頭如搗蒜，他一個勁地認錯，請求寬恕，見父皇怒火似乎還未平息，便站起來，一頭往地上撞去，好像滿有幡然悔悟，罪不自容，真要自殺似的。
皇上左右侍從護衛等不計其數，一看太子要撞地自殺，馬上上來把他一把拉住。
高祖皇帝倒也不必再審問下去，便命左右把太子押了下去。晚上，還特命殿中監陳萬福加派特別崗哨，嚴加看守太子所住帳幕，不許他逃走，更不許他與楊文斡串通。
而此時楊文斡還真要舉兵造反了。
為此緊急情況，高祖李淵又派特使去把秦王李世民召來，與他共謀，看如何對付此事。
李世民即對父皇說：
“楊文斡乃一小小豎子而已，他狂悖起兵，州府之官員們應該知道去擒拿他，剿滅他。縱使他得逞於一時，再派一員將領去征討，也一定很快便可平息的，請父皇放心好了。”
這時高祖才對秦王說：
“可楊文斡此事是與太子建成連屬的啊！所以響應的人恐怕不會少。朕之所以召你來，是要你親自去征討，等你凱旋歸來，朕改立你為皇太子。朕可不願效法隋文帝那樣去誅殺骨肉，所以決定廢了建成之後，封他去做蜀王，那裏地既偏遠又狹小，你也容易製服他，倘若他不願臣事於你，你也容易取締他。”
秦王在父皇如此敦促下，二話沒說，即親自帶兵去征討楊文斡。
秦王剛走，齊王李元吉以及那幾位妃子便在宮內為太子建成說情，朝堂上封倫等人也為太子求饒，一下子高祖的耳朵根子又軟了下來，頓改前言，什麼要廢太子等，好像他都從來沒說過似的，很快就讓建成還以皇太子的身份返回京師，任留守之職。
高祖又怎麼能自圓其說呢？還是老一套，隻是把禍水潑給別人，又來個各打五十大板。他責怪兄弟為什麼不能相容！而把太子謀反的責任悉數推在中允王珪、左衛率韋挺，以及天策兵曹杜淹等人的頭上，把他們統統流放了，就算處理完了這樁案子。
秦王李世民平息楊文斡歸來，高祖皇帝早已恢複常態，繼續沉湎於酒色，好像根本就沒發生過任何事情一樣，更不提什麼易太子改立的事了。
到了武德七年（624年），齊王元吉抓緊機會便勸說太子建成快快除掉秦王李世民，對太子說：
“隻要長兄下定決心，小弟當為兄台親手去把他殺了。”
一次，李世民跟著父皇行幸齊王府，元吉就設下了埋伏，讓護軍宇文寶躲在寢宮內，想等秦王入寢宮休息時當場刺殺他。
齊王元吉把這陰謀告知太子時，太子卻對他說：
“這可萬萬使不得。這樣當著父皇之麵行刺，以後我們還怎麼為人呢？”
“我這可是為兄台著想啊！本來嗎，除不除他，與我又有什麼相幹？”
為此，既沒殺了秦王，元吉還與大哥鬧了幾天別扭。
一次，高祖皇帝校獵於京城之南郊，命皇太子、秦王、齊王等都跟著一起去。
皇上命三個兒子比賽馳射，太子建成對秦王世民說：
“我養著一匹上好的胡馬，幾丈寬的山澗它都能一躍而過，真是勇武精壯之極，此次比賽決勝，大哥願借給二弟一用，不知二弟願試一試否？”
李世民經曆過這麼多的騎射騎逐，什麼馬他都能馴服，所以也就謝謝大哥的好意，願意用這匹“好馬”一試。
原來這是匹從未被太子馴服過的野烈馬，力大無比才是事實，而隻要有人一騎上它的背，它馬上尥蹶子，亂蹦亂跳，一般人都會被它彈得老高老高，摔到很遠很遠，所以太子建成自己從不敢碰它，這次是特地拿它作秘密武器來謀害秦王的。
誰知李世民騎上一試，任它怎麼尥蹶子，世民卻總能緊緊握住韁繩，雙腿夾住馬肚，直尥到它自己尥不動了，李世民又穩穩當當地跨了下來，如是這樣，卻把一匹剛烈無比的野馬，當著皇上與眾弟兄、眾將帥之麵給馴得服服帖帖。
這一下把在場的人都驚呆了。等到正式比賽時，李世民一躍上馬，頓時伏在馬背上，與哥哥、弟弟較射奔鹿，自然大獲全勝而回。
太子建成本來是想借“馬”殺人，不料反讓二弟大出了風頭，比賽時自己敗得好慘，又一次讓對手振了武威，大添光彩。
李世民就這樣，既順順利利地度過了險惡，又得到了眾人的喝彩。那些或許還有些不服的武將，見此神奇表演，都不得不由衷地佩服。
賽後的歸途中，宇文士及一直跟在秦王的後麵，秦王回過頭來對他說：
“太子是想用這匹野馬來殺害我，但人的死生自有天命，豈能就這樣讓人給害了嗎？”
這話後來輾轉傳到了太子的耳朵裏。太子本來這次加害未能得逞，心裏正別扭萬分，又沒法一吐心曲，聽了秦王這自有天命的話，便又買通了嬪妃們，讓她們大大走了樣地傳言給皇上，隻說：
“臣妾們聽到，秦王他自己說的，我自有天命，方為天下之人主，豈能浪死！”
高祖一聽，自然怒不可遏，先把建成、元吉召進寢宮，然後再召世民，等世民一入殿，還沒搞清楚父皇召他去究竟要幹什麼，父皇劈頭便說：
“天子自有天命，本不是靠智力可以求得的，而你怎麼就這麼急於求取呢？”
李世民明白，他的稍有失言，卻被人歪曲，成了把柄，已無容申辯，越辯將會越糟，所以馬上自己取下了冠冕，跪下向父皇叩首，請求饒恕，並願下法司案驗。但皇上依然怒氣難消，弄不好，還真可能交有司作為謀反案辦理。但李世民還真有“天命”，就在這父子四人僵持之際，忽聽殿外一聲高叫：
“報！”
看來是有緊急情況發生了，高祖隻得即傳報人上殿。原來又是奏報突厥入寇。
別看太子他們譖言坑毒秦王，說什麼托禦寇之名，一旦突厥真來犯邊，他們一個個都成了縮頭烏龜，建成、元吉他倆大眼瞪小眼，誰也不敢站出來，去接受這抵禦征討的任務。
這樣愣了足有好幾分鍾，皇上隻好改變了對秦王的態度，對他說：
“把你的冠冕帶上吧！”
然後高祖徐徐下令說：
“此事暫不予追究，看在你多有戰功的分上，這次還派你出征，給你一個將功贖罪的機會，等你回來後再說。”
李世民這才接詔出征，免了一場災禍。
李世民一上邊陲，突厥軍就聞風而退了，但越是征討建功，遭到的嫉妒與讒言反而越多。
李世民不得不留一手，怕一旦朝中發生事變，連個退路都沒有，於是派行台工部尚書溫大雅去鎮守洛陽，又派秦王府的車騎將軍張亮帶領著他的左右1000多人到洛陽去，私下結納山東的各路豪傑，並給溫大雅、張亮他們很多金銀財帛，供他們結納豪傑時使用。