李淵在位時規定，他的命令稱作“詔敕”，太子李建成的命令稱作“令”，秦王李世民和齊王李元吉的命令稱作“教”，他們四人的命令官府都得遵守，如果“詔敕”“令”“教”有衝突時，執行者就以哪個公文先到為準而服從。
李世民平定洛陽後，認為淮安王李神通有戰功，就賜給李神通良田數十頃。李淵的寵妃張婕妤的父親也看中這塊地，通過女兒向李淵要。李淵不知李世民已把田賞給李神通，當即寫了詔敕把田賞給張婕妤的父親。李神通認為自己有軍功，而且認為李世民賜他在前、李淵詔敕在後，就堅決不肯把田讓出來。
張婕妤知道後大為惱怒，當即就向李淵哭訴說：“陛下親自下令將良田賜給臣妾的父親，哪料秦王李世民根本不把臣妾放在眼裏，竟奪了過去，轉賜了李神通。這叫臣妾有何顏麵繼續活下去啊！”李淵知道後大為震怒，再也按捺不住怒火。他對長年跟隨自己的謀臣裴寂說：“李世民長年在外，放蕩不羈，已經不是以前我的那個知書達理的好兒子了。”李淵當即把李世民叫來，大發雷霆。李世民知道原委後，雖有幾分委屈但也無可奈何，便下令李神通將這塊田送給了張婕妤的父親。但是，李淵仍然怒氣不息。
一波未平，一波又起。過了幾天，天策府的官員杜如晦上街時經過李淵寵妃尹德妃的父親的門前。尹德妃的父親阿鼠仗著女兒的氣勢橫行霸道，作惡多端，誰也不敢過問。他見杜如晦在他家門前不下馬，便叫來幾個家童把杜如晦拉下馬來，圍上去毆打杜如晦，並折斷他的一個腳趾，還指著杜如晦的鼻子罵道：“你是什麼狗東西，敢過我家門而不下馬？你知道老子是誰嗎？我可是當今皇上的嶽父！你以為有李世民作靠山，老子就怕了你啦？”
阿鼠害怕李世民到李淵那裏告他，就賊喊捉賊，叫自己的女兒先向李淵告狀，說：“秦王李世民縱容手下的人欺辱我家人。”李淵聽後龍顏大怒，把李世民叫來，訓斥道：“我的寵妃家，連你手下的人都敢隨隨便便欺負，更何況一般老百姓？你還把我這個父王放在眼裏嗎？”李世民雖然百般解釋，李淵還是不相信。
各路農民起義軍被消滅以後，天下日漸太平，沒有重大戰事。李淵貪圖享樂，經常在宮中舉行宴會。李淵每次在宮中大張歌舞酒宴，李建成、李世民、李元吉往往都要奉陪。李建成、李元吉每次都高高興興地對李淵歌功頌德、極盡奉承之能事，和李淵的妃子們調笑取鬧，討李淵喜歡。李世民每當看到李淵寵妃如雲，就想到自己的生母、李淵的元配夫人太穆皇後早逝，看不見李淵奪得天下，也不能和父親共享天下。因此每每情不自禁，潸然淚下。
李淵看到很是惱火，他的妃子們也極不愉快，覺得李世民破壞了他們那歌舞升平的歡娛氣氛。李建成、李元吉便叫寵妃乘機煽風點火，說李世民的壞話：“現在海內一家，天下太平。皇上您年事已高，自然應當享受歡樂。但秦王李世民卻每每哭哭啼啼，掃陛下的興，分明是因為李世民嫉恨我們母子啊。陛下在時尚且如此，等您萬歲之後，我們母子必然不為李世民所容，肯定都要死在他的手裏。皇太子仁厚孝順，對我們恭恭敬敬。皇上您還是把我們母子托付給太子吧，一定安全可靠，萬無一失。”
李淵日益寵信李建成和李元吉，從此打消了變更太子的考慮；而兄弟的嫉恨、父親寵信的誹謗，使得李世民越來越被李淵疏遠。