打發了頡利，李淵終於能騰出手來對付劉黑闥。同以往不同的是，這一次率軍出征的並不是最能打的李世民，而是齊王李元吉。此時的李世民早已戰功顯赫，盡管還沒有到功高震皇帝的地步，但“功高震太子“，已經足夠了。從攻占長安之後，李建成就作為國之儲君長期留在李淵身邊，跟隨老爹處理各種國事。而李世民呢？從此卻踏上了平定天下的征程。薛舉父子是李世民平定的、竇建德是他擒獲的、王世充是他俘虜的、劉黑闥是他打跑的，武德年間的主要大仗都是他打的，聲名不扶搖直上才怪！更要命的是，此時他的手下文有十八學士，武有尉遲敬德、秦叔寶、程咬金、李世積等人，而李建成呢？武將幾乎一個沒有，文官隻有王珪和魏征。跟秦王相比，太子建成的班底實在太寒酸了。到了這個地步，兄弟倆爭鬥已經不是新聞，不爭鬥才是新聞！不過同秦王李世民相比，太子建成並非一點優勢都沒有，他有一個李世民沒有的巨大優勢，這個優勢就是後宮中的良好人緣。
後宮中的良好人緣意味著什麼呢？意味著他與父皇李淵的嬪妃們保持著良好的私人關係，這一點李世民遠遠不及他。為什麼呢？因為李建成有明顯的時間優勢。從武德元年到武德五年，李世民一直忙於各地平叛，而李建成則大部分時間留在父皇的身邊處理國事，這就給了李建成接觸後宮的機會。按常理說，在一個成熟的王朝中，太子想要結交後宮是很困難的。而在李淵初創唐朝的武德年間，情況恰恰相反，太子想不結交後宮都難。當時皇宮內的布局是這樣的：李世民住承乾殿（他的太子在這裏出生，於是取名李承乾）；李元吉住武德殿後院。兩家的住處與李淵的皇帝寢殿和李建成的東宮不分晝夜，暢通無阻。李建成等兄弟三人進出李淵的皇帝寢殿可以騎馬，可以攜帶弓箭等各種雜物。彼此之間，跟李淵當皇帝之前一模一樣。更有意思的還在後麵，在有關機關那裏，“太子令“、“秦王令“、“齊王令“與皇帝詔令具有同等效力。如果一個機關同時接到幾份命令，那麼不好意思，按照先來後到辦理；如果“齊王令“在皇帝詔令前麵下達，那就按“齊王令“辦理。
反正父子四人是這個世界上最親近的人，無論按照誰的命令辦理，肉都是爛在了老李家的鍋裏。在這種背景下，皇子想要結交後宮的妃嬪簡直易如反掌，而在這一點上，李建成比李世民有著天然的時間優勢，畢竟他在長安的時間比李世民長的多。那麼後宮的嬪妃到底願不願意結交皇子呢？當然願意，因為這些得寵的嬪妃都得為自己的將來找好後路。顯而易見，李淵的接班人必定從三個年長的皇子中產生：太子建成、秦王李世民、齊王李元吉。而這三個人中，太子建成是嫡長子，具有天然的優勢。而嫡長子又長期在身邊出沒，結交李建成不僅比結交李世民容易，也比結交李世民靠譜，畢竟太子是第一順序接班人，而秦王李世民隻能算是第二順序繼承人。兩方麵比較下來，李建成的後宮人緣指數遠遠在李世民之上，這是李建成巨大的優勢，這個優勢也壓得李世民數年間喘不過氣。對於李世民而言，天下幾乎沒有他怕的東西，但有一樣東西除外--枕邊風。一次枕邊風並不可怕，然而無數次枕邊風交叉在一起，這就是致命的龍卷風。
然而最致命的還是他無意中得罪了兩個當紅的嬪妃，一個是張婕妤，一個是尹德妃。總體說來，這兩次李世民都很無辜。得罪張婕妤的事由其實也不大，隻是因為數十畝良田。這數十畝良田，原本由李世民做主賞給勞苦功高的淮南王李神通。卻不成想這些良田被張婕妤的父親看在了眼裏，轉過頭來跟女兒張婕妤要。張婕妤一開口，李淵自然不會拒絕，一抬手就寫了詔令把這數十畝田贈給了這個歪把老丈人。如果是一般人看見李淵的詔令隻能乖乖就範，然而淮南王李神通卻是個認死理的人，同時他也知道李淵父子四人手令的秘密：那就是按照先後順序來。因此李神通死活不肯把這些田讓出來，這樣一來就讓李世民無形之中得罪了張婕妤一家，也讓李淵下不了台。李淵為此大發雷霆：“難道我的詔令不如你的詔令嗎？“（我手敕不如汝教邪！）父子間就此有了芥蒂。得罪尹德妃的事由更小，小到不值得一提。什麼事呢？李世民的府屬杜如晦經過尹德妃父親府邸時忘了下馬。由於尹德妃正當紅，她的父親尹阿鼠也是朝中的紅人，經過他的府邸久而久之就養成了“文官下轎，武官下馬“的慣例，而杜如晦無意之中就違反了這個慣例。