唐高祖李淵做了皇帝之後，後宮增添了很多妃嬪。在李淵晚年，這些妃嬪為李唐王朝增添了二十多位小皇子。
妃嬪們見高祖年事已高，紛紛暗中與年長的皇子們結交，為自己謀求日後的靠山。太子李建成、齊王李元吉和妃嬪們的關係很好，二人經常拿奇珍異寶籠絡後宮嬪妃，讓她們在李淵麵前為自己說好話，以此換取高祖的信任和寵愛。民間曾傳說這兩位皇子和尹德妃、張婕妤之間有私情。但是，宮禁森嚴，不論這個傳說真實與否，如今我們都已無處考證。
當時，秦王李世民和齊王李元吉分別住在承乾殿和武德殿後院。皇宮和皇子們各自的住處之間沒有門禁限製，隨時可以出入。秦王和齊王遇見太子時，隻是按照兄弟之間的長幼順序，行家禮。太子、秦王和齊王進出皇宮時，沒有什麼限製，可以隨身佩戴著刀劍等武器，騎馬出入皇宮。
那個時候，太子所下達的命令叫做令，秦、齊二王所下達的命令稱為教。雖然在稱呼上有區別，但實質上和高祖下達的詔敕具有同等的權利。這讓相關部門的官員很是頭疼，不知所措。最後，大臣們隻能按照命令下達的先後順序來執行。
在諸位年長的皇子中，唯有李世民注意和後宮內的妃嬪們保持距離，從不刻意討好、奉承她們。妃嬪們對此很不滿，懷恨在心，時常在李淵麵前說李世民的壞話。
李世民帶兵攻占洛陽後，接管了隋朝的皇宮和國庫。高祖派貴妃到洛陽，接收國庫內的奇珍異寶，順便挑選前朝的宮女，補充後宮。貴妃等人到達洛陽後，找到李世民。她們提出想偷偷從國庫裏拿幾件寶貝，私藏起來，還想為自己的親戚在洛陽謀個官職。李世民說：“我接管國庫中的時候，已經把所有的物品都登記造冊，然後上報給了長安。因此，庫中的東西一件都不能外流。至於說官職，隻有那些對國家有功，或是有能力的人才能成為朝廷的官員。不是隨便什麼人都能做官的。所以，各位娘娘提出的要求，我恐怕無能為力。”拒絕了她們。此事過後，妃嬪們對李世民愈發怨恨。
淮安王李神通隨秦王四處征戰，功勳卓著。李世民把幾十頃良田分給他作為獎勵。在此之前，張婕妤的父親覬覦那塊地很久了，正通過自己的女兒向高祖請求要這塊地。於是，高祖下令，把那片地賞給了他。但是，李神通仗著李世民的命令早於皇帝的旨意，堅決不讓出田地。張婕妤向高祖哭訴：“陛下，秦王無視您的敕令，搶了您賞賜給我父親的那塊田地，然後賞給李神通了！”高祖勃然大怒，把李世民叫到跟前，質問他：“朕是皇帝，難道朕的旨意還不如你的命令管用嗎？”幾天後，高祖和左仆射裴寂說到此事，向他抱怨道：“朕這個兒子，長年在外帶兵征戰，身邊聚集了很多謀臣。時間一長，被那些書生帶壞了，已經變得和以前不一樣了！”
尹德妃的父親叫尹阿鼠。他依仗自己的女兒是高祖的寵妃，平日裏飛揚跋扈，橫行霸道。就連朝廷的官員，他都不放在眼裏。有一次，他家的家仆看到杜如晦騎馬從門前經過。幾個人上前，把杜如晦從馬上拽了下來，大聲喝問：“大膽，你是什麼人？知道我們主家是誰嗎？經過我家門前，竟敢不下馬！”杜如晦被狠狠地揍了一頓，一根手指也被打斷了。
當時，杜如晦在秦王李世民的府中任職。尹阿鼠知道後，非常害怕李世民對李淵說出此事。於是，他找到尹德妃，讓她先在李淵麵前詆毀李世民。尹德妃對李淵抱怨：“陛下，秦王太過分了，竟然縱容自己的部下欺負我的家人！請陛下為臣妾做主！”高祖聽後，怒氣衝衝地訓斥李世民：“你是怎麼管理手下的？他們連我妃嬪的家人都敢欺負，還有什麼人是他們不敢欺淩的？”李世民很無奈，隻得不斷地向高祖解釋這件事。可是，高祖始終聽不進去，不肯相信李世民的辯解。
平日裏，高祖會帶著妃嬪們在皇宮裏舉辦宴會。有時，李世民會在高祖身邊陪同。每到此時，李世民想到早逝的母親沒能看到父親一統天下，心情會變得很低落，有時還暗自落淚。高祖發現李世民的舉動後，不明原因，非常不開心。
妃嬪們見此情形，紛紛向李淵表示：“陛下為國家辛苦操勞一生。如今江山一統，天下太平，陛下時常休息娛樂一下也是應該的。可秦王每次都這樣情緒低落，歎氣落淚，分明是對我們不滿，怨恨我們。陛下，您年事已高，萬一哪天您突然撒手仙去。我們孤兒寡母可怎麼辦？秦王容不下我們，肯定會把我們都殺了。好在太子為人寬厚，有仁愛之心，對您又非常恭敬孝順。即使陛下百年之後，也一定能照顧我們母子。”說完，妃嬪們坐在一起傷心落淚，泣不成聲。高祖見狀，心情變得很低落。從那以後，高祖愈發信任李建成和李元吉，與二人的關係日漸親密。對於李世民，高祖不再考慮改立他為太子的事情，並逐漸疏遠了他。