杜如晦忘記了下馬，狗仗人勢的家奴衝上前對著杜如晦就是一頓暴打，暴打之下，居然打折了杜如晦一根手指頭。即便如此，尹阿鼠還不算完，指著杜如晦的鼻子大罵：“你算個什麼東西，經過我的家門竟敢不下馬！“這個世界上，一般都是惡人先告狀的，尹阿鼠也不例外。歪把國丈尹阿鼠到女兒麵前狠狠告了杜如晦一狀，然後尹德妃再轉告到李淵那裏，事實就有了一百八十度的改變，“秦王屬下杜如晦欺負辱罵臣妾家人！“（秦王左右陵暴妾家）這一狀告的太刁了，刁的讓李世民百口難辨。肝火上升的李淵當麵質問李世民，“我嬪妃家尚被你的左右欺負，一般小民恐怕更不得了了！“（我妃嬪家猶為汝左右所陵，況小民乎！）芥蒂，無邊的芥蒂！事實上，即使沒有張婕妤和尹德妃的枕邊風，李淵自己的心中也對李世民產生了疑慮，隋朝的前朝往事就曾經在他的眼前上演，他太清楚皇帝與皇子的微妙關係了。皇帝對於皇子，一方麵是父與子，一方麵是君與臣。普通人家的父與子沒有什麼顧慮，父親總是希望兒子早一天超過自己，把自己甩在身後，到那個時候普通的父親會略有傷感但更會欣慰的說，“我老了，可兒子長大了。
“而皇帝與皇子是不可能出現這一幕的，皇帝希望皇子早日跟上自己的腳步，但並不希望皇子超越自己。一旦有那麼一天，皇帝不會有欣慰，更多的則是恐懼，“這小子想幹什麼呢？“李淵與李世民的父子芥蒂不僅讓李世民失分，同時也讓李建成加分。史書記載說，李世民每次參加宮中宴會都會思念早逝的母親，這讓李淵很掃興，也給了當紅嬪妃們攻擊的口實，“現在國家安泰無事，陛下龍體健康，是應該值得慶賀。但是秦王每次都一個在宴會上哭泣，那可是憎惡討厭妾身的意思啊。萬一有一天陛下您去世了，我們這些嬪妃和庶出皇子肯定會被秦王殺害，連子孫都留不住一個。“在攻擊李世民的同時，嬪妃們也沒忘了給李建成加分，“皇太子孝順仁義，皇上把我們嬪妃和孩子托付給他，肯定會得到保護。“事隔一千多年，我們無法證實這段記載的真假，或許這段記載是真的，或許這段記載是史官為了美化李世民。總之在父親李淵的猜忌下，當紅嬪妃們的枕邊風攻擊下，之前大紅大紫的李世民從武德五年下半年已經不如以前風光了，而他一生中最黑暗的時光也就此來臨。（由是無易太子意，待世民浸疏，而建成、元吉日親矣）