太子楊勇小名睍地伐，是隋主楊堅長子，生性坦率，不尚矯情，常常參決軍國大事，他的意見多半被采納。隻是隋主崇尚節儉，楊勇卻喜愛奢華文飾，被隋主看見後，曾當麵責罵道：“自古以來的帝王好奢必亡，你身為儲君，應當崇尚節儉，才能奉承宗廟，我平時的衣服，各留一襲，你可以隨時取觀，作為榜樣。我再賜你一柄舊刀、一盒葅醬讓你服食，你應該默默體會我的用心。”楊勇雖然應命出來，但事過境遷後又恢複如常。不久，宮裏過節日，百官都前往東宮賀節，楊勇設宴奏樂接受祝賀，這件事情被隋主聽到後，心生不悅，特下詔戒諭群臣，此後不得擅自到東宮慶賀，太子的恩寵也漸漸衰弱。楊勇有很多婢女，昭訓雲氏姿貌殊麗，尤其討太子的歡心，為他生了三個兒子，還有高良娣、王良媛、成姬等人也生下幾個男孩。唯獨嫡妃元氏不受寵愛，也沒有生育。隋主楊堅無暇顧及這些，隻是皇後獨孤氏最恨男人寵妾忘妻，平時聽說諸王添置妾室，或者妾室有懷孕等事，她就勸隋主懲戒，甚至免官。偏偏皇太子親蹈此轍，怎能不讓獨孤後心生憤怒？冤冤相湊，不久那太子妃元氏得了心疾，沒過兩天就病歿，獨孤後懷疑是雲氏下毒，更加不平，每當太子入宮探望，她都帶著怒容。太子楊勇也漫不經心，竟然讓雲氏專掌內政，視她為嫡妃。獨孤後暗暗咒罵太子，曾派遣內侍偵察，隻要太子稍有過失，便請示隋主把他廢斥。
這其中就有個陰謀詭計的晉王楊廣，有心奪嫡，暗中窺探父母隱情，巧為迎合。他雖然有幾個姬妾，但是他卻與蕭妃早晚同住，就算是妾室生子，也不讓她們養育，對外卻說沒有生下男孩。有時，隋主和獨孤後親自到楊廣的家中，他隻留下老醜的婢仆充當役使，自己和蕭妃也隻穿著粗布，屏帳也改用縑素，樂器任它積滿塵埃，毫不擦拭，隋主當然愜意，獨孤後也覺得很是歡喜。等到隋主和孤獨後回宮後，隋主另外派左右前去探視，楊廣不問貴賤，必定與蕭妃在門前迎候，用美酒佳肴款待，贈送豐厚的禮品，因此宮中的內侍無人不稱讚晉王仁孝。隋主楊堅曾秘密派相士來和觀看諸子的麵相，相士來和說道：“晉王眉骨隆起，貴不可言。”隋主又問上儀同三司韋鼎，說諸位兒子中誰應嗣立，韋鼎隨口奏道：“至尊和皇後最愛何人，便讓他繼承大統，此外就不是臣敢知道的了。”隋主笑道：“卿還不肯明說嗎？”韋鼎又說道：“事在陛下，臣何必多言。”韋鼎說完就告退離去。
這時，晉王楊廣離京去鎮守揚州，剛過半年，便上表奏請入朝覲見，有旨準奏。楊廣立即入宮覲見父母，言辭舉止非常謹慎，就連接待朝臣也格外謙恭。宮廷內外都有口皆碑。等到楊廣辭行還鎮，他又入宮告別母親，敘談半日，無非是遠離膝下、常懷孺慕的客套話。等到天色將晚，將要出宮時，他又故意裝出想走又不願走的光景，欲說不說的情狀。獨孤後難免動疑，便問他有什麼話要說，楊廣請求屏退左右，隻剩得母子二人時，便伏跪在地上哭訴道：“兒臣愚蠢，不知道忌諱，每次念及親恩難報，才上表請求回朝。不知東宮太子是什麼意思，竟因此遷怒於兒臣，說兒臣覬覦名器，想篡奪太子之位。兒臣遠在藩外，東宮日侍朝夕，如果讒言交入，天高難辯，或者賜給我三尺白綾，或者賜給我一杯毒酒，兒臣恐怕要無辜受戮，不能再覲見慈顏了。”說到這裏，楊廣嗚咽不止。獨孤後又憐又恨地說道：“睍地伐真讓人難以理解，我給他娶了元氏女，元氏一向身體康健，竟一夕間暴亡，他不但不悲不痛，反而和阿雲等人早晚淫樂，生了許多豬狗。我長媳遇毒喪生，我還沒有追查下去，他竟又想害你，我活著時就這樣，那我死後，你等兄弟就隻配給他做魚肉了。況且東宮現在沒有嫡妃，至尊萬歲千秋後，你等兄弟向阿雲跪拜問候，這不是更加痛苦嗎？”說著，獨孤後也流下淚來。楊廣又假意勸慰說：“是兒臣不肖，連累母親傷心了。”獨孤後咬著牙密諭道：“你盡管放心回去鎮守，我自有主張，不會讓我兒屈死。”楊廣聽後暗暗心喜，但臉上還帶著慘容，再三拜謝而去。
於是，獨孤後決意廢立太子，屢次在隋主麵前挑唆是非。因此隋主下令在東宮中挑選衛士守衛台城，朝臣無人敢勸諫，唯獨高熲奏請道：“東宮的衛兵不便多調。”隋主沒等他說完，臉色一變說道：“朕有時出巡，也隻帶領幾名英勇的衛士，太子寓居在東宮，何須那麼多壯士？前朝舊事朕見得多了，你不必再循覆轍了。”這一席話，說得高熲麵有慚色，隻好退下。隋主為什麼會說出這番話呢？原來高熲的兒子高表仁是太子楊勇的女婿，隋主話中的含意，讓高熲很難為情。
不久，高熲的妻子病逝，獨孤後乘機對隋主說道：“高仆射年事已高，妻子突然辭世，陛下為何不給他再娶一妻呢？”因此隋主召來高熲，詢問他的意見，高熲含淚說道：“臣已老邁，退朝後隻想齋居誦經，不願再納繼室了。”隋主也歎息不已，就此罷議。過了幾個月，高熲的小妾生下一個男孩兒，隋主很替他高興，隻有獨孤後悶悶不樂。隋主便問她為何如此，皇後回答道：“陛下還會相信高熲的話嗎？之前陛下想為高熲續娶，高熲心存愛妾，當麵欺瞞陛下，如今詐情已現，怎能再相信他？”隋主也認為如此。後來隋主和高熲商議廢立之事，高熲又提出長幼倫序那套，與隋主對答，於是隋主更加猜疑高熲存有私心，打算加以譴謫。後來，隋主又想起王世積一案，便加以複驗，有司奉旨審查，說高熲確實有通叛之情，隋主立即罷免高熲左仆射一職，令他以公爵身份回家養老。
先前漢王楊諒東伐高麗，曾令高熲擔任長史，當麵加以重托。楊諒年少氣盛，與高熲言語不合，導致無功而返。楊諒入宮拜見獨孤後說道：“兒臣差點就被高熲害死了。”獨孤後記在心中，楊諒也懷恨不休，常想置高熲於死地。還有晉王楊廣因為張麗華的事情，又挾憤尋找高熲的過失，為此種種積仇。他暗中唆使高熲的部下告發高熲的私事，誣稱高熲的兒子高表仁曾勸說其父：“從前魏朝司馬仲達稱病不再上朝，最後得到天下，父親如今回到家中，韜光養晦，安知這不是福氣呢？”隋主看完奏書大怒而起，立即拘捕高熲到內史省，嚴加審訊。法司審不出實情，反而捏造說：“沙門真覺曾對高熲說，明年國內將有大喪；尼令暉也對高熲說，皇帝將有大厄，天子恐怕挨不過第十九個年頭。”隋主更加怒火衝天，對群臣說道：“帝王豈可力求？孔子是古來的大聖人，作法垂世，怎會不想擁有天下？隻是天命未歸，隻好作罷了。”有司奏請立即誅殺高熲，隋主又歎道：“去年朕殺了虞慶則，今年朕又斬王世積，如果再誅殺高熲，天下人還以為朕殘害功臣，狼心狗肺呢。”於是，隋主下令撤去高熲的爵邑，將他貶為庶民。高熲的老母親曾勸誡高熲：“你擁有的富貴已經到了極限，就欠被砍頭了，怎麼還不知道謹慎行事呢？”高熲被黜免後，回憶起母親的話，還慶幸自己逃過一死。哪知生死有命，他最終還是難免一刀，這事稍後再講。