開皇二十年十月，隋主決意廢掉太子楊勇，派人召楊勇入宮麵見。楊勇見朝使失色道：“莫非想殺我不成？”使臣支吾對付。楊勇隻好硬著頭皮，跟隨使臣進入武德殿。武德殿前的台階上兵甲森列，殿內東邊站著百官，西邊站著諸王，禦座中坐著一位甲胄耀煌、威靈赫濯的大皇帝，楊勇不由得心膽俱碎，匍匐地跪在台階前。內史侍郎薛道衡站在台階上朗聲宣詔，曆數太子的罪行，然後宣布廢太子為庶人。
詔書宣讀完畢後，就有衛士將楊勇及其兒子們帶到殿庭，除去冠帶，並由道衡傳諭給楊勇道：“你的罪行，人神共憤，還想免廢，怎麼可能呢？”楊勇免冠再拜道：“臣合屍都市，為將來鑒，幸蒙哀憐，得以保全性命。”說著，楊勇就淚如雨下，良久才離去。滿朝諸臣沒有不感歎憐憫的，但也不便多言。楊勇有十個兒子，也一並牽出。長子楊儼曾封為長寧王，上表求情，情詞懇切。隋主看過奏表後有些於心不忍，想留下楊儼。這時楊素進言道：“願陛下痛下決心，不能有兒女心腸。”隋主怏怏不樂，進入內殿。第二天，隋主又下詔書，斬殺元旻、唐令則、鄒文騰、夏侯福、元淹、蕭子寶、何竦七人，將他們的妻妾子孫全都充入官庭。還有車騎將軍閻毗、東郡公崔君綽、遊騎尉沈福寶、術士章仇太翼各自杖打一百下，與妻兒一同貶為奴，其資財田宅充公。副將作大匠高龍義、率更令晉文建、通直散騎郎元衡也都被賜令自盡。
太平公史萬歲和將士等一同列在朝堂，見太子被廢，暗暗稱冤，沒有告辭就退下了。隋主記起來，召來楊素問道：“史萬歲為何突然離開？”楊素答道：“想必是去謁見東宮了。”隋主立即召來史萬歲詢問，史萬歲被楊素誣陷，當然不服，他說道：“之前征討突厥，楊素抑功不賞，將士多半埋怨楊素，楊素實在老奸巨猾，不可輕信。”
此時隋主正寵信楊素，便張口駁斥，史萬歲仍然反駁，辭色更加嚴厲，頓時惹惱隋主，立即下令將他推出朝門處死。過後隋主又不禁後悔，又下令將史萬歲追回，可是那史萬歲的魂靈已入枉死城，哪裏還追得回呢？文林郎楊孝政進諫道：“皇太子被小人誤導，應該加以訓導教誨，不應該廢黜。”隋主又怒火中燒，喝令鞭撻楊孝政的前胸，打了數十下。楊孝政隻能自認晦氣，忍痛而出。隋主又召來東宮官屬，斥責他們輔導無方，眾人都很惶恐，沒有敢答話。唯獨太子洗馬李綱說道：“廢立大事，滿朝文武大臣都知道此事不可行，但都不出言勸阻。臣不惜一死，願向陛下直述。太子本是性情中人，可以為善，也可以為惡。以前陛下選擇正人輔導太子，隻要悉心教導他，太子並非不可以繼位大統，守住鴻業，但是陛下又任用唐令則為左庶子，鄒文騰為家令，這二人隻知道諂媚取悅太子，怎能不敗呢？這是陛下自己的失誤，不能完全怪罪於太子。”說到這裏，李綱伏地嗚咽。隋主也覺得很是淒慘，唏噓良久說道：“李綱責備我，不是沒有道理，但他隻知其一，不知其二，我本來選你作為宮僚，但楊勇不肯親信，雖有正人，又有什麼用呢？”李綱又答道：“臣之所以得不到太子的信任，是因為奸人在側，蒙蔽東宮，如果陛下早早斬殺唐令則、鄒文騰，再挑選賢才輔佐太子，臣又怎麼會被疏遠呢？自古以來，國家廢立嫡係，每每導致江山危機，願陛下深留聖恩，以免後悔。”隋主聽後，臉色大變，抽身走進內宮。左右都替李綱感到寒心，李綱卻從容退去了。不久，隋主下詔將廢太子楊勇移到內史省安置，供給五品俸祿，又提拔李綱為尚書右丞。朝臣都很佩服李綱的膽識，交口稱讚。
過了幾天，隋主立晉王楊廣為太子，全國震驚。楊廣還要在父皇麵前討好，上表奏請減少章服，所用官僚不必向東宮稱臣。隋主楊堅看到奏折後，對他嘉獎了一番，下詔批準了。楊廣立即調用宇文述為左衛率，又因洪州總管郭衍也曾參與謀劃奪嫡，便任命他為左監門率。隋主又將廢太子楊勇移到東宮，幽禁在內室，命令楊廣管束。楊勇想著自己罪不當廢，屢次請求見父申冤。楊廣不肯答應，楊勇爬上樹，大聲號呼，希望父皇能聽見。楊廣和楊素商議，楊素立即上奏道：“楊勇心誌迷亂，想必是被鬼魅所纏，不能放出來。”於是，隋主命楊廣嚴加管束楊勇。楊勇猶如罪犯一般，沒有自由，從此遠隔外宮，永不得見天日了。
先前隋主攻破陳朝時，天下之人大多都想過太平日子，監察禦史房彥謙私下對親友說道：“皇上猜忌心十分嚴重，又苛刻過分，太子卑弱，諸王擅權，天下雖然暫時安定了，不久必生禍亂。”房彥謙的兒子房玄齡也悄悄地對父親說道：“皇上本沒有什麼功德，隻是用詐術取得了天下，其諸子又驕奢不仁，他們將來必定自相殘殺，危亡也就不遠了。”這時新樂告成，協律郎祖孝孫和樂工萬寶常按律譜曲，都沒有被采用，隻創出一種繁鬧的樂音，奉旨施行。萬寶常流著淚說道：“淫厲而哀，天下不久將亂了。”於是他辭去職務，並取回樂譜焚毀，不久就絕食而死。