隋主還以為改立的儲君人選很對，從此可以高枕無憂了。太史令袁充在廢立東宮時，曾進言天象告變，應該廢立，現在又上表奏稱：“隋朝建立以後，白天漸長，這是升平的吉兆。”隋主非常高興，立即改開皇二十一年為仁壽元年，大赦天下。隋主晉升楊素為左仆射，蘇威為右仆射，文武百官，升遷有序。散騎侍郎王劭乘勢獻諛，說從大隋受命以來，符瑞甚多，特編成《皇隋靈感誌》三十卷呈獻給陛下。隋主看完全書，內容大多采集歌謠，加上讖緯，並且掇拾佛書，意為注釋，未免牽強附會。但是，隋主考慮自己得天下的路子不正，士民難免有異議，正好借此宣示四方，表明順天應人的征兆。隋主當下就將王劭的書頒行天下，並賞賜王劭千匹金帛，還親自到南郊祭祀，答謝天恩。
才過了一年，岐、雍二州地震，毀壞的民房不計其數。到了孟秋，獨孤後受涼染病，飲食無味，寢臥不安。禦醫每日診治，毫不見效，反且更加沉重起來。天文也像在預示災禍發生，八月初旬，月暈四重，又過了五日，太白星衝犯軒轅，當晚獨孤後病死在永安宮，終年五十歲。隋主很是哀痛，命令禮官治辦喪儀，殯靈安置在白虎殿。太子楊廣到靈柩前，哀號痛哭，悲傷不已，等退回到私室，飲食言笑，仍像往常一樣。他下令每天隻進食二溢米，暗中卻吩囑親信做一些肥肉脯鮓放進竹筒中，用蠟封口，放在衣襟之中悄悄帶進宅第，外人無從得知，反倒稱讚太子仁孝，譽不絕口。轉眼間已過三個月，眾人送獨孤皇後的靈柩到泰陵安葬，追封皇後諡號為文獻。這泰陵地域是由上儀同三司蕭吉挑選的，他在奏章上說：“卜年三千，卜世二百。”隋主說道：“吉凶由人，不關墓兆。”話雖如此，但隋主實際上卻十分高興，慶幸自己采納了蕭吉的建議，得到了寶地。蕭吉私下對朋友說道：“從前太子曾派宇文左率來叫我挑選山陵，若能讓太子早日得立，他必當厚報。我回答說墓地已經選好，不出四年，太子必統禦天下。實話告訴你們，太子繼位，隋朝必亡。我所說的三千年，其實是三十年，兩百世其實隻是兩代。你們都記著！看我所說的是否應驗！”蕭吉的朋友聽後也是似信非信。
話說隋主的第四子蜀王楊秀容貌壯偉，很有膽力，還沒有成年就滿腮胡須，常常被朝臣注目。隋主曾對獨孤後說：“秀兒將來恐怕會生亂，我在時還可以不擔憂，到他們兄弟時必反無疑。”獨孤後因楊秀並沒什麼過錯，便置之不理。隋主派楊秀去鎮守蜀地，楊秀到益州後排場很大，車馬衣服都按照天子的規格。隋主有所聽聞，他對群臣說道：“壞我家法，必在子孫。”於是，隋主派使臣拿著詔書去譴責，但楊秀始終不肯悔改。等到太子楊勇遭讒被廢，晉王楊廣被立為太子，楊秀感到憤憤不平。楊廣也防備楊秀有變，便暗中令楊素進讒言，誣陷楊秀。於是隋主召楊秀回朝。楊秀入都拜見，隻見到隋主滿麵怒容，一言不發，便隻好退了出來。隋主又派朝臣去斥責楊秀，楊秀謝罪道：“兒臣備受國恩，外出鎮守藩地，不能奉法，罪當萬死。”太子楊廣聽說楊秀被責罵，很是高興，但在外人麵前卻裝出一副疼愛弟弟的模樣，邀請諸王入宮替楊秀求情。隋主反而更加生氣地說道：“從前秦王有了過失，我以父道責問，如今楊秀毒害民生，我當以君道管束。你們不必多說，我自有辦法處治。”說完，隋主便將楊秀交給法司處置。開府儀同三司慶整進諫道：“庶人楊勇已經被廢，秦王也已薨逝，陛下的兒子不多，為何要屢次嚴懲呢？況且蜀王性情耿直，如今若被重責，他一定不願求生，實在是令人擔憂啊。”隋主大怒道：“你敢來多嘴嗎？我先割掉你的舌根！”隨後，隋主對群臣說道：“應當在市集斬殺楊秀，以此來向百姓謝罪。”群臣全都跪在殿庭，為楊秀求情。隋主沒再說話，隻命令楊素、蘇威、牛弘、柳述等人依據律法處置。太子楊廣暗中做了一個木偶，捆綁雙手，在胸口插上釘子，上麵寫著隋主和漢王的名字，下麵寫了幾句話：“請西嶽慈父聖母速派神兵收取楊堅、楊諒的神魂。”楊廣一邊令人將木偶埋在華山下，一邊又讓楊素去挖掘，作為罪證。他又說：“楊秀妄造圖讖，多次說京師有妖異之兆，捏造蜀地有禎祥之兆。”他還偽造檄文，上麵寫著：“逆臣賊子，專弄威福，當盛甲陳兵，指期問罪……”隋主見了這些楊廣搜集的“罪證”盛怒不已，拍案盛怒道：“天下有這樣的不肖子嗎？”於是，隋主下令廢楊秀為庶人，幽禁在內侍省，不得和家人相見，隻派給兩個粗使丫頭充當奴婢。因楊秀這事受到牽連的多達百人。楊秀上表稱謝，表文中有這幾句話：“伏願慈恩，垂賜矜憫。今茲殘息未盡，願與瓜子相見，請賜一穴，令骸骨有歸。”表書中的“瓜子”二字，指的是楊秀自己的愛子楊言。隋主看到奏表後沒有心軟，反倒下詔細數楊秀的十條罪狀。
楊秀接到詔書後很驚訝，同時也莫名其妙，他心想詔書上所說的罪名純屬誣陷，不知是何人捏造出來的，竟致使自己鑄成這般大罪？但禁門深遠，無處申訴，他隻好飲恨泣血，靜坐囹圄。貝州長史裴肅卻遣使上書說：“二位庶人定罪已久，定當洗心革麵，願陛下弘揚君父的慈愛，顧及天道仁義，將他們各封小國，以觀後效。若他們能改過向善更好，若執迷不悟，陛下再貶削也不遲。”這份奏書呈入宮，隋主對楊素說道：“裴肅擔心我的家事，也是一片誠心。”楊素沉默不語。隨後，隋主征召裴肅入朝，並且當麵傳召，楊秀、楊勇的罪不能寬恕。同時，免去裴肅的官職，將他放回到鄉間。正是：
讒言蔽主益神昏，父子相夷最賊恩。
一摘已稀偏再摘，可憐皇嗣兩含冤。