文帝認為高已經依附太子，對自己不忠誠，開始對高心存芥蒂。
楊堅聽信讒言的弱點，也堅定了他對高的態度。何人進的讒言呢？當然是著名的獨孤皇後。獨孤皇後是西魏大將鮮卑大貴族獨孤信之後，與楊堅是結發夫妻。楊堅要通過獨孤氏，收攬宇文氏以外的鮮卑貴族，因此畏懼獨孤氏，讓她參與政權，宮中稱為“二聖”。楊堅的五個兒子都是獨孤氏所生。獨孤皇後在世人眼中是一個相夫教子的賢妻良母，默默支持丈夫的事業。但事實上，獨孤氏憑借自己的身份地位，對楊堅的施政指手畫腳。尤其是到了晚年，獨孤後屢進讒言，廢立太子也與她的堅持有關係。而高結怨於獨孤後實出於一件小事。當初，文帝寵幸後宮妃嬪尉遲氏，獨孤後知曉後，趁早朝之際，將尉遲氏殺害。楊堅聞之，怒不可遏，但懼內的楊堅又不能將獨孤氏如何。他獨自騎馬跑入禁苑之中，高等人在後麵追趕，大聲喊道：“陛下怎能以獨孤後一婦人而置天下於不顧呢？”文帝止步，認為言之有理，遂回宮，一切如故。高的一句話，使文帝平靜下來，卻使得獨孤後勃然大怒，遂與結怨。之後，她利用文帝對高的懷疑，頻頻在文帝麵前進讒言，說：“高在隨同漢王楊諒征討高句麗的時候，專橫跋扈，大權獨攬，根本不把統帥楊諒放在眼裏”，“高與太子關係親密，怕是不利於陛下，若想廢勇，應先除”等。這些話，讓文帝對高更加沒有了信任。
遂借故將高免官。後來，高的屬下檢舉高的兒子曾經對說：“三國時期，司馬懿起初稱病不上朝，最後得天下。父親現在這樣的境遇，可能會有福氣降臨啊！”楊堅聞之，立刻將高囚禁，並對大臣說：“自比晉朝皇帝，他想幹什麼？”於是將高貶為平民。高失信於皇室，最後被煬帝借口誹謗朝政而殺害。高對楊氏一片忠誠，卻落得如此下場，可憐！可歎！隋文帝不識善惡，屠戮忠良，可悲！可恥！
在罷賢相高的同時，楊堅卻重用奸臣楊素。
楊素並非毫無才幹之徒，他同樣具有文韜武略。“才”與“德”在評價人的搭配上是這樣的：德才兼備、有德無才、有才無德、無才無德。前兩種人能夠得到社會認可，受人尊重，而後兩種人則是社會唾棄、詬罵的對象。楊素屬“有才無德”一類。讓我們來看看他的所作所為是如何討得文帝歡喜，而又是如何導致隋朝衰亡的？
楊素，字處道，弘農華陰人。楊素的祖輩都是西魏、北周顯貴。他本人也因平齊之功，而被周武帝封為縣公。楊堅掌權後，楊素便投靠到他的門下。隋朝建立後，先後拜禦史大夫、納言、內史令、尚書右仆射，被封為越國公，出任平陳主帥。隋煬帝大業年間，任尚書令，拜太子太師、司徒，改封楚國公。大業二年，病卒。從楊素的經曆來看，他乃出將入相之才，很有才幹。而且楊素深諳為臣之道，在頗好猜忌的楊堅父子身邊，竟能得以善終，實屬不易，可謂“政壇不倒翁”。
楊素得以被文帝賞識也是由於他的才能。楊素多次參加戰爭，屢任主帥，幾乎每戰必克。
此外，楊素有很高的文化修養，博覽群書，擅寫文章。為人聰明，善於察言觀色，辦事穩妥。
楊素的種種優點使得文帝對他頗為滿意，言聽計從，深信不疑。但此人精於政治投機，打擊異己勢力，瞞天過海，不擇手段，又是文帝不曾知曉的。文帝憑個人權術，察察為明，用法嚴酷，朝中舊臣，罪小罰重，多已殺盡，最後隻剩下狡猾的楊素，文帝對他信任有加，此人恰恰是幫助楊廣弑君的奸臣。
楊素的政治投機有兩次：一是廢立太子，二是謀弑文帝。
當文帝與獨孤皇後起了廢立太子之念的時候，楊素已經察覺出來，並通過弟弟楊約與晉王廣秘密接觸，籌劃廢立之事。楊素借助與文帝頻繁接觸的機會，向文帝進讒言，誣告太子勇有自立之心，並力薦晉王廣仁孝節儉，頗類文帝，對於楊堅做出廢勇立廣的決定，他起了推波助瀾的作用。他利用文帝的信任，進行政治投機，向新主子表忠心，完全出於自己日後的仕途考慮，毫無公心可言。
仁壽四年（604年），隋文帝的暴卒，亦與楊素有關。當時文帝病重臥床，住在仁壽宮。
尚書左仆射楊素、兵部尚書柳述、黃門侍郎元岩等在身旁侍駕，太子楊廣也奉詔從長安趕來。
楊廣估計文帝時間不多了，就與楊素商量文帝的後事，不巧的是，楊素給太子的回信被錯誤的送到了文帝手中，文帝大怒。這時文帝的寵妃陳夫人，哭著跑到文帝床前，說太子要非禮她。老皇帝聽到這裏，捶胸頓足，大罵道：“這個畜生，我怎麼能將江山交給他啊？都是獨孤害我呀！”並急忙對柳述、元岩說：“快叫我兒來！”二人以為是叫楊廣，文帝喊道：“是楊勇！”柳述和元岩就急忙出去擬詔。等在門外的楊素，通過柳述、元岩二人得知，情況緊急，楊廣很有可能將被廢掉，那麼自己又將會什麼樣的結果呢？想到這，楊素心中頓生邪念，他認為隻有將文帝除掉，讓楊廣立刻即位，才能保全自己的性命與地位。楊素馬上假傳聖旨，將知內情的柳述、元岩逮捕入獄，將皇宮宿衛全部換為楊廣的親信，宮門也由楊廣的心腹把守，將照顧文帝的宮女全部趕到別處。這時，楊素派自己的人進去探望文帝，不久文帝駕崩。
對於文帝是被毒死，還是被扯拉致死，尚不得而知。但清楚的是，楊素直接指揮了這場弑殺文帝的宮廷政變，他用這種慘無人道的手段將信任自己的隋文帝楊堅送上了黃泉路，又迫不及待的跪在新主子楊廣麵前三呼萬歲。隋文帝始終信任楊素，臨死都不知道就是這位忠臣將他置於死地的，這難道不是楊堅的悲劇嗎？行廢立，毀家國。隋文帝一生最大的錯誤莫過於廢立太子一事。楊堅行廢立的主觀動機是好的，是想把江山傳給一位有治國之才的君主。事實卻恰恰相反，繼承者隋煬帝楊廣成了後世帝王引以為戒的反麵典型，成了百姓心目中十足的昏君形象。這是楊堅始料不及的，但卻是他一手造成的。
隋朝建立，楊堅即下詔立皇子楊勇為太子。在相當長的時間裏，父子相處融洽，文帝將許多朝政委給太子處置。但隨著楊堅執政日久，太子也不斷成熟，父子之間的關係便出現了微妙的變化，這種變化被別人發現並利用，就導致了隋文帝廢立太子事件的發生。開皇六年，便有人上書要求楊堅傳位太子。後來某年冬至，百官向太子朝賀，太子也舉行氣勢宏大的儀式受賀，這就遭到了文帝的譴責，並勒令停止此類活動。之後，文帝對太子的恩寵就大不如前了。而太子楊勇生性率直，不擅掩飾，依舊按部就班，做自己喜歡之事。這更加引起文帝和獨孤皇後的不滿。而當時的晉王，即後來的煬帝楊廣，可是極盡表演的天賦。文帝尚節儉，楊廣就將琴弦弄斷，布滿灰塵，顯示其不喜聲色。獨孤後不喜歡男子納妾，楊廣就隻與妻子蕭妃同處，以展示其高尚的風格。這樣，楊廣漸漸討得文帝與獨孤後的歡心，而楊勇的表現越發使他的父母不滿意。廢立太子的聲音，開始傳入文帝的耳中，並最終成為了現實。
隋文帝一直認為自己的決定是正確的，直到臨死的時候他才知道這個新太子的本來麵目，但為時已晚，他隻能含恨撒手西去了。他死後，他的家族和整個國家都遭到前所未有的劫難，卻是他沒有想到的。楊堅一死，楊廣就假傳遺詔，令廢太子楊勇自盡，並誅殺楊勇諸子及楊勇親信的大臣，又令漢王楊諒入朝，楊諒識破了楊廣的騙局，舉兵反叛，楊廣遂發兵數十萬鎮壓楊諒，諒兵敗，被幽禁而死。蜀王楊秀，亦被楊廣囚禁，最後在江都被宇文化及殺害。楊廣兄弟五人，隻有秦王楊俊因早死，而未受到楊廣的殘害。楊廣為了權力，毀了自己的家族，骨肉相殘，多麼慘烈的人間悲劇啊！而更為慘烈的人間悲劇在楊廣執政的14年裏，還在不斷上演。而這一幕幕悲劇，都是隋文帝導演並親自挑選主角的結果。他的嚴刑峻法、苛刻猜忌、不辨忠奸、偏信讒言，給國家帶來這個骨肉相殘、人人自危的悲劇，而文帝所最不願意看到的隋朝滅亡的悲劇，正是他導演的所有悲劇的最後一幕。
隋煬帝楊廣（569—618年），隋朝的第二個皇帝，隋文帝的第二個兒子。他通過各種手段，博得文帝信任，被立為太子。仁壽四年（604年），文帝駕崩，楊廣即位，開始了他的施政時期。他憑借文帝積累的巨大民力和財富，得以無休止地行施暴政。他是曆史上著名的浪子，也是標準的暴君。
曆來都把楊廣當政的十四年稱作是黑暗年代，濫用民力、大興土木、勞民傷財、揮霍無度，是對他施政的概括。但他又曾經為隋朝的建立出生入死，為抵禦突厥而揮師北上，為便利交通修築大運河，為國家安定巡視邊疆。楊廣——一個一直在做大國夢的皇帝！從當政的十幾年裏，他時時刻刻都在為實現大國夢不懈努力，而他的失敗就在於他是一個脫離實際國情的理想主義者。他缺乏了做晉王和當太子時的謀劃，他雖是個強勢皇帝，但他不擇手段的惡毒與不計代價的好大喜功讓他在曆史的舞台上過早的謝幕了。
隋煬帝的大國夢有四個組成部分：大外交、大工程、大排場、大戰爭。讓我們分別來看這四個部分。
大外交。中國古代社會的外交形式主要是中央政權對周邊民族及其政權進行冊封、賞賜，前者是後者的宗主國，後者要承認歸附前者，並承擔納貢、出兵幫助宗主國平叛等義務。而當時交通不便，又處於民族的整合時期，所以周邊民族及其政權叛附不定，使得中央王朝非常頭疼。隋煬帝的大外交戰略，主要是通過他巡視邊疆，向各個周邊民族政權表明中原王朝對他們的關心，使得這些政權不反叛，最終實現安定邊疆的目的。隋煬帝進行過三次北巡和一次西巡，巡視的重點分別是突厥地區與西域地區。除煬帝末期大業十一年（615年）的第三次北巡，由於突厥的叛亂沒有成功外，其餘的巡視均達到了預期的效果：北部突厥未南下犯邊，而西域諸國紛紛歸附隋朝。
但在外交活動中，隋煬帝不切實際地向外邦炫耀財富，造成了國力的大量損耗。大業六年（610年）正月十五，隋煬帝在東都舉行了盛大的慶典，向隨他西巡入京的諸國使節、商人，展示大隋帝國的強盛與富足。東都皇城外的定鼎門大街被開辟成戲場，5萬名樂工在這裏通宵達旦表演各種節目，持續了半個月。煬帝又將東都的市場整飭一新，供各國商人參觀。