登上皇位後的楊堅開始變得不學無術，認為學問沒有什麼用處，於仁壽元年（601）下詔，除國子監外，其餘的學校全部廢除。雖然大臣們再三勸諫，也終無法改變楊堅對文化的藐視。
楊堅疑心很大，所以不相信人，也不看重文化，卻信奉鬼神，無論哪路神仙，他都虔信、禮敬，特別是對佛教，他大加崇祀，廣建佛塔、寺院；佛教風靡全國。甚至對宮女渲染的妖精，楊堅也深信不疑。一次，嬪妃們說時常有人挑逗她們，楊堅斷定宮門防衛森嚴，外人進不來，定是妖精作祟，命令嬪妃們再發現有人挑逗，應揮劍砍殺。有個宮女遵旨實施，手中的劍好像砍在一堆腐骨上，沒有見血，宮女追，妖精跳入水池中不見了。楊堅信以為真，下令把池水淘幹，結果在池中捉到了一隻大烏龜！由此可以想見楊堅的某些思想是多麼的偏激。
楊堅其實是個很節儉的人，不大講究吃穿，所以後世雖然說他殘暴，卻盛讚他節儉。但是，楊堅在建造宮殿上卻不怕浪費、奢靡。他做皇帝的第二年，因為嫌從前的長安城規模太小，且經常鬧鬼，便下詔令在舊城西北修築新城，命名為“大興城”。過了十年，楊堅對大興城失去了興趣，又在岐州（今陝西鳳翔南）耗費巨資興建豪華的仁壽宮。過了五年，又在仁壽宮和大興城之間修建行宮十二座，其大興土木的奢侈也可見一斑。
楊堅明知道自己的暴政，卻還時常沽名釣譽地搞點兒所謂的仁慈行為。一次，關中大旱，糧食歉收，百姓連糠菜都吃不飽。楊堅看到這種情況十分難過，說這是自己統治不好的結果。為了彌補過失，他帶著關中百姓浩浩蕩蕩地向洛陽進發，去謀生路。這時，他的富麗堂皇的仁壽宮剛剛竣工，國庫中的存糧還滿滿的，他沒有拿點兒出來賑濟瀕臨死亡的饑民，卻讓百姓扶老攜幼，跋涉千裏去洛陽謀生。到了洛陽怎樣謀生，楊堅就管不了那麼多了，他隻是想做做樣子而已。
雖然楊堅想方設法鞏固他好不容易到手的楊氏江山，但他的許多行為又自毀長城。到他統治的末年，大隋皇朝已是危機四伏，不堪一擊，搖搖欲墜了。
立嗣失誤
出身名門望族的獨孤伽羅皇後，楊堅發跡，就沾過獨孤氏的光，他對皇後獨孤伽羅心懷畏懼。可以說，楊堅統治著天下，獨孤伽羅左右著楊堅。楊堅上朝，獨孤伽羅同車相隨，隻是停在殿外，但獨孤伽羅派親信宦官跟著楊堅上朝，若發現楊堅對問題的處理有不當之處，便出來報告獨孤伽羅，獨孤伽羅就把自己的意見轉達進去。楊堅退朝，二人同車回寢殿。故宮中稱楊堅、獨孤伽羅為“二聖”。
獨孤伽羅的嫉妒心很強，除了她之外，不許楊堅和別的女人親近。雖然三宮六院齊全，但那僅是一種擺設；楊堅也不是不好女色，隻是懾於獨孤伽羅的雌威不敢而已。一天，楊堅看見被充入後宮的尉遲迥的孫女很有姿色，忍不住與她親熱了一番。很快，後宮有人把這事密報了獨孤伽羅。獨孤伽羅臉上很平靜，沒什麼變化。待楊堅上朝後，獨孤伽羅便讓人殺死了尉遲氏。楊堅聞訊，憤懣難忍，又無處發泄，自己騎馬出宮，馳入山穀。大臣聞悉，驚慌失措，高熲、楊素等人騎馬追趕，拉住楊堅的馬頭苦苦勸解。楊堅憤怨滿腹，道：“朕貴為皇帝，行為卻沒自由！”
不管楊堅的心裏怎樣憤憤不平，但他始終不能擺脫獨孤伽羅的影響、製約。在立皇嗣上，他再次為這個女人所左右。
楊堅的五個兒子：楊勇、楊廣、楊俊、楊秀、楊諒，都是獨孤伽羅所生。長子楊勇被立為皇太子，楊堅對他寄予厚望，十多歲時便讓他參與軍國大政。但隨著年齡的增長，楊勇越來越迷戀女色。獨孤伽羅最討厭的就是這事，甚至勸楊堅查辦有私生子的大臣。楊勇的第一個兒子便是私生子，是一個姓雲的女子生的。楊堅雖不滿獨孤伽羅對他的製約，但又不敢不與她同好惡。況且他對楊勇的私生子很不滿，懷疑那個私生子是否是楊勇的血脈，唯恐他亂了楊氏皇族的血統。楊堅開始斥責楊勇，誰知楊勇不買賬，甚至公開對抗，氣得楊堅七竅生煙，無比的惱火。
隋文帝的第二個兒子楊廣，在開國時被封為晉王，在滅陳時他統率三軍，建立了豐功偉績。他相貌堂堂，很有文采，且很有心計，禮賢下士，頗為朝中大臣所稱道。
楊廣早就覬覦著皇太子的位子，見楊勇惹父母討厭，心中大喜。他是個擅長玩騙術的人，遂使出渾身解數，討父母、特別是母後獨孤伽羅的歡心。他雖然是個好色之徒，卻裝得極為檢點，隻和王妃蕭氏相處，別的妃子生了孩子，便偷偷地殺掉。每逢父母駕臨他的府邸，他便把年輕貌美的姬妾藏起來，讓年老醜陋的宮女穿上粗劣的衣服充當嬪妃。獨孤伽羅越來越喜歡楊廣，鼓動楊堅廢了楊勇，另立楊廣為皇太子。