開皇二十年（601），晉王楊廣為靈、朔道的行軍元帥，楊素為長史，晉王屈尊與他交往。
仁壽初年，他代替高熲為尚書左仆射，這年，又命楊素為行軍元帥，進擊突厥，連續擊敗敵軍。突厥逃走，他追到夜裏趕上了他們，恐怕他們逃跑，便令其他騎兵走在後麵，自己親率兩名騎兵和兩名投降的突厥人，悄悄地與敵兵一起行走，對方沒有絲毫知覺。等到他們駐紮時還沒穩定下來，他指揮後麵的騎兵突然掩殺過來，將敵人打得大敗。從此，突厥人遠遁而去，沙漠以南再也沒有他們蹤跡。因立戰功將他的兒子楊玄感進位為柱國，玄縱為淮南郡公，賞賜物品二萬件。
獻皇後駕崩，喪葬製度多出於楊素之手。文帝很是讚賞他，下詔說：“君主如腦，大臣好比股與肱。共同治理百姓，職責一體。上柱國、尚書左仆射、仁壽宮大監、越國公楊素，誌向氣度，恢弘寬闊，對事物變化的洞鑒透徹遠大，胸懷輔助時事的韜略，包涵治理國家的才幹。我朝王業初開，稱霸天下的宏圖剛剛奠基，他一出仕就被委以重任。受命出師，擒獲和消滅凶惡的賊首，平定了虢和鄭。多次秉承朝廷製定的謀略，指揮大軍縱橫江南；常常接受朝廷頒布的軍令，率軍長驅於北疆要塞。大軍向南，吳越之地便被肅清；王師北臨，匈奴族的軍隊就被摧垮折服。位居尚書省長官，參與軍國大事的計謀籌劃，在朝廷端正嚴肅，不諂不驕；說話直抒胸臆，不帶隱瞞。談文學則詞氣縱橫，論武功則謀深慮遠，既能文，又能武，對朕唯命是從。凡委以職責，從早到晚都不懈怠。獻皇後氣息奄絕，駕離六宮，遠別日月，融入白雲。墳塋的選擇，靈柩的厝置，都委托楊素來料理。楊素對朝廷義重，為國家情深，想使生者和死者都安康泰然，永遠無窮。他認為闡釋陰陽的書雖然都是聖人所作，但體察其中禍福的道理，尤其須慎。便踏遍山川原野，親自占卜選擇，為了尋求大吉，孜孜不倦，奔波不停。終於在京城附近找到一塊福地，用以營建陵墓。論起楊素的這種心情，對朝廷實在至誠至孝。他平定賊寇，建立豐功偉業，如不給予獎賞，怎麼能申張勸勉獎勵功臣的風氣！可再封他的一個兒子為義康郡公，食邑一萬戶，子子孫孫繼承不斷，其餘賞賜仍按舊章。”
此時，楊素受文帝寵愛越來越重，他的兄弟楊約、從父楊文思、兄弟楊紀以及族父楊異都被封為尚書、列卿。所有的兒子沒有任何汗馬功勞，都位至柱國、刺史。家裏僮仆數千人，後宅的妻妾歌妓，穿著華麗的綢衣的數以千計。府第豪華奢侈，形製有如皇宮。有個叫鮑亨的善於寫文章，一個叫殷胄的工於草書和隸書，都是江南的讀書人，因為受高智慧牽連淪為奴仆。楊素的親友故舊，都地位顯要。他權勢的興盛，近古以來從未聽聞，煬帝楊廣初為太子時，猜忌蜀王楊秀，便與楊素密謀，構陷他的罪狀，後來竟被廢黜。朝臣有違逆他的，楊素暗中中傷他們。如果有人趨附他和他的親友，雖然沒有才幹，也給以提拔。人們無不因畏懼而依附他。隻有兵部尚書柳述，憑借他是文帝女婿的特殊地位，多次在文帝麵前抨擊楊素；大理卿梁毗上表說楊素作威作福。文帝漸漸疏遠並忌諱楊素，後來詔諭說：“仆射，是國家的輔政大臣，不可以親自處理細小的事務。隻需三五天到尚書省議論一下大事就行了。”表麵表示優崇，實際是在削弱他的權力。到仁壽末年，不再讓他全麵負責尚書省的事。文帝賜王公以下的大臣射箭，楊素的射術為第一，文帝親手將外國貢獻的價值數萬的金精盤賞賜給他。
文帝身體不好，楊素與兵部尚書柳述、黃門侍郎元岩等入宮侍奉他的疾病。此時，皇太子楊廣入宮居住在大寶殿，擔心文帝不測，必須早作防備，便親手寫信，封上送給楊素。楊素便將文帝的情況記錄下來，報與太子，宮人將他的信悄悄送給文帝，文帝看後惱怒，文帝寵愛的陳貴人也說太子對他輕狂無禮。文帝發怒，想要召回被廢為庶人的長子楊勇。太子與楊素謀劃，楊素假借文帝的詔命，讓東宮的兵士來宮中守衛，宮門禁止出入，讓宇文述、郭衍來指揮。文帝當天駕崩，因此頗引起不同的議論。
恰逢漢王楊諒反叛，派茹茹天保向東進至蒲州，燒斷黃河上的橋；又派王子率軍與天保合力堅守。楊素率輕騎五千人襲擊，埋伏於渭水渡口，乘夜渡過，天明發動進攻，天保兵敗，王子懼怕，獻城投降。煬帝下詔將他征還。楊素起初將要出發時，計劃著破賊的日子，實際發展都和他估計的一樣，煬帝於是命楊素為並州道行軍總管、河北道安撫大使，去討伐楊諒。當時，晉、絳、呂三州州城都被楊諒把守，楊素每地各用二千人吸引他們。楊諒派趙子開率軍十餘萬，修築險絕的道路，屯據在高壁，布下五十裏大陣。楊素命諸將領兵逼近敵營，自己用奇兵，急速前進，直搗楊諒的大營，一舉將其攻破。楊諒任命的介州刺史梁修羅駐紮在介休，他一聽說楊素率軍到來，就棄城逃走。楊素領兵進至清源，離並州三十裏，楊諒率他的將領王世宗、趙子開、蕭摩訶等迎戰，又被打破，俘獲了蕭摩訶，楊諒退守並州，楊素進兵將並州包圍，楊諒投降，他的餘黨全被平息。煬帝派楊素的兄弟修武公楊約拿著他親手寫的詔書慰勞楊素，楊素上表感謝。
大業元年（605），他升為尚書令，朝廷賞賜給東京的住宅一處、布帛二千段。不久，又被授予太子太師，其他官職如同以往。朝廷前後給他的賞賜無法計算。第二年，又被授予司徒，改封為楚公，這一年因病去世，諡號景武，贈為光祿大夫、太尉公和弘農、河東、絳郡、臨汾、文城、河內、汲郡、長平、上黨、西河十郡太守；送給轀輬喪車一部、手執木刻班劍的儀杖三十人、前後手執羽葆的儀杖和吹鼓手、穀和麥五千石、布帛五千段，鴻臚寺負責料理喪事。煬帝又下詔為他立碑，以表彰他的豐功偉業。楊素曾將一首長達七百字的五言詩贈給番州刺史薛道衡，詞意新穎警拔，風格秀雅超群，成為一時難得的佳作。詩寫成不久，就去世了。薛道衡歎息說：“人之將死，其言也善，果然是這樣啊！”
楊素雖有扶立煬帝的謀略和平定楊諒叛亂的功勞，然而卻特別被煬帝所猜忌。煬帝對他表麵禮遇優隆，實際上情義甚薄。太史說楚地將有大喪，煬帝因而將他改封到楚。他臥病在床的時候，煬帝每次都令名醫去診治，賜給上等好藥，然而卻私下唯恐楊素不死。楊素也知道自己的名位已達到顛峰，所以不肯用藥，也不慎重調養。常常對兄弟楊約說：“我難道還須再活下去嗎？”
楊素貪圖財貨，大肆營求產業，東西兩京的住宅宏麗奢華，往往早晨建好，晚上又拆掉重造，營建修理沒有停止的時候。四方都會繁盛之地，都有他家的旅店、磨房、田園、住宅，其數量以千百計。當時輿論都因此而鄙視他。
第二節 亂世梟雄——李密
李密字法主，文武兼備，誌向高遠，李密收養賓客，接納賢士，毫不吝惜錢財，與楊玄感結有生死之交。後來，又強自克製，沉湎於學習之中，尤好讀兵書，口中不停朗誦。大業初年，他被朝廷授予親衛大都督，因為身體有病，回家休養。
楊玄感密謀叛亂時，曾請李密，召請他與自己的弟弟楊玄挺同去黎陽，共同計議。李密提出三種計策，說：“現在天子遠在遼東領兵攻打高麗，您率兵長驅直入，攻下薊州，直扼隋軍咽喉。前麵有高麗，後麵的退路被斷絕，不戰就可擒獲煬帝，這是上計。關中四麵高山阻隔，駐守在那裏的衛文升不值介意。現在率領人馬早日西進入關，可保萬無一失，這是中計。如果先就近攻打東都洛陽，因而又延誤了時間，這是下策。”楊玄感卻說：“您的下計實則是上計呀。現在滿朝官員的家屬都住在東都，如果不早日攻取，怎麼能動搖他們呢？況且經過的城池而不攻下，怎麼能顯示我們的威力？”李密的意見未被采納。楊玄感率軍攻打東都，認為很快就可成功。他獲取的韋福嗣，出的主意往往模棱兩可。楊玄感讓韋福嗣寫討伐隋煬帝的檄文，他不肯起草。李密了解到情況，請求將他斬首，楊玄感又不答應。李密回來對所親近的人說：“楊玄感造反而又不想取勝，我們將要成為俘虜了。”後來，楊玄感準備西入關中，韋福嗣卻逃歸東都。當時，李雄勸楊玄感趕快立號稱帝，楊玄感征求李密的意見，李密認為不能這樣。楊玄感未采納稱帝的建議。宇文述、來護等率隋軍將要趕到，楊玄感問李密下一步的計策，李密說：“元弘嗣統領強大的軍隊駐紮在陝西隴山之右，現在可以製造輿論，說他要謀反，派使者來迎接您，借此入關，可以籠絡將士。”楊玄感便根據李密的計謀號令全軍。向西進入陝縣久攻弘農不下。又西入閿鄉，隋軍追來，楊玄感失敗。
李密偷入關中，與楊玄感的叔父楊詢一起，藏在馮翊楊詢妻子的娘家。不久被告發，與他的同夥一起被送到隋煬帝那裏。押送途中，李密與其他人密謀逃跑。他們這些人身上帶著許多金錢，李密讓拿出來給押送的人看，並說：“我們都在等著死日的到來，這些金錢送給你，希望用來埋葬我們，剩餘的作為報答。”押送的人貪圖金錢，便滿口答應。等到出了潼關，李密每夜都設宴飲酒。走到邯鄲，晚上住在一個村莊中，李密等七人翻牆逃跑，他與王仲伯一起逃到平原盜賊首領郝孝德那裏，但不受歡迎。他們備受饑餓，隻好剝樹皮充饑。王仲伯潛逃到天水。李密來到淮陽，住在鄉村中，改變姓名叫劉智遠，收幾個學生教他們讀書。經過數月，鬱鬱不得誌，寫下一首五言詩，詩寫好後，熱淚數行。有人感到奇怪，報告給太守，太守下令讓縣裏去逮捕他。李密趕忙逃到他的妹夫雍丘縣令丘君明那裏，丘君明的侄子丘懷義後來又告發了他，他逃跑了，丘君明卻坐罪被處死。