隋煬帝登基不久，漢王楊諒造反，隋煬帝命楊素率五千精兵攻打蒲州。楊素在夜晚集結數百艘商用船隻，悄悄渡過黃河，進攻楊諒的軍隊。蒲州的紇單貴戰敗逃走，王聃獻城投降。
隋煬帝命楊素為並州道行軍總管、兼河北道安撫大使，率大軍繼續討伐楊諒。
楊諒起兵之初，擁有晉州、絳州、呂州。楊素向每城派兩千人，象征性地進行包圍，然後親率大軍進攻楊諒的基地並州。
楊諒派大將趙子開率軍斷絕並州四周所有通道，駐守在高壁嶺上，趙子開布了五十裏長的大陣。楊素一麵命將領率軍攻打，一麵親自率領奇兵暗中進入霍山。
楊素出穀以後，下令紮營，命軍司挑選三百人留守，士兵們恐懼強悍的楊諒叛軍，爭著留守，相互推脫，使部隊無法按時出發。
楊素當即下令將爭著留守的士卒全部斬首。
楊素率軍繞到叛軍後麵，攻打楊諒的大營。一時之間，楊諒所率叛軍不知如何是好，自相踐踏，死傷數萬人。駐守介休的介州刺史梁修羅聽到楊素率大軍偷襲，棄城逃走。
趙子開兵敗以後，楊諒親率十萬人在蒿澤抵抗。不料天降大雨，楊諒隻好退守清源。楊素緊追不放，楊諒節節敗退，最後退守並州。
楊素大敗楊諒，活捉蕭摩訶。楊諒束手無策，隻好請求投降。至此，楊諒的叛軍全被消滅。
楊諒投降以後，文武百官紛紛上奏，認為應誅殺罪大惡極的漢王楊諒，隋煬帝不同意，下命開除楊諒官籍，把楊諒從皇家戶籍中除名，並將楊諒囚禁起來。
平息楊諒叛亂以後，隋煬帝對有功之臣大加賞賜。
楊素在此次平叛中立下了頭功。隋煬帝命楊素之弟楊約帶著親筆詔書，慰勞楊素。
隋煬帝任命楊素為隋朝一直闕而不置的尚書令，楊素也因此成為了隋唐三百餘年中榮登此位的三個名人（另兩人分別是李世民和郭子儀）之-。
平息楊諒叛亂後，隋煬帝舉行了隆重的慶功會，下令將準備賞給有功之臣的金銀財寶、綢緞車馬全部陳列在殿前。然後，隋煬帝召見楊素等平叛的有功之臣，按照等級，一一加以賞賜。
自楊諒反叛以後，隋煬帝急於培植自己的勢力。隋煬帝從即位開始到大業五年，先後四次下詔拔擢新人，隋煬帝急於篩選官僚班子，清理不買他帳的開國元勳功臣。大業初年的政壇可謂風雲變幻。
楊素不論是在宮廷鬥爭之中，還是在平定楊諒的叛亂中，都是一個舉足輕重的人物。
煬帝於大業元年（605年）下令將楊素遷尚書令後不久，又拜他為太子太師，恢複他其餘官銜。表麵上煬帝對楊素的賞賜不可勝計，待遇特別隆重，尊崇備至，但實際上，煬帝並不信任這位不忠於父皇的權相。
隋煬帝坐穩皇位以後，功高震主的楊素成為了煬帝猜忌的對象，內情非常薄。
大業二年楊素得病，煬帝表麵上常命名醫為楊素診洛，還不斷賜給楊素上等藥物，但私下秘密詢問醫生，擔心楊素不死。
楊素知道自己名位至極，被煬帝所猜忌，此次即使不病死，早晚也會被煬帝處死。因此，楊素不肯服藥，不肯休養，毫不懼怕地等死。
位高權重的楊素之死，令隋煬帝大大地鬆了一口氣。隋煬帝極為風光地厚葬了楊素。
張讓由於平息竇武有功而升為中常侍，是漢靈帝最信任的人。張讓等宦官肆虐朝政，橫行淫威，對漢朝的統治破壞極大。後來，張讓等人殺死國舅何進作亂，被追得無路可逃，投河自盡。