開皇十二年(592年)十二月，楊素代蘇威為尚書右仆射，與尚書左仆射高熲同掌朝政。
楊素性疏而辯，朝臣之中，頗推高熲，敬牛弘，厚接薛道衡，蔑視蘇威。其餘的大臣民，多被其淩轢。其才藝風調，優於高熲，至於治理國家，則遠不如高熲。
開皇十三年(593年)二月，隋文帝在岐州之北建仁壽宮，令楊素監造。楊素奏請萊州刺史宇文愷檢校將作大匠，記室封德彝為土木監。楊素為鞏固其政治利益，討好隋文帝，遂“夷山堙穀以立宮殿，崇台累榭，宛轉相屬”。又“役使嚴急，丁夫多死，疲屯顛仆，推填坑坎，覆以土石，因而築為平地。死者以萬數”(《資治通鑒。卷第一百七十八》)。
開皇十五年(595年)三月，仁壽宮建成，隋文帝至仁壽宮。時值天熱，“役夫死者相次於道，楊素悉焚除之”(《資治通鑒。卷第一百七十八》)。其殘暴程度令人發指。此前隋文帝先派高熲前去視察，高熲據實回報：“頗傷綺麗，大損人丁”(《隋書。楊素列傳》)，隋文帝心中不悅。待隋文帝至仁壽宮，見宮殿如此奢華，大怒道：“楊素殫民力為離宮，為吾結怨天下”(《資治通鑒。卷第一百七十八》)。楊素惶恐無比，擔心受責備，一時束手無策，便向封德彝請教。封德彝為人邪辟，多陰謀，便對楊素說：“公勿憂，俟皇後至，必有恩詔。”楊素即於北門拜見獨孤皇後說：“帝王法有離宮別館，今天下太平，造此一宮，何足損費”(《隋書。楊素列傳》)！次日，隋文帝果召楊素問之，獨孤皇後則在傍為楊素辨解：“公知吾夫婦老，無以自娛，盛飾此宮，豈非忠孝”(《資治通鑒。卷第一百七十八》)！結果楊素不但沒有獲罪，反而被賜錢百萬，錦絹三千段。從此，楊素更得隋文帝的信任。而楊素則恃財淩物，對眾人多有淩侮，唯獨重賞了幫其大忙的封德彝。封德彝從此成為楊素的心腹，楊素常與其議論宰相職務，終日忘倦，還撫其床說：“封郎必當據吾此座”(《資治通鑒。卷第一百七十八》)。封德彝在楊素的推薦下，被隋文帝帝擢升為內史舍人。
自開皇初年起，隋采納長孫晟之謀，一直對突厥施用離間計，使其內部長期混戰不休。開皇十七年(597年)，隋文帝允許都蘭可汗之弟突利可汗娶隋安義公主為妻，並故意予以優厚禮遇，借以離間都蘭可汗。都蘭可汗果被激怒，乃斷絕朝貢，多次騷擾隋邊。
開皇十九年(599年，《隋書。楊素列傳》記載為十八年，有誤)二月，突利可汗奏報都蘭可汗製造攻城器械，準備攻擊大同城(在今內蒙烏拉特前旗東北)。隋文帝命漢王楊諒為元帥(實際未親臨前線)，以楊素出靈州(治回樂，今寧夏靈武西南)，尚書左仆射高熲出朔州(治善陽，今山西朔縣)，上柱國燕榮出幽州(治薊縣，今北京城西南)，三路進擊突厥。
都蘭可汗得知隋軍來攻，與達頭可汗結盟，合兵掩擊突利可汗。四月，楊素軍在靈州以北地區與達頭可汗部遭遇。在此之前，隋將在與突厥交戰時，因擔心突厥彪悍的騎兵來往衝殺，都采用戰車、騎兵和步兵相互交叉配合的陣法，陣外四周遍設鹿角、蒺藜等物，騎兵留在最裏麵。楊素認為：“此乃自固之道，非取勝之方也”(《隋書。楊素列傳》)。遂拋棄這種自我保守的落後陣法，改變戰術，下令各軍擺開騎兵陣勢。達頭可汗聞之大喜道：“此天賜我也”(《隋書。楊素列傳》)，並下馬仰天而拜，即率l0餘萬精騎直撲隋軍。上儀同三司周羅睺看到突厥求勝心切，陣形不整，乃請令率精騎迎擊，楊素指揮大軍隨後繼進，大敗突厥，達頭可汗帶著重傷逃跑，其眾死傷不可勝數，號哭而去。
另一路隋軍在高熲的率領下，也大破突厥，都蘭可汗敗逃，後被其部下所殺。隋軍追過白道(內蒙呼和浩特西北)，越過秦山(今內蒙大青山)700餘裏，然後還師。十月，隋冊封突利可汗為啟民可汗，並令長孫晟率5萬人在朔州西北築大利城(今內蒙古和林格爾西北土城子)給啟民可汗駐守，令其招撫突厥其它部落，為分化瓦解突厥，促進民族融合起了重要作用。
楊素在此戰中，敢於棄陳舊落後的車、騎、步互相衛護的保守陣法，大膽使用騎兵突擊，取得大勝，再一次顯了其傑出的軍事才能。戰後，隋文帝下詔褒獎，賜楊素縑二萬匹，及萬釘寶帶。加其子楊玄感位大將軍，楊玄獎、楊玄縱、楊積善皆為上儀同。
楊素“多權略，乘機赴敵，應變無方”(《隋書。楊素列傳》)。同時治軍嚴整，其部如有違犯軍令者，立斬不赦，而絕不寬容。每次作戰前都尋找士兵的過失，然後殺之。每次多者百餘人，少也不下十幾人。由於殺人過多，以至“流血盈前”，而楊素卻言笑自若。兩軍對陣時，楊素先令一二百人前去迎敵，若取勝也就罷了，如不勝而敗逃者，無論多少，全部斬首。然後再令二三百人迎敵，不勝則照殺不誤。所以楊素的部下對他極其敬畏，作戰時皆抱必死之心，所以戰無不勝，稱為名將。楊素當時正受寵幸，隋文帝對他言聽計從，所以楊素征戰的將士，都微功必錄。而其他的將令雖有大功，但都被文官譴卻。所以楊素雖嚴厲凶狠，但由於他能夠恩威並施，所以將士皆願隨其征戰。
開皇二十年(600年)四月，步迦可汗率兵進犯隋邊。隋文帝命楊素隋晉王楊廣出靈州(治回樂，今寧夏靈武西南)，同時又令漢王楊諒、柱國史萬歲出朔州(治善陽，今山西朔縣)，合擊步迦可汗。楊廣為培植自己的勢力，親自與楊素結交，楊素也知楊廣有奪位之心，遂投其門下。
後文帝廢太子勇，立次子廣為太子，楊素參與其事。四年，文帝病重時，察覺楊廣行為不端，欲重立楊勇。時楊素侍疾宮內，聞訊即更換宿衛，控製宮中出入。七月，文帝死，隋煬帝楊廣即位。文帝之死，或疑是楊廣勾結楊素等所下的毒手。八月，並州總管漢王諒舉兵反，煬帝以楊素為並州道行軍總管，討平漢王諒。大業元年（605年），楊素為尚書令，與宇文愷等奉詔營建東部。次年又進位司徒，改封楚公，同年病死。楊素貪財貨，營求產業，邸店田宅以千百數，東西京居宅侈麗，家僮數千，姬妾眾多。楊素工草隸書，善屬文，有集十卷，今不存。子楊玄感，大業中反隋，兵敗被殺。