楊素因屢立戰功，再加上他為人強悍陰險。有一套強化自己權勢的手段，因而能長期作為最顯貴的權臣而左右朝政。《隋書·楊素傳》稱“素之貴盛，近古未聞”，並非誇張。
楊素不僅本人身居高位，而且其家滿門貴顯。“時素貴寵日隆，其弟約、從父文思、弟文紀，及族父異，並尚書列卿。諸子無汗馬之勞，位至柱國、刺史”，“親戚故吏，布列清顯”。真可謂“一人得道，雞犬升天。”
楊素為人又極其奢侈貪財，這在曆史上也是罕見的。他“家僮數千，後庭妓妾曳綺羅者以千數。第宅華侈，製擬宮禁”。他本來已豪富無比，但仍一味營求不止，“素負冒財貨，營求產業，東、西二京，居宅侈麗，朝毀夕複，營繕無已，爰及諸方都會處，田宅以千百數”。故“時議以此鄙之”。
杜光庭所撰《虯髯客傳》曾描寫了楊素的一個殊色妓女私奔李靖的故事。據此妓女說，楊素晚年諸妓“去者眾矣，彼亦不甚逐也”，於此也可見其妓妾之多。雖然杜光庭之文屬於傳奇，此事未必完全屬實，但這起碼說明楊素之豪侈已為世人所公認，因而由此生出種種帶有傳奇色彩的故事。
隨著“寵貴日隆”，本來生性傲慢的楊素，到後來愈加驕橫。滿朝文武，概不放在眼裏。尤其是楊廣為帝之後，楊素更是飛揚跋扈。他自恃擁立之功，見煬帝多呼為“郎君”。有時侍宴內殿，宮人因不慎覆酒汙素之衣，楊素則當著煬帝的麵大發雷霆，叱左右將其引下殿堂，加以痛打。對皇帝尚且如此，其他人更可想而知了。
“順我者昌，逆我者亡；結黨營私，排除異己”。這是一切權奸的共同特點，而楊素尤為典型。早在文帝在世之時，不畏權勢的大理卿梁毗“見楊素專權，恐為國患”，曾彈劾楊素說；“竊見左仆射越國公素，幸遇愈重，權勢日隆，階紳之徒，屬其視聽。忤旨者嚴霜夏零，阿旨者甘雨冬澍，榮枯由其唇吻，廢興候其指麾；所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。”梁毗將楊素比作“卒殄漢紀”的王莽、“終傾晉祚”的桓玄。《資治通鑒》評論楊素說：“既廢一太子及一王，威權盛。朝臣有違忤者，或至誅夷；有附會及親戚，雖無才用，必加進擢，朝廷靡然，莫不畏附。”
《資治通鑒》上文所提到的“一王”，乃指文帝之子、蜀王楊秀。楊秀“容貌魁偉，有膽氣，好武藝。”及太子楊勇以讒被廢、晉王楊廣為太子，“秀意甚不平”。楊廣恐秀為後患，“陰令楊素求其罪而譖之”，終使楊秀被廢為庶人，幽禁於內侍省，並不許與妻、子相見。其狀也很悲慘。
治書侍禦史柳彧，為人剛正不阿。當初，楊素曾因事被遣敕送禦史台。楊素仗恃自己地位尊貴，到禦史台後坐於柳彧床上。柳彧從外來，端笏整容，嚴肅地對他說：“奉敕治公之罪！”楊素才急忙從床上走下。柳彧據案而坐，令楊素立於庭，辨詰事狀。楊素因此恨之。及蜀王楊秀被廢，楊素便借機報複柳彧，以楊秀曾向柳彧求《治道集》一書為口實，奏劾柳彧以內臣交通諸侯，結果使柳彧被除名為民，配戍懷遠鎮。
太平公史萬歲為隋朝名將，屢立戰功。後來，大破入侵的突厥，“楊素害其功”，對文帝說：“突厥本降，初不為寇，來塞上畜牧耳。”於是文帝不予論功行賞。史萬歲意不平，“數抗表陳狀”。時文帝已廢楊勇太子，正在窮糾東宮黨與。文帝向楊素問史萬歲在何處，準備召見。當時，史萬歲實在朝堂，楊素明明知道，可他為了激怒文帝，竟陰險地謊稱：“萬歲謁東宮矣！”文帝信以為真，勃然變色，令人迅召史萬歲。時萬歲屬下將士因有功不賞而在朝堂稱冤者數百人。此時萬歲不知已被楊素所譖，見到文帝後，尚“詞氣憤厲”地抗言“將士有功，為朝廷所抑”，可文帝正在為他“謁東宮”一事發火，哪有心思聽這些，結果盛怒之下，“令左右擊殺之”。而史萬歲實不知自己究竟因何而死，竟連申辯的機會也沒有得到。楊素就這樣很輕鬆地以一句謊言便要了一位勳臣的性命，除掉了一個他所嫉妒的人。對史萬歲之死，“天下共冤惜之”。
楊素與鴻臚少卿陳延有嫌隙，伺機報複，苦於找不到陳延的罪名，但他利用文帝“喜怒不恒”的性格，在文帝心緒惡劣最易發脾氣的時刻奏報陳延所轄之蕃客館“庭中有馬屎，又從仆於氈上樗蒲（一種類似擲骰子的遊戲）”。結果，文帝大怒，“主客令及樗蒲者皆杖殺之，棰陳延幾死”。
綜上可見，楊素與一般粗直武將不同。他膽大心細，善於捕捉各種有利的時機來讒害傾陷他人，他是一個強橫而又非常狡詐乖巧的人。