楊廣在楊素的支持下，靠陰謀手段奪得帝位。開始對楊素自然以恩相視之，禮遇備至，各種賞賜更不在話下。但楊素的驕橫無禮使他逐漸感到難以忍受。尤其是楊素在平定漢王楊諒之亂後，更是居功自傲，盛氣淩人，由此煬帝愈加忌之。而且每當煬帝想起楊素協助他陰謀篡弑的過程，心理便感到很不自在：楊素既然能謀廢楊勇、加害文帝，難道今後能保證他不對自己下毒手嗎？另外，楊素那威風凜凜的派頭也足以令他畏忌。“一日，帝與素釣魚於池，與素並坐，左右張傘以遮日色。帝起如廁，回見素坐赭傘下，風骨秀異，堂堂然。“帝大疑忌”。所以，楊素“特為帝所猜忌”，雖“外示殊禮”，但“內情甚薄”。
對於煬帝的猜忌，機敏的楊素早已觀察到了，但他未動聲色。
大業二年（606年）七月，雖然年老但依然精神矍鑠的楊素突然病倒了。在楊素臥病期間，“帝每令名醫診候，賜以上藥，然密問醫者，恒恐不死”。對此，楊素心裏也完全清楚。終極的富貴，皇帝的猜忌以及疾病的折磨，此時已使楊素喪失了求生的欲望，他感到已不再有什麼目標能鼓舞自己為之繼續奮鬥進取了，他對人生已失去興趣。素又自知名位已極，不肯服藥，亦不將慎，每語弟約曰：“我須更活耶？”楊素終於一病不起而死去，結束了他功名顯赫而又充滿罪惡的一生。
關於楊素之死，還流傳著一種被煬帝謀害的說法：元德太子楊昭自長安來朝，突然死去；數日後楊素亦死，這都是煬帝所致。《雜記》雲：“初，太子之遘疾也，時與楊素同在侍宴，帝既深忌於素，並起一同至，傳酒者不悟是藥酒，錯進太子，既飲三日而毒發，下血二鬥餘。宮人聞素平常，始知毒酒誤飲太子，秘不敢言。太子知之，歎曰：‘豈意代楊素死乎？命也！’數日而薨，後素亦竟以毒斃。”但正史並無此說，姑錄之以存疑。
楊素死後，煬帝對近臣說；“使素不死，終當夷族。”此事後被楊素之子楊玄感聞知。他“自以累世貴顯，在朝文武多父之故吏，見朝政日紊，而帝多猜忌，內不自安，乃與諸弟潛謀作亂”。後玄感興兵叛亂，兵敗自殺，楊素諸子皆坐玄感罪而被誅殺。楊素沒能給他的子孫帶來永享的富貴，卻落得個家破人亡的可悲下場。
楊素是曆史上著名的權奸之一。但他又不同於一般的權奸，而具有自己的強烈特色。他是隋朝的開國勳臣，又是隋朝的禍國元凶；他在戰場上不失為叱吒風雲的英雄，而在朝堂內又是一個地道的譖妄小人；他有非凡的風采和氣度，但又是一個貪侈營財的庸人。總之，楊素終未脫奸臣本色。這樣的奸臣，更發人深思，因而也更能增強人們剖析研究他的興趣。