楊素率水軍繼續順江東下，一時“舟艫被江，旌甲曜日”(《隋書。楊素列傳》)。楊素坐平乘大船，容貌雄偉，陳人望之懼曰：“清河公即江神也”(《隋書。楊素列傳》)。陳荊州刺史陳慧紀派南康內史呂忠肅率軍屯守歧亭(今長江西陵峽口)，在兩岸岩石上鑿孔，係三條鐵索橫截江麵，阻遏隋軍戰船。為固守峽口，呂忠肅將自己私產全部捐出充軍，所以陳軍鬥誌頗高，防禦也很嚴密。開皇九年(589年)正月，楊素分兵一部與大將軍劉仁恩軍相配合，猛攻陳軍岸上柵障營壘，呂忠肅率軍據險抵抗，激戰40餘次，隋軍傷亡慘重，死5000餘人。陳軍盡割死者之鼻以邀功求賞，激起隋軍憤怒，拚死力戰，多次獲勝。所俘陳軍將士，楊素則全部釋放。在隋軍猛烈攻擊下，呂忠肅被迫放棄營柵，連夜逃走。楊素令士卒毀掉欄江鐵索，繼續沿江而下。
呂忠肅退據荊門之延洲(今湖北枝江附近長江中)，依恃荊門山險要地形，再次阻遏隋軍。楊素派善於駕舟的巴延士卒1000人，乘“五牙”戰艦4艘，用艦上拍竿擊碎陳戰船10餘艘，俘2000餘人，再次大破呂忠肅軍，呂忠肅隻身逃走。駐守江南岸安蜀城(今湖北宜都西北長江南岸)的陳信州刺史顧覺，也棄城逃走。屯守公安(今湖北公安西北)的陳慧紀見形勢不利，燒掉儲蓄，率軍3萬、戰船千餘艘，順流東撤，企圖入援建康(今南京市)，被秦王楊俊軍阻於漢口(今湖北漢水入長江之處)以西。巴陵以東，無敢守者。陳湘州刺史，嶽陽王陳叔慎亦降於楊素。此戰，楊素、劉仁恩以水軍、步兵相配合，先擊破陳軍江岸據點，再以水軍戰船接舷戰，大破敵軍。隋大型戰艦“五牙”及重型拍竿裝備在作戰中顯示了威力。優俘政策對瓦解陳軍、配合軍事進攻，具有積極作用。至此，長江上遊為隋軍所控製，阻止了上遊陳軍的東援，保障了下遊主力的渡江作戰。
隋軍在長江上遊作戰獲勝後，楊素一麵率主力沿江東下，與秦王楊俊會師於漢口(時下遊隋軍已攻占建康)，一麵派兵南下略地，擴大戰果。二月初又派薛胄、劉仁恩率軍進擊湘州。隋軍一舉擊敗出城迎戰的陳湘州助防遂興侯陳正理和樊通軍，薛胄等乘勝入城，俘陳叔慎。劉仁思軍再破鄔居業於橫橋(今湖南常德)，擒鄔居業等。湘州等地的平定，為隋進軍嶺南準備了前進基地。
還軍，楊素因戰功卓著被進爵郢國公，邑三千戶，真食長壽縣千戶。以其子楊玄感為儀同，楊玄獎為清河郡公。賜物萬段，粟萬石，加以金寶，又賜陳主妹及女妓十四人。楊素又上言：“裏名勝母，曾子不入。逆人王誼，前封於郢，臣不願與之同”(《隋書。楊素列傳》)。於是改封越國公。六月，拜納言；開皇十年(590年)七月，轉內史令。
江南自東晉以來，世家士族一直欺壓寒門庶族。隋滅陳統一中國後，南方士族豪強因對隋實行的限製政策不滿，便利用民間對隋欲移民關中流言的驚恐心理，乘機煽動叛亂。十年十一月，婺州(治今浙江金華)汪文進、越州(治今浙江紹興)高智慧、蘇州沈玄儈等均舉兵反隋，自稱天子，署置百官。蔣山(今南京鍾山)李忮、樂安(今浙江仙居西)蔡道人、溫州沈孝徹、泉州(治今福州)王國慶等，都自稱大都督，起兵攻陷州縣，反亂大抵遍及原陳屬地。其規模大者數萬人，小者數千人，互相呼應，殘殺隋朝官吏。麵對如此嚴峻的形式，隋文帝遂命楊素為行軍總管率軍平叛。
楊素率軍由楊子津(今江蘇揚州南)渡江，首先擊破叛軍朱莫問(自稱南徐州刺史)於京口(今江蘇鎮江)。繼而擊敗晉陵(今江蘇常州)顧世興，顧世興率其都督鮑遷等再戰，楊素擊破之，俘鮑遷以下3000餘人。又進擊無錫葉略，平之。時沈玄儈、沈傑等等正圍攻蘇州，刺史皇甫績屢戰不利，楊素軍趕到將其擊敗，沈玄儈逃至南沙人陸孟孫處，楊素進擊陸孟孫於鬆江，大破之，生擒陸孟孫、沈玄儈。黟、歙叛軍沈雪、沈能據柵自守，又攻拔之。
高智慧(自稱東揚州刺史)率部據守浙江(今錢塘江)東岸營壘，屯據要害，周圍百餘裏，船艦千艘，遮蓋江麵，鼓噪而進。子總管來護兒建議：“吳人累銳，利在舟楫。必死之賊，難與爭鋒。公且嚴陣以待之，勿與接刃，請假奇兵數千，潛度江，掩破其壁，使退無所歸，進不得戰，此韓信破趙之策也”(《北史。來護兒列傳》)。楊素納其言，並命其率輕型戰船數百艘，偷渡浙江，以奇兵突襲，並焚燒高智慧後方營壘，使其恐懼不安；楊素則乘機率軍從正麵突擊，大敗高智慧軍。爾後，楊素派行軍總管史萬歲率軍2000人進攻婺州，自率主力由海道追擊逃入海中的高智慧，直趨溫州。高智慧來戰，楊素將其擊敗，俘數千人。而後又平定蔡道人、汪文進。楊素在溫州擊敗沈孝徹後，便由陸路轉向天台、臨海(今屬浙江)，繼續追擊反隋散兵，前後戰鬥達100多次。高智慧退守閩、越。
此時隋文帝考慮到隋軍長時間征戰，便詔令楊素入朝。同時加其子楊玄感為上開府，賜彩物三千段。而楊素則認為：“餘賊未殄，恐為後患”(《隋書。楊素列傳》)，便上書請求暫緩返京，繼續剿匪。隋文帝對楊素此舉非常讚賞，便下詔說：“朕憂勞百姓，日旰忘食，一物失所，情深納隍。江外狂狡，妄構妖逆，雖經殄除，民未安堵。猶有賊首凶魁，逃亡山洞，恐其聚結，重擾蒼生。內史令、上柱國、越國公素，識達古今，經謀長遠，比曾推轂，舊著威名，宜任以大兵，總為元帥，宣布朝風，振揚威武，擒剪叛亡，慰勞黎庶。軍民事務，一以委之”(《隋書。楊素列傳》)。楊素繼續率軍由會稽(今浙江紹興)走海道向泉州追擊。
時泉州人王國慶為南安豪族，殺刺史劉弘，據州為亂，各處逃亡的叛軍皆附於他。王國慶自以為海路險阻，而隋軍多為北方人，不習海戰，遂不設防。楊素率水師從海道掩至，王國慶大驚，棄州逃跑，其眾或入海島，或守溪洞。於是楊素分遣諸將，水、陸分進追捕。並派人密勸王國慶：“爾之罪狀，計不容誅。唯有斬送智慧，可以塞責”(《隋書。楊素列傳》)。王國慶遂抓獲高智慧，送交隋軍，楊素將其斬首，餘眾全部投降，至此，江南全部平定。此戰，楊素辭謝回朝休養詔令，堅持除惡務盡，連續追殲徹底平定江南之亂，對鞏固隋朝統一，發展生產具有積極作用。隋文帝派左領軍將軍獨孤陀迎至浚儀犒勞隋軍，待回京後，問者日至。隋文帝再封楊玄獎為儀同，賜黃金四十斤，加銀瓶，實以金錢，縑三千段，馬二百匹，羊二千口，公田百頃，宅一區。