煬帝這一晚很是高興，回到寢宮中美美地睡了一覺。過了一夜接到急報，說是魏刀兒的部下甄翟兒率十萬賊眾入侵太原，將軍潘長文戰死。煬帝因太原是要地，叛賊氣焰囂張，也有些害怕，急忙調派山西、河東慰撫大使李淵去討伐甄翟兒。隨後又有警報頻頻傳來，左翊衛大將軍宇文述怕煬帝不高興，常常把軍報隱匿不上呈，煬帝稍有聽聞。一天臨朝時，煬帝詢問群臣道：“近來盜賊的情況怎麼樣了？”宇文述奏報道：“已經漸漸減少。”光祿大夫蘇威獨自隱身在殿柱後麵，煬帝便召問蘇威，蘇威答道：“臣沒有主管軍事，不知道賊人有多少，隻擔心他們越來越近。”煬帝問他為何，蘇威說道：“前日賊寇占據長白山，今天又到了汜水，而且之前的租賦丁役都不見了，豈不是都投身賊營了嗎？”煬帝說道：“區區小賊，還不足以憂慮。隻是高麗王高元至今不來朝貢，實在可恨！”蘇威又答道：“高麗在外，盜賊在內，臣認為高麗沒有影響，而內患實在令人擔憂。況且陛下在雁門時說過不再東征，如今又想發兵征討，試想連年東征已經是民不聊生，百姓怎能不相繼為賊呢？”煬帝聽後勃然大怒，拂袖退朝了。到了端午節，百官爭相獻上珍寶奇玩，隻有蘇威獻上一部《尚書》，有人從旁誣陷蘇威道：“《尚書》中有五子之歌，蘇威是想借此誹謗聖上。”煬帝正不明白蘇威獻書的意思，聽到這話，更加惱怒。隨後，他又再次提議征討高麗，群臣無人敢諫阻，唯獨蘇威上前奏請道：“想要征討高麗何必發兵呢，隻要赦免各處的盜賊，就可得到數百萬人，讓他們東征，必定能立功贖罪，高麗也就不難降服了。”煬帝沒有說話，一臉的怒氣，蘇威當場退出。禦史大夫裴蘊奏報道：“蘇威大言不慚，天下哪來這麼多的盜賊。”煬帝恨聲說道：“虛張賊勢，想要恐嚇朕，朕正想處罰他，隻是顧念他是多年老臣，才忍耐一二。”裴蘊也告退，另外唆使人上章彈劾蘇威，說他前時在典選官員時濫授官職。煬帝便立即奪去蘇威的官職，貶為平民。又過了一個多月，有人誣告蘇威私通突厥，裴蘊奉旨查辦，上奏說蘇威確有其罪，請求立即處死。煬帝還是不忍心誅殺蘇威，免他一死，隻是將蘇威的子孫三世除名。
時光易過，又是秋來，江都報稱新造的龍舟已經完工，規模更加宏偉壯麗。煬帝很高興，立即準備南巡，留下越王楊侗在江都居守。右候衛大將軍趙才進諫道：“如今百姓勞苦，府庫空竭，盜賊蜂起，願陛下返回西京安撫民心，怎能又去江南巡遊呢？”煬帝大怒，下令將趙才拘捕入獄。建節尉任宗、奉信郎崔民象以及王愛仁先後諫阻，全部被殺。此外無人敢再勸阻。這番南巡，煬帝將後妃全部帶去，規模比第一次還要盛大。南巡隊伍剛出西苑，有一人俯跪在地上擋住煬帝的車駕，口稱小臣送駕，語帶嗚咽。煬帝從車輦中俯視，見是西苑令馬守忠，便說道：“你留在這看守西苑，不勞你送行了。”馬守忠說道：“鑾駕已經出發，我知道很難再挽回，隻希望陛下早日回來，小臣願意整頓西苑，恭候聖駕。”說完，馬守忠淚如雨下。煬帝也有些傷感，半晌又說道：“朕隻是偶然去遊幸，自當早回，你何必這般悲傷。”馬守忠說道：“陛下建造這所西苑，不知耗費了多少財力，才擁有這五湖四海三神山十六院的風景，陛下難道不愛戀嗎？如今陛下舍下這裏到遠方去遊玩，讓小臣睹景傷心，所以才流下淚來。”煬帝黯然說道：“朕又不是一去不回，你隻要好生看守，不要讓園中的花木凋落，殿宇蕭條。”說完，煬帝有感而發，吟詩一首道：“我慕江都好，征遼亦偶然。但存顏色在，離別隻今年。”念完，煬帝命令內侍抄錄下來，遞給馬守忠留存。馬守忠這才起身讓過鑾駕。隨行人員見馬守忠的奏請和煬帝的答言都寓含著悲感，覺得有些詫異，好像不是好兆頭，但也隻能隱忍過去，擁護禦駕出發。到了河濱，煬帝下車見到新造的船隻都有雲龍裝飾，燦爛奪目，當然欣慰，便和蕭後分坐最大的龍舟。十六院的夫人也各自乘坐龍舟一艘，規模略小。此外美人也都一一分派，各有坐船。文武百官有的在船中居住，有的在岸上夾護。拉船的民夫如果沒有停泊的號令，就是夜間也要拉船行駛。
啟程這一天，秋高氣爽，水麵上的涼風陣陣，吹走了那白天剩餘的暑氣，煬帝卻不能安睡，他起身打開船窗，眺望夜景，隻聽到一片歌聲，順風刮來。歌雲：
我兄征遼東，餓死青山下；今我挽龍舟，又困隋堤道。方今天下饑，路糧無些小，前去千萬裏，此身安可保？暴骨枕荒沙，幽魂泣煙草；悲損門內妻，望斷吾家老。安得義男兒？焚此無主屍；引其孤魂回，負其白骨歸。
煬帝聽後，忍不住心中的憤意，便命令左右去緝捕歌夫。左右奉命前去，鬧了半夜，沒有搜尋到任何蹤跡。煬帝也彷徨不安，坐等到天亮，經左右回報，隻說沒人唱歌，所以無從緝捕。煬帝雖然驚疑，也隻好暫時忽略到一邊，仍下令啟程。第二天，天氣忽然暴熱，竟然秋行夏令，好似酷暑一般。龍舟雖然寬敞，也讓人覺得異常悶熱。岸上拉纖的役夫全都揮汗如雨，十分疲憊。煬帝也有些憐憫，采用翰林學士虞世基的建議，命人就汴渠兩堤移種柳樹，並且詔諭地方人民，獻柳樹一株就賞錢一串。當時柳樹還未凋謝，百姓都挖柳來獻，煬帝從舟中登岸，親自栽種一株，作為表率。百官也各種一株，然後讓百姓分種，照柳給賞。百姓們非常踴躍，越種越多，並且隨口編出幾句歌謠唱道：“栽柳樹，大家來，好遮陰又好當柴。天子自栽，然後百姓栽。”煬帝聽後，滿心歡喜，又取錢分賞給百姓，並親自書寫金牌，懸掛在最高的柳樹上，賜柳姓楊，因此後人稱柳樹為楊柳。當然楊柳一詞是否起於隋朝，還有待考證。