當時煬帝寵幸的大臣除了裴矩外，還有大將軍宇文述、內史侍郎虞世基、禦史大夫裴蘊、光祿大夫郭衍、工部尚書宇文愷等人，都是靠諂媚奉承得寵的。郭衍曾勸煬帝五天上朝一次，煬帝說道：“這恐怕有違先例。”郭衍又說道：“現如今和高祖時期不同，高祖親定天下應該盡心盡力，如今四海升平，府庫充盈，又何必效仿先人如此勤勞辛苦呢？”煬帝才高興地說道：“郭卿與朕同心，真不愧是忠臣。”
司隸大夫薛道衡上書頌揚高祖，煬帝悵然說道：“這是《魚藻》的寓意呢。”這《魚藻》是《小雅》的篇名，意在諷刺周幽王。煬帝認為薛道衡隱喻譏刺之意，便想降罪於他。這時新政令剛剛頒下，很久都沒有結果。薛道衡對人說道：“假如高熲還沒有死，裁決早就下來了。”裴蘊與薛道衡不和，因此他彈劾薛道衡負才怨望，目無君主。煬帝立即收押薛道衡，處以絞刑，其家眷流放各地，天下人都為薛道衡喊冤。
那時，禦史大夫張衡已出任榆林太守，不久又調到江都監督行宮建造之事。張衡自恃有舊功，非常驕橫自大。他聽說薛道衡被殺後，也為其打抱不平。這時禮部尚書楊玄感奉旨到江都，與張衡相見。張衡沒說別的，隻是再三念叨薛道衡死得冤枉。楊玄感立即據實上報，再加上江都丞王世充奏稱張衡扣減修建行宮的物料。這兩人都彈劾張衡，由不得煬帝不信，於是煬帝立即命令宮廷侍衛去抓捕張衡，想將他處死，轉念想到大寶殿之事都是張衡出力，隻好暫時寬恕，將他免官回鄉。吏部尚書牛弘博學寬容，一向安靜沉穩，被晉升為上大將軍，又改授為右光祿大夫，直到病死，又被煬帝追封為文安侯，賜諡號為憲。隋朝的文武官吏隻有牛弘富貴終身。牛弘有個弟弟叫牛弼，喜歡酗酒縱性。有次他喝醉酒，竟然將牛弘駕車的牛給射殺了。牛弘將死牛抬回家中，牛弘的妻子問他道：“弟弟為何殺牛。”牛弘隻說正好自己想吃牛肉幹，於是命人將死牛抬去做成了牛肉幹。等到牛弘坐定後，妻子又問他道：“弟弟突然殺牛，隻怕不是好兆頭。”牛弘也不多說，隻說了句：“我知道了。”他便不再答話。牛弘的所作所為是否值得提倡，我想大家心中早有評定，不用我再多說了。
話說煬帝和蕭後以及十六院夫人悠然地住在東都，整天遊玩行樂。顯仁宮和芳華苑的通道上種植了許多青鬆翠柳，禦駕時來時往，兩旁都有衛兵值宿護衛。後宮的佳麗一日多過一日，煬帝今晚在這院留宿，明日到那院逗留，不但十六院的夫人多半被寵幸，就連三百二十名美女也湊著機緣得到煬帝的臨幸。這其中最得寵的美女有朱貴兒、袁寶兒、韓俊娥，還有什麼雅娘、杳娘、妥娘等美人，也分辨不出什麼姓氏，隻要容貌生得俊媚，身材生得嫋娜，都會被皇帝寵幸，風流一番。甚至還有僧尼道士也被召入宮中同遊，叫作四道場。從前高祖設宴時，文武官員列一席，僧尼道士和女官列一席，自己則和妃嬪同列一席。如今煬帝設宴卻是男女混雜，簡直放浪形骸，雜亂無章。甚至長得美貌的楊氏女子也公然留下徘徊，妃嬪公主也常和寵臣交歡，女官尼姑和僧人道士通奸。煬帝對此都置之不理，認為是盛世景象。他還在泛舟遊覽五湖時，親自作《望江南》八闋，分別詠歎湖上的八處景觀，我照錄如下：
（一）湖上月，偏照列仙家。水浸寒光鋪枕簟，浪搖晴影走金蛇，偏欲泛靈槎。光景好，輕彩望中斜。清露冷侵銀兔影，西風吹落桂枝花，開宴思無涯。
（二）湖上柳，煙裏不勝摧。宿霧洗開明媚眼，東風搖動好腰肢，煙雨更相宜。環曲岸，陰伏畫橋低。線佛行人春晚後，絮飛晴雪暖風時，幽意更依依。
（三）湖上雪，風急墮還多。輕片有時敲竹戶，素華無韻入澄波，望外玉相磨。湖水遠，天地色相和。仰麵莫思梁苑賦，朝來且聽玉人歌，不醉擬如何？
（四）湖上草，碧翠浪通津。修帶不為歌舞緩，濃鋪堪作醉人茵，無意襯香衾。晴霽後，顏色一般新。遊子不歸生滿地，佳人遠意寄青春，留詠卒難伸。
（五）湖上花，天水浸靈芽。淺蕊水邊勾玉粉，濃苞天外剪明霞，隻在列仙家。開爛漫，插鬢若相遮。水殿春寒幽冷豔，玉軒晴照暖添華，清賞思何賒？
（六）湖上女，精選正輕盈。猶恨乍離金殿侶，相將盡是采蓮人，清唱漫頻頻。軒內好，嬉戲下龍津。玉管朱弦聞盡夜，踏青鬥草事青春，玉輦從群真。
（七）湖上酒，終日助清歡。檀板輕聲銀甲緩，醅浮香米玉蛆寒，醉眼暗相看。春殿晚，仙豔奉杯盤。湖上風光真可愛，醉鄉天地就中寬，帝主正清安。
（八）湖上水，流繞禁園中。斜日緩搖清翠動，落花香暖眾紋紅，蘋末起清風。閑縱目，魚躍小蓮東。泛泛輕搖蘭棹穩，沈沈寒影上仙宮，遠意更重重。
這八闋詞句，煬帝命令宮女演習歌唱，每當乘著夜色遊湖時，歌聲四起，一派脆生生的嬌喉細音，如黃鶯百囀，悅耳動人。其中有幾個精通詞律的侍女，更是將原闋分成波折，變得抑揚頓挫，更加旖旎風光，讓煬帝更覺得風光豔麗，遊興勃發。
一天晚上，煬帝在北海泛舟遊玩，與內侍一同登上海山，忽然月光被薄雲遮住，夜色迷蒙，當然不便登山，就在海山旁邊的觀瀾亭中休息。煬帝正帶著三分酒意，醉眼模糊，憑欄四望，恍惚有一艘小船駛過來，舟中坐著幾人，煬帝還以為是十六院中的美人兒前來迎駕。等小船停駛在亭前，有一人首先登岸，報稱陳後主求見聖駕。煬帝酒意上頭，忘記他已經死了，隻記得從前和陳後主經常見麵，誌趣相投，此時便傳令陳後主來見，不一會兒果然見陳後主前來，穿著當年做長城公時候的衣服。煬帝連忙起身迎接，陳後主屈膝再拜。煬帝連忙用手攙住道：“朕與卿本是故交，何必行此大禮。”說完，煬帝便讓他坐在身旁。彼此坐定後，陳後主開口道：“想當初和陛下交往遊玩，情同手足，如今陛下貴為天子，富有四海，還記得我陳叔寶嗎？”煬帝驚訝地問道：“卿已經好久沒來看望朕了，愛卿現在在何處啊？”陳後主說道：“亡國之主，何處寄身？無非是往來漂泊，做一個異鄉孤客罷了。”煬帝又說道：“卿怎麼知道朕在這裏，前來相會？”陳後主答道：“聽說陛下登上寶座，安享太平，心中很是欽佩。隻是當初認為陛下會勤政愛民，治理天下，哪知陛下也像我當年一樣縱情遊樂，流連忘返，隻圖眼前快樂，沒有什麼政績。如今陛下又鑿通洪渠，東遊揚州，我覺得一時技癢，特地來獻詩助興。”說完，陳後主便從懷中取出一紙呈給煬帝。煬帝聽完陳後主的話已經有些不高興，勉強接過詩詞一看，恰好這時月色漸漸明朗，於是凝神細視，隻見紙上寫著：