煬帝自從宣華夫人去世後，好幾天沒有臨朝聽政，王公大臣們都入宮問安，楊素當然也來了。他剛走到殿門，忽然遇到一陣陰風迎麵吹來，不由得毛骨悚然，他定睛一看，見有一人戴著皇冠，身穿帝服，手中拿著一把金鉞斧，從殿裏走出來。這位威靈顯赫的大皇帝並不是煬帝楊廣，而是文帝楊堅。楊素倉皇失措地轉身走，耳邊隻聽到：“此賊休走！我想立楊勇，你不聽我的話，反而和逆子楊廣一同來謀害我，我死得不明不白，今日特來殺你。”楊素更加恐慌，腳下好像有什麼東西絆住，走脫不了，後麵的人已經追上來，“噗”的一聲，頭上挨了一下，痛得暈了過去，吐血不止。殿上有衛兵把守，見到楊素跌倒，連忙前來攙扶，楊素依舊不省人事，被衛兵抬上車送回家中。家人忙請醫喂藥，半天才醒過來，他睜開眼睛看著家人，淒慘地說道：“我活不了多久了，你們準備後事吧。”家人雖然答應，總還盼望他好起來，四處訪請名醫，朝夕診治。煬帝也派禦醫前去探視，禦醫回報說，楊素雖暫時不會死，但也是苟延殘喘，很難再痊愈了。煬帝聽了很是高興，隻是想起宣華，免不了長籲短歎，蕭後也曾勸說：“人死不能複生，何必這麼悲傷？”煬帝說道：“佳人難得，教朕如何能忘懷？”蕭後笑著說道：“天下這麼大，難道除了宣華，就沒有別的佳麗了嗎？”這話一下子點醒煬帝，煬帝便命內監許廷輔等人出宮采選，無論官家還是百姓，看到絕色女子，馬上選入宮來。
許廷輔等人奉旨采選，格外賣力，一個月不到，已將各地人選編列入冊，呈報上來。多則幾十人，少則十幾人，總共有好幾十處，由煬帝通盤籌算，不下一二千人。煬帝自忖道：“天下間難道有這麼多的美女嗎？隻怕將老婦、無鹽女都采選來了吧。”隨後他又轉念想道：“既然已選集這麼多女子，總有幾個符合朕意的，況且宮中灑掃之人越多越好。隻是顯仁宮雖然浩大，畢竟是個宮殿模樣，還要另造一所大花園，才好安插這麼多的女子。”計劃一定，煬帝便召來一班佞臣商議，其中有個內史侍郎虞世基，他說的建議最合煬帝心意，當即就命他督造苑園。虞世基就在洛陽以西開辟兩百裏荒地，內為海，外為湖，湖分五處，暗寓天下五湖之意。每個湖方圓十裏，四麵圍砌長堤，種上奇花異草，並且每一百步建一亭，五十步建一榭，亭榭兩旁栽植紅桃綠柳，湖內有青雀舫、翠鳳舸，還有一艘龍舟預備給聖駕乘坐。
這五湖的水都和內海相通，內海方圓四十裏，中間堆築三座大山，一座叫蓬萊，一座叫方丈，一座叫瀛洲，好像海外的三座神山。山上添造樓台殿閣，工藝非常精巧，山頂高出百丈，向西可回望長安，向南可遠望江淮，湖海交界的地方造了一所正殿，宏偉壯麗更是不在話下。內海以北一帶築成一道長渠，引入海中的水流，長渠邊風景秀麗之處建造一座宅院。院內有十六個房間，可以安頓宮人侍奉煬帝。天下無難事，隻要有銀子。虞世基才監工幾個月，已經初具規模，楚楚可觀。正好這時許廷輔等人送來選女，煬帝便下令將她們安置在新苑中，等候旨令。煬帝自己則帶著蕭後和妃嬪乘坐輿車到新苑遊玩。虞世基當然接駕，煬帝命他做前導，一處處賞玩。煬帝非常愉快，便問虞世基道：“五湖十六苑可曾有名字？”虞世基答道：“臣怎敢擅自取名？還請陛下聖裁！”煬帝說道：“這苑建在西偏，就取名西苑吧。”虞世基點頭稱是。煬帝又說道：“苑中萬物具備，無處不香，也可稱為芳華苑。”虞世基滿口稱讚。煬帝徐徐地步入正殿，下車休息，用過茶點後，便令虞世基取過紙筆，思量著給五湖十六苑命名。煬帝本是個風流皇帝，頗有才思，虞世基又是個風流狎客，擅長文筆。一君一臣，你唱我和，費了兩三個時辰，就將所有名號裁定，由虞世基一一執筆寫下。我也照述如下：
五湖的名稱：東湖名為翠光湖，西湖名為金光湖，南湖名為迎陽湖，北湖名為潔水湖，中湖名為廣明湖。
十六院的名稱：（一）景明院。（二）迎暉院。（三）棲鸞院。（四）晨光院。（五）明霞院。（六）翠華院。（七）文安院。（八）積珍院。（九）影紋院。（十）儀鳳院。（十一）仁智院。（十二）清修院。（十三）寶林院。（十四）和明院。（十五）綺陰院。（十六）絳陽院。
五湖十六苑的名稱已定完，苑內景色如畫，見此情形煬帝變得興致極高，便命內侍整辦美酒佳肴，自己則和蕭後等人退回到後殿。不過半個時辰，酒菜已經陳上，煬帝落座飲酒，後妃們陪坐在旁邊。酒過數巡，煬帝對蕭後說道：“十六院就要建成了，隻不過缺少裝潢。虞內侍煞是能幹，眼看著指日就可完工，朕覺得各院中不能無主，應該挑選佳麗作為每院的主持，皇後以為如何？”蕭後樂得乘機奉承，便含笑答道：“妾聽說許廷輔等人已采選出許多美人，何不就此挑選，充作十六院的夫人呢？”煬帝大喜道：“像皇後這般寬宏雅量，周後妃也不能受到皇帝的專寵了。”煬帝當下就趁著酒興，宣召許廷輔入苑，命他將采選的美女一起帶來。許廷輔領命照辦，個個點名進入。煬帝邊飲酒邊瞧看，真是柳媚花嬌，目不暇接。還是蕭後替他品評，好不容易選定了十六人，也算得上是姿容窈窕、體態幽嫻。煬帝便親自麵諭，各封為四品夫人，分管十六院。煬帝又命虞世基監工製造玉印，上麵鐫著院名以及某夫人的姓氏，製成後就分發下去；又選出三百二十人，充作美人，每院分給二十人，叫她們學習吹彈歌舞，以備侍候宴席。此外有的十人，有的二十人分派到各處樓台亭榭，充當奴役。千餘名選女拜謝皇恩，陸續散去。此時夜已闌珊，煬帝便下令撤席，與蕭後回到顯仁宮。