煬帝又特派密使跟隨突厥來使入關，從小路繞到突厥的牙帳，請義成公主設法解圍。義成公主於是寫信給始畢可汗，謊稱北方有急，催促始畢可汗還軍。始畢可汗不能前進，又怕後顧之憂，隻得撤兵解圍，失意地回去。煬帝因始畢可汗退兵，又放大了膽，派遣騎兵去追擊。始畢可汗已經走遠，隻剩下後麵的老弱殘兵一二千人被官軍擄掠回來，複命報功。煬帝下令斬首，把頭懸示門上，然後啟程南歸。到達太原時，宇文述等人奏請仍然回到東都，忽有一老臣進諫道：“近年來盜賊層出不窮，兵馬疲憊，願陛下回到西京穩固根本，才是長久之計。”煬帝一瞧，是光祿大夫蘇威，便悵然說道：“卿說的有道理，朕當依卿。”蘇威便退出來了。原來蘇威自從阻止煬帝建造長城，忤逆旨意被煬帝罷免，沒多久他又被起任為納言，隨後又晉升為光祿大夫，加封房公。此次他也跟隨煬帝來到雁門關，所以才有了這番請求。
煬帝見蘇威已經告退，又召宇文述前來商議。宇文述答道：“隨行官員的妻子大多在東都，就算要返回西京，也應該先到洛陽小歇幾日，再從潼關入京也不遲。”煬帝的本意也是想前往洛陽，宇文述揣摩聖意，巧為迎合，當然句句投機。於是煬帝下令暫且不去關中，先從太原南下，直達東都。到了東都，煬帝環顧街市，對侍臣說道：“都中的人還很多啊，不可不防。”侍臣沒有明白煬帝話中的意思，唯唯而罷，後來經一些聰明人從旁猜測，才得知煬帝話中的意思。原來煬帝覺得之前楊玄感的叛黨殺得太少了，還有餘黨混跡在都中，所以不能不防。其實人民反叛全仗著君主去善加撫慰，豈是一味地誅殺能蕩平的？並且煬帝喜殺厭賞，性情暴戾刻薄，從前平定楊玄感時，許多有功勞的人都沒有得到賞賜。這次將士固守雁門關，共計一萬七千人，事後記錄功績時，隻有一千五百人得到晉封，和在雁門關所頒的諭旨完全不相符。將士們認為皇帝金口玉言，可到了頒賞的時候就像兒戲，都有怨言。樊子蓋代眾將報功請賞，也說不應該失信於將士，煬帝臉色大變，說道：“你想收買人心嗎？”樊子蓋碰了個釘子，也不敢再說什麼。於是軍心解體，各懷二心。
那煬帝在東都流連忘返，始終不願入關中，整日裏沉迷酒色，喝美酒，偎紅顏，恣意貪歡，不顧性命。一天，他對近侍說道：“天子享受天下的富貴，應該竭盡天下的歡樂，如今宮苑建築雖然宏偉壯麗，足以顯示尊榮，但可惜沒有曲房小室，能讓朕悄悄地尋樂追歡，如果現在有良工巧匠為朕建造一座精巧的宮室，朕生平願足，決計從此終老了。”話還沒說完，近侍高昌奏陳說：“臣有一友，姓項名升，是浙江人氏，他曾說自己能建造精巧的宮室，請陛下召他前來，定能別出心裁，曲中聖意。”煬帝說道：“既然有這樣的人，你快去替我召來！”高昌領旨前去。過了十來天，高昌已將項升召來，引見給煬帝。煬帝說道：“高昌推薦你，說你能建造宮室，朕嫌此處宮殿都太闊大，沒有逶迤曲折的妙趣，所以命你另外建造。”項升答道：“小臣雖然粗懂建造，隻怕不能理會聖意，請容我先繪就圖樣，請聖上裁決，然後再開工。”煬帝說道：“你說得有理，但不能拖延。”項升領旨退下，趕緊畫圖，費了好幾日工夫才將圖樣畫成，呈獻給煬帝。煬帝展開細看，見到上麵畫著一座大樓，卻有無數個房間，無數的門戶，左一轉，右一轉，離離奇奇看不明白。經項升在旁指示，才覺得有些頭緒，便怡然說道：“圖中這般曲折，造將起來一定精巧玲瓏，朕非常滿意。”說著，煬帝立即命內侍取出百端彩帛賞給項升，並命他即日開工，項升拜謝而出。煬帝又連下二詔：一是命令四方輸運木材；一是催各郡征納錢糧，並派舍人封德彝監督催辦，如有遲延，指名彈劾，不得徇私。於是招募的工匠陸續趕到東都，項升就在芳華苑以東挑了一塊幽靜雅致的地方，依圖趕建。大家試想一下！天下能有多少財力禁得起窮奢極欲的隋煬帝，今日造宮，明日造苑呢？東京才成，西苑又起，長城未了，運河又興。還要南巡北狩，東征西略，把金錢浪費虛擲，完全不知節儉。就連隋文帝二十多年千辛萬苦省下來的積蓄也被這位無道嗣君揮霍殆盡。古人說大儉以後必生奢男，難道是隋文帝太過節儉才應了這般報應嗎？
話說項升奉命造樓，日夕趕建，再加上各方能工巧匠雲集，巧奪天工，才過半年，已成八九，再裝潢一下便可竣工。煬帝眼巴巴地盼望著樓室建成，一聽說即將竣工，便親自前往遊幸。煬帝令項升在前麵指引，自己從外麵遠望，隻見樓閣參差錯落，軒窗掩映，有的斜露出幾曲朱欄，有時微微窺見一帶繡幕，珠光玉色，與日影相應生輝。煬帝覺得光怪陸離，異常精彩。煬帝走進樓內，一層層遊覽，當中有一座正殿，畫棟雕甍十分精致秀麗。到了樓上，隻見幽房密室，錯雜相間，令人目不暇接，好在百轉千回，前遮後映，步步引入勝境，處處匪夷所思。樓閣中玉欄朱楯互相連屬，重門複戶，巧合回環，明明是在前軒，幾個轉彎，竟到後院；明明是在外廊，略微環繞，已在內房。這邊是金虯繞棟，那邊是玉獸衛門；這裏是鎖窗銜月，那裏是珠牖迎風。煬帝東探西望，左顧右盼，累得目眩神迷，幾乎不知身在何處了，於是對項升說道：“你竟有這般巧妙心思，真是難得。朕雖然沒有到過神仙洞府，想來也不過如此了。”項升笑著答道：“還有幽秘房室，陛下還沒有遊遍呢。”煬帝又命項升領路，左一穿，右一折，果然有許多幽奇去處。等到了盡頭，已經是山窮山盡，可不知怎麼一繞又露出一條狹路，從狹路走過去，豁然開朗，又有好幾間瑤台瓊室，仿佛是別有洞天，不可思議。煬帝大喜地說道：“此樓曲折迷離，不但世人到此沉迷不知，就是神仙來遊也會被迷住，朕特賜此樓為迷樓。”隨後煬帝授封項升五品官階。此後，煬帝不願再回西苑，命中使許廷輔速到宮苑中，召選若幹美人到迷樓居住。煬帝命人一麵搬運細軟物件到樓中，另一麵挑選三千名良家童女到迷樓中做宮女。