楊廣一行終於在突厥人的包圍圈合攏之前，進入了長城。
雖然始畢可汗親自率領大軍前來圍追堵截楊廣，但楊廣逃跑的速度實在太快了。過了逃命，楊廣一行幾乎丟掉了全部的物資，就連楊廣本人也拋棄了他心愛的六和城。
隋軍幾乎是馬不停蹄，拚命趕路，光是馬匹都不知道跑死了多少。至於沿途掉隊的宮女、內侍，甚至是官吏、眷屬，更是不知道有多少。
不過楊廣的好運也就到此為止了。
楊廣一行剛進入恒安鎮，突厥的軍隊也尾隨而至。一日三驚的楊廣匆匆留下雁門郡太守呂玉鎮守恒安鎮，阻擋追兵，便繼續向南。
沿途楊廣又先後在白狼塞（今山西省朔州市山陰縣東北）、桑幹鎮（今山西省山陰縣南）、樓煩關（今今山西省寧武縣東北陽方口）等地留兵駐守，隻為了遲滯突厥人進兵的速度。
不過並沒有如楊廣所願。
呂玉雖然是個驍將，但手上並沒有太多的兵力。
而且始畢可汗早就有心攻打恒安鎮，遂在恒安鎮預設了大批的內應。等到突厥人大舉攻擊，城中的內應便在城中製造混亂，同時攻擊守城的隋軍。
在內憂外患之下，很快城門告破。突厥人大舉入關，呂玉不得已率軍突圍。
全軍且戰且退，突厥人窮追不舍，等到呂玉撤退到雲內縣（今山西省大同市）西南，為突厥軍追上。呂玉力戰而死，全軍覆沒。
始畢可汗乃以大將阿史那思摩為先鋒，繼續向南進擊。楊廣逃回雁門郡有些出了始畢可汗的預料，接下來容不得他們再出錯。
阿史那思摩令突厥士兵換成隋軍的俘虜，並和投降的隋軍俘虜混在一起，假裝恒安鎮的潰兵，向白狼塞湧去。
白狼塞守軍沒有防備，隻以為是掉隊的隋軍，遂打開城門，迎潰兵進城。
這些突厥人入城後暴起發難，占據城門，白狼塞遂下。
阿史那思摩主力繼續向南，在桑幹鎮北遇到了朔州總管王仁恭統帥的朔州軍。王仁恭也是個名將，能征善戰，在一征高句麗時立得大功。但自黃明遠北伐突厥之後，北疆之地，兵備廢弛，兵員流失，原本的北地重鎮朔州現在隻有一萬五千餘人。
雙方猝然相遇，隋軍實力不足，王仁恭不敵，遂率部退回馬邑郡治善陽縣（今山西省朔州市），而桑幹鎮則被阿史那思摩趁勢所取。
至此突厥人的前鋒主力一路追著楊廣鑾駕打，打穿了整個代州、朔州的防線。
等到楊廣一眾撤入雁門郡治雁門城（今山西省代縣），阿史那思摩也率軍從小道繞過隋軍在西徑關一線的正麵防禦，出現在夏屋山（又名夏壺山、賈屋山、賈母山，在今山西省代縣東北草垛山）的背後。
六月十二日，阿史那思摩在楊廣逃入雁門城的第二日率軍包圍雁門城，楊廣和整個大隋朝廷落入到突厥人的重重包圍之中。
而於此同時，皇太孫楊佶率領後軍進入崞縣（今山西省原平市崞陽鎮）。
麵對突厥人的包圍，隋軍上下驚懼恐怖。宇文述此時為武將之首，負責指揮諸軍。他下令拆毀民房，用作守衛城池的材料，導致突厥人還未發起攻擊，人心已亂。