由於晉陽守兵猝不及防，致使突厥人迅速突破外城，在北門與東門之間縱橫驅馳，如入無人之境。麵對來勢洶洶的突厥騎兵，李淵喜憂參半。喜的是自己隨口栽在王威和高君雅頭上的罪名居然出人意料地坐實了，而今鐵證如山，王、高二人就算是跳進黃河也洗不清了；憂的是自己尚未舉事便有強敵來犯，如果與他們開戰，自己剛剛募集的這支軍隊就會被消耗掉，萬一把老本賠光，還拿什麼起兵？
情急之下，李淵決定唱一出空城計。
他一邊命裴寂、劉文靜等人在宮城（內城）各門暗中布防，一邊下令將所有城門全部打開，將城頭上的旗幟全部撤下來，同時嚴禁城牆上的士兵探頭外看，嚴禁發出半點聲響。
正在來回驅馳、耀武揚威的突厥人一瞬間全都靜了下來。
因為他們看見晉陽宮的城門居然朝他們完全洞開，而且城頭上看不見一名隋軍士兵，整座宮城悄無聲息，寂靜得讓人頭皮發麻。
突厥人不敢貿然進攻內城，也不甘心就此離去，於是一邊在外城繼續劫掠，一邊仍舊對內城虎視眈眈。
李淵登上東南城樓，發現突厥兵雖然人多勢眾，但是往來馳騁、人員分散，於是命部將王康達等人率一千餘人潛行至外城北門處設伏，準備襲擊突厥散兵，一方麵劫掠一些馬匹，一方麵做一些戰略試探。
但是王康達的行動失敗了。他們剛一動手就被突厥兵團團包圍，一千多人大部分戰死，王康達陣亡，隻有一百多人逃了回來。軍民頓時大為恐懼，於是把怨氣全都集中到“勾結突厥”的王威和高君雅身上。李淵順勢將王、高二人當眾斬首，既平息眾怒，又徹底根除了這兩個心腹之患。
城中的軍隊本來就不多，現在又損失了一千人，看來硬打是不行了，而且這出空城計也唱不了多久。李淵隨即又設下一個疑兵計，命部隊在夜色掩護下潛出城外，然後第二天淩晨再旌旗招展、鉦鼓齊鳴地從另一個方向進城。
突厥人一看就慌神了，看上去這是一支援兵，而且人數還不少！滿腹狐疑的突厥人又逗留了兩天，卻一直不敢進攻，最終在外城飽掠一番後引兵北去。
晉陽雖然暫時解圍了，但是對即將起兵的李淵來說，北方的突厥人始終是他背後的一個巨大威脅。萬一他揮師長安，突厥人趁勢進犯太原，那無疑會使他陷入腹背受敵、進退失據的困境。所以，必須暫時向突厥人低頭，除此之外沒有別的辦法。
李淵親自給始畢可汗寫了一封辭意謙恭的信，說：“當今隋國喪亂，蒼生困窮，若不救濟，終為上天所責。我今大舉義兵，欲安定天下，遠迎君上還都，恢複與突厥和親，就像開皇時代一樣。如果能與我一同出兵南下，希望不要侵害百姓，金錢玉帛，皆為可汗所有；如果因為路途遙遠不能南下，隻願和親，也可坐享豐厚的財物。該怎麼做，任憑可汗選擇。”
寫完後，李淵在信封上用了“某某啟”的字樣，以示謙卑。負責送信的官員看了那個“啟”字覺得很不舒服，建議多給突厥人送一些財物，然後把“啟”改為“書”。
李淵聽了，大笑說：“這事你就不懂了，古人雲：‘屈於一人之下，伸於萬人之上！’況且‘啟’字又不值錢，你連錢都舍得多給，還舍不得這一個字嗎？”
東突厥的始畢可汗見信大喜。對他來講，馬邑的劉武周、朔方的梁師都、蒲城的郭子和都已經歸附他了，如今太原留守李淵再來投靠，這就意味著隋帝國北部邊境的軍事重鎮都已經向他豁然洞開了。日後一旦舉兵南下，豈不是一路暢通無阻、如入無人之境了嗎？
始畢可汗立刻給李淵回了一封信，表示全力支持他，可以給他提供士兵和戰馬，但條件是讓他像劉武周等人那樣自稱天子，公開反隋。其實也就是讓李淵向突厥稱臣，成為突厥人的附庸。收到回信後，李淵的左右都很高興，唯獨李淵不以為然。他並不是不想獲得突厥的支持，而是不想這麼早就即位稱尊、公然與隋朝決裂。
他的政治智慧告訴他——現在打著“尊隋”的旗號要遠比“反隋”的旗號更安全，也更有利。
因為在勝敗未卜、天下大勢尚不明朗的情況下，“尊隋”要比“反隋”能獲得更多閃轉騰挪的餘地和空間，而過早僭位稱尊就會背負亂臣賊子的罵名，更會成為眾矢之的。此外，李淵也不願意像劉武周他們那樣接受突厥的所謂“天子”冊封，公開成為突厥人的附庸。道理很簡單，與突厥人的合作本來就是迫於時勢、不得已而為之的，或者說是隻能一夕不能長久的，說白了，這是各取所需的政治一夜情。既然是一夜情，又怎麼能大張旗鼓、廣而告之呢？再說了，最起碼在名義上、在現階段，李淵仍舊傾向於把自己定位在隋朝的國戚和重臣的角色上，這樣既不會過度傷害自己的民族自尊心和道義感，又能為自己的叛隋起兵抹上一層“匡扶社稷、安定天下”的政治保護色，並且為壯大自身的實力贏得更多寶貴的時間。