身在太原，不管李淵是否願意，突厥都是他必須要正視的一個大問題。李淵到了太原不久，隋煬帝就為了震懾突厥而巡邊雁門，結果非但不能震懾突厥，反而被突厥所震懾。就在隋煬帝父子在雁門抱頭痛哭之際，李淵的次子、年僅十六歲的李世民卻在隋煬帝被圍的雁門之役中初露頭角。為了解救皇帝的危難，李淵不但派出了能夠派出的兵馬進行勤王，連自己的兒子——年少英武的李世民也派入隋朝的勤王軍隊中前往雁門救援。可是突厥人實力強大，隋朝此時已經風雨飄搖，勤王軍的實力不足，進退兩難。李世民向當時的主將雲定興出了一個主意，讓隋軍多帶旗幟金鼓，然後分為十餘裏日夜大造聲勢，作出了一副大軍來援的假象。突厥人以為隋朝大軍開來，害怕遭到內外夾攻，於是才撤兵解圍。
隋煬帝被突厥打怕了，不敢再在邊塞多待，去了江都也就是今天的揚州，享受起了江南水鄉的湖光山色，卻下了一道旨意，讓李淵帶領太原的兵馬和馬邑（今山西朔縣）太守王仁恭一同防禦突厥。這簡直是把李淵放在火上烤。李淵和王仁恭的兵馬合計隻有五千多，而突厥卻有數十萬之眾，用這點兵力防禦突厥，那簡直是不可能完成的任務。可歎在隋朝這個大帝國的家還未被楊廣敗光的時候，他也曾經以五十萬精甲士兵耀武於塞外，很是風光了一把，可是短短數年，在長城一線這樣的邊塞軍事要地居然會有兵力不足的狀況出現，這實在不能不說是一個絕大的諷刺。最後李淵想了一個法子，他率領兩千精銳騎兵在草原上遊蕩，無論是起居生活還是射獵都學足了突厥人，然後又挑選了一些神射手埋伏起來作為奇兵。突厥人看到這麼一支跟自己極為相像的軍隊出現，自然大惑不解，往往以為是自己人，李淵於是趁機猛攻，突厥人措手不及之下，常被李淵擊敗。
當然，這樣的方法可一可二不可三，頭幾次還能見點效，可是時間一長，突厥人也就識破了李淵的這點小把戲。在絕對的實力麵前，計謀能夠起到的作用實在不大，因此從馬邑一線的長城防線頻頻被突厥突破，突厥兵馬入內地後燒殺搶掠自是不提，李淵也因此獲罪，又因為他的名字暗合“李氏為天子”的預言，眼看就要身遭不測。對於李淵太原起兵的原因以及過程各種史書說法不一，但是大多數都認為李淵在此之前依然忠於隋朝，正是隋煬帝的猜忌與降罪才使得李淵最終走上了立唐反隋的道路。
李淵的反隋固然是自身的野心使然，但此時已經沒有其他的路好走，隻能在滅亡或者反叛中選擇一條道路。隋朝交給他的任務是防禦突厥，鎮壓境內的“盜賊”。可是李淵的兵馬總共不過五六千，不要說對付突厥，就連撲滅四處蜂起的“盜賊”都極為吃力。最典型的例子就是大業十二年（616）剪滅當時的盜賊“曆山飛”一夥的戰鬥。如前文所述，竇建德將“曆山飛”魏刀兒的餘部逼得在河北混不下去，隻能流竄到山西。其部將甄翟兒在山西又舉起了“曆山飛”的大旗招兵買馬，李淵率兵進剿，結果他的五六千人馬在雀鼠穀（今山西介休西）被敵人的兩萬優勢兵力包圍，差點出不來，好在有兒子李世民率了李家家奴拚死陷陣，裏應外合，擊破了強敵。當時的盜賊少則數萬，多則十數萬，就憑李淵這點兵力不啻杯水車薪，更何況他還要防禦連朝廷主力兵馬都無法抵擋的突厥人，一個閃失就會下獄掉腦袋，在這樣的狀況下，李淵即便是不想，也不得不走上造反這條路。
在正統的史書中，李淵造反的過程簡直就是一出幽默劇。當時最先起反心的並非李淵，而是他的二兒子李世民。史書中說他看到天下已呈亂象，就產生了取隋而代之的想法。當時劉文靜形容李世民為“豁懷大度類似劉邦，英明神武如同曹操”，這個形容字麵上看挺好，但是大家都知道劉邦是起兵反秦最後當上了皇帝，而曹操更是被幾乎所有的曆史學家認為是篡臣，所以這句話明著是誇李世民的資質非常好，暗地裏其實也是點明了李世民的心思。從時間上來說，李世民十六歲參加的雁門之戰可能就是他產生反心的導火索。他暗地裏結交當地的豪強和亡命之徒，為日後起事做準備。