李淵的這種策略一時緩解了隋煬帝對他的猜忌，一度放鬆了對他的警惕。
大業十一年（615），李淵奉命鎮壓今山西一帶的農民起義。李淵率軍抵達龍門（今山西河津西北黃河岸）時，農民軍首領毋端兒率數千人來攻，被李淵擊敗。因此功，次年李淵被任命為右驍衛大將軍、太原道撫慰大使。當時山西一帶最大的農民起義軍是曆山飛領導的軍隊，其本名魏刀兒，號曆山飛。這支部隊人數多達十餘萬，主要活動在太原以南、上黨（今山西長治）、西河（今山西汾陽）一帶。李淵率軍五六千人前往討伐，與曆山飛所率的二萬餘人大戰於河西雀鼠穀口（今山西介休與霍縣之間）。農民軍結陣十餘裏，首尾相接，向官軍發動進攻。李淵將所率軍隊分成兩部分，以老弱之兵居中，多張旌旗，輜重繼其後；又把麾下精銳騎兵分成左右兩個小陣，由他本人親自率領。農民軍見中陣旌旗飄動，以為是李淵親率的主力軍隊，遂集中兵力向其發動猛攻。官軍不支，紛紛丟棄輜重後退，農民軍爭相搶奪輜重，陣容大亂。李淵見時機成熟，親率左右兩陣的精銳騎兵從兩翼向農民軍衝擊，斬獲不計其數，取得了勝利。此役之後，農民軍餘部無力再戰，李淵乘機收編了殘餘義軍數萬，壯大了自己的力量。
在這期間，突厥仍是河東地區最大的威脅，李淵根據突厥軍隊長於騎射、居無定所的特點，選拔了部分善於騎射的騎兵，像突厥兵一樣居無定所，在邊境一帶遊弋。每逢突厥的偵察騎兵，便表現出若無其事的樣子，左右射獵，馳騁奔躍。李淵本人尤善騎射，與突厥相遇，每發輒中，突厥騎兵甚是畏懼，不敢交戰，往往退去。李淵的這些作為對穩定軍心、解除將士對突厥的懼怕心理都起到了很好的作用。一次，他率軍與突厥兵相遇，遂主動發起攻擊，將士們奮勇向前，大破突厥軍隊，斬首千餘級，繳獲了一批戰馬。自此突厥不敢再以小股騎兵騷擾。
李淵盡管在穩定河東局勢方麵做出了較大的貢獻，但並不能使隋煬帝放鬆對他的警惕。大業十三年（617），李淵被任命為太原留守。這時隋煬帝已經移居江都（今江蘇揚州），農民起義的烈火已經燃遍全國。李密、翟讓領導的瓦崗軍擊敗隋朝名將張須陀，逼近東都洛陽。豫章（今江西南昌）人林士弘連敗隋軍，南方豪傑紛紛殺隋朝官吏以響應起義，北至九江（今江西九江），南達番禺（今廣東廣州），皆是其勢力範圍。江淮一帶則有杜伏威起義軍，河北有竇建德起義軍，無不獲得了很大的勝利。在這種局勢下，隋煬帝對貴族官僚更加猜忌，一度使李淵陷於非常危險的境地。
（二）與隋室矛盾的加劇
在隋朝末年，有一個讖語在全國各地廣泛流傳，所謂“桃李子，莫浪語，黃鵠繞山飛，宛轉花園裏”（溫大雅《大唐創業起居注》卷1），就是說李姓之人將要獲得天下。當時有一個名叫安伽陀的方士，勸隋煬帝盡殺海內李姓之人。隋煬帝首先懷疑的是大貴族李渾，遂指使人誣告李渾謀反，連同其宗族數十人全部殺死。接著將作監李敏也被殺害。李淵作為李姓之人自然也在隋煬帝的猜忌之中，隻是因為尚未獲得任何證據，加之還要利用李淵來穩定河東地區的局勢，所以一直隱忍不發。河東撫慰副使、李淵的好友夏侯端看出了這一點，他對李淵說：“天下方亂，能安之者，其在明公。但主上曉察，情多猜忍，切忌諸李，強者先誅，金才既死，明公豈非其次？”（《舊唐書·夏侯端傳》）金才，是李渾的字。對於夏侯端的這番話，李淵深深地表示讚同。
不久，突厥圍攻馬邑郡（今山西朔州），李淵、高君雅率軍與馬邑太守王仁恭共同抵禦。高、王違背李淵授意的作戰方針，被突厥擊敗。隋煬帝知悉後大怒，派使者到太原逮捕了李淵與王仁恭，打算押送江都處置。李淵大懼，一時也無可奈何，遂被關入監獄之中。這時，次子李世民與晉陽宮監裴寂均勸說李淵，與其坐以待斃，不如舉兵造反。據《資治通鑒》卷183載：“世民與寂等複說淵曰：‘今主昏國亂，盡忠無益。偏裨失律，而罪及明公。事已迫矣，宜早定計。且晉陽士馬精強，宮監蓄積巨萬，以茲舉事，何患無成！代王幼衝，關中豪傑並起，未知所附，公若鼓行而西，撫而有之，如探囊中之物耳。奈何受單使之囚，坐取夷滅乎！’淵然之，密部勒，將發。”也就是說，李淵決心要孤注一擲了。正在其緊鑼密鼓準備起事時，隋煬帝又派來了一位使者，宣布赦免李淵與王仁恭，官複原職。大約隋煬帝認為此時如果殺了李淵，雖然鏟除了心頭之患，然而勢必會造成河東地區局勢更加混亂，從維護隋朝統治的大局出發，隻好釋放李淵，讓他繼續主持太原軍政，並不是真正信任李淵。
說來也怪，自從隋煬帝居於江都之後，南北往來十分不便，使者在途中時常遭到搶掠或殺戮，“惟有使自江都至於太原，不逢劫掠，依程而至，眾鹹異焉”。當攜帶釋放李淵詔書的使者到達太原時恰是夜晚，李淵已經就寢，聞聽這個消息後驚跳而起，說：“此後餘年，實為天假。”又對李世民說：“吾聞惟神也，不行而至，不疾而速，此使之行，可謂神也。天其以此使促吾，吾當見機而作。”（溫大雅《大唐創業起居注》卷1）因此，可以說這一事件是促使李淵起兵的導火線，他決心在出獄後著手起兵反隋了。
隻是因為還沒有做好起事的準備，所以在出獄後李淵並沒有馬上起兵，而是采取了一麵做好起事的各項準備，一麵等待最有利的時機。
為了能夠保證起事的順利進行，李淵並沒有完全依靠駐太原的隋朝軍隊，而是另外招募了壯士數千人，屯駐於太原興國寺內。這支軍隊被李淵視為其創業的基本部隊。為了不引起隋煬帝派來監視他的副留守王威、高君雅的懷疑，他一直沒有去視察或檢閱這支軍隊。他命令親信劉弘基、長孫順德統領這支部隊。劉弘基因逃避征伐高麗的戰爭而亡命於太原，長孫順德則是李世民嶽父長孫晟的弟弟，也因逃避征伐高麗的兵役藏匿在太原。
李淵把兵權交給這樣兩個沒有合法身份的人來統領，自然會引起別人的懷疑。高君雅對李淵的另一親信武士彠說：“逃避兵役，按律當處死，如何能領兵呢！”並打算將兩人扣押起來審問。武士彠勸解說：“這二人都是唐公之客，如果扣押勢必引起糾紛。”高君雅隻好隱忍不發了。此事也引起了王威的懷疑，隻是此人比較沉穩，不公開質詢罷了。李淵也知道紙裏終究包不住火，於是加快了起兵的準備步伐，同時派人到河東郡催促李建成兄弟盡快趕往太原，共同參與起兵大業。