大業十三年（公元617年）二月，遠在河東的李元吉接到父親的書信，隨即和劉弘基、房玄齡一起飛馬趕往晉陽，同時柴紹也從長安奔來晉陽。
這當會兒，馬邑富豪鷹洋校尉劉武周，殺死馬邑太守王仁恭，聚兵上萬，自稱太守。隨即又領兵攻占汾陽宮，並且依附突厥，被突厥始畢可汗封為‘定楊天子’。其勢力直接逼近晉陽，成了李淵的心腹之敵。
晉陽城內，留守府的密室裏，李淵和眾人正在商量起兵的事宜，劉文靜提出起兵前，為了防備來自的劉武周襲擾，必須北連突厥，假意屈節附之，同時也可以換些馬匹，來壯大自己。
對於劉文靜的提議，眾人都表示同意，李淵當即修書一封，雲：“現欲舉義兵，遠迎皇上，複與突厥和親，如同開皇之時。若能允我南下，望請約束部眾，勿擾百姓。若僅僅和親，可得到大量珍寶，請可汗定奪。”
書信送到始畢可汗手中，可汗掂量在三，最後還是決定資助李淵。於是便派專使持書信，把這意思傳誦給李淵。見始畢可汗願意借助兵馬，部將們都很高興，都覺得始畢可汗之言可行。
而李淵卻遲遲不語，思想鬥爭的很激烈。他沉思良久，方說：“若從突厥之言，向其稱臣，兵馬未動，先得不臣之罪。師出無名，難以集結各地的義兵。萬一起兵失敗，更無退路，豈不是個國破家亡，千古罵名。”
劉文靜在旁勸解道：“今舉義兵，缺的就是戰馬。唐公可複言，隻要其戰馬，而不要其兵，如此便可保住名節。”
停了劉文靜的話，李淵心裏仍覺得不妥。李建成、李世民和劉文靜等人商量了一會，又提出一個辦法說：“若師出有名，不為天下人罵，可先尊今上為太上皇，被取長安，立代王侑為帝，以安隋室。然後傳檄郡縣，改換旗幟顏色，易以類似突厥的絳白二色，須應突厥。”
李淵見實在是沒有辦法了，隻好答應。在修書向突厥要馬匹的同時，起事的各項準備工作也在緊張地進行著。雖然說隋朝的天下已經亂得一團糟，但晉陽卻多年沒有戰事，要想起兵，就必須首先把民心搞亂，使老百姓對隋煬帝更加痛恨。暗地裏，李淵讓劉文靜在晉陽各地張榜，言隋煬帝要征發太原附近四郡二十歲到五十歲的百姓全部當兵，再次進攻高麗，所有兵丁必須在年底之前進行集中。三征高麗，皆打敗而歸，死者過百萬，‘勿向遼東浪死歌’已經唱遍天下，又有誰願意再去高麗呢？一時間，太原百姓是人心惶惶，對隋煬帝則更是深惡痛絕。
在太原，李淵手中掌握的士兵隻有七八萬，要舉義兵，這些兵力是遠遠不夠的，而現在的首要任務就是要招兵。太原城中的兩位副留守作為隋煬帝的親信，還是有一點權利的，手中也掌控著一部分軍隊，招兵如果不通過他們，恐怕是不行的。
這天，李淵在留守召開軍事會議，專門討論對付劉武周的問題，會上，李淵一臉愁容地大家說：“馬邑賊帥劉武周殺死王太守，占據汾陽宮，又被突厥封為‘定楊天子’。我們太原兵少，倉促之間不能撲滅。若此事一再拖延，罪當滅族，這該如何是好？”
上次馬邑太守和高君雅討伐突厥，吃了敗仗，還差點讓李淵等人被押解江都治罪，眾人此時還心有餘悸，這會又聽李淵這麼說，都害怕起來。王威、高君雅看見李淵用單眼瞄他們，害怕李淵派他們去打仗，逐滿臉恭敬，一起拱手向李淵說：“唐公英明神武，善於以少勝多，諸事還請唐公多拿主意。”