準備工作有條不紊地秘密展開了。
李淵命令李世民與劉文靜等各自招募兵馬。
遠近之民苦於隋煬帝暴政，紛紛投軍，剛10天左右，就募兵近萬人。這支隊伍是由李淵、李世民父子私自控製和直接指揮的，成為晉陽起兵的主力軍。
晉陽副留守王威、高君雅本是隋煬帝派來監視李淵的暗探，見李淵聚集這麼多兵馬，懷疑他有反隋之心。但當時正是抵抗突厥來犯的非常時期，王威和高君雅迫於形勢，不能反對，但也委婉地提醒李淵，招募士兵隻能用來對付依附突厥的劉武周，決不可另有圖謀。
李淵、李世民父子為了防止日久生變，加快了軍事部署的步伐。王威和高君雅看到募兵雲集，懷疑李淵已有異誌，便暗中策劃晉祠祈雨大會。晉祠位於今太原市西南25公裏的懸甕山下。王威、高君雅想把李淵誘騙到這裏，加以殺害。這個陰謀恰好被經常出入王、高兩家的晉陽鄉長劉世龍知道了，劉世龍立即將此事報告給李淵父子。李淵和李世民、劉文靜等商量後，決定先發製人。
大業十三年（公元617年）五月十四日夜裏，李淵派李世民率兵埋伏在晉陽宮城的外麵。第二天的清晨，李淵和王威、高君雅坐在一起處理政務，劉文靜引著開陽府司馬劉政會來到廳堂上，聲稱“有密狀，知人欲反”。李淵故意叫王威先看，劉政會卻不給，說：“告發的是副留守的事，隻有唐公才能看。”李淵佯裝吃驚地說：“難道有這樣的事？”他看了狀子才說：“王威、高君雅暗中勾結突厥入侵。”高君雅捋起衣袖大罵道：“這是造反的人要殺我。”這時，李世民已經在大路上布滿了軍隊。高君雅還想爭辯，劉文靜一聲令下，埋伏在後麵的長孫順德、劉弘基等一躍而出，將王、高二人抓起來投進監獄。
正在這時，恰逢突厥數萬騎兵入侵太原，其輕騎從外城北門進入，從東門出去。李淵命令裴寂等人率兵防備，而把各城門都打開，突厥人不知虛實，不敢進入。由於如此巧合，大家都以為確實是王威、高君雅把突厥人招來的，李淵便“名正言順”地把他倆殺掉了。這就是著名的晉陽宮事變，它標誌著李淵、李世民父子公開起兵了。
要成大事，首先就要解除後顧之憂。為了預防突厥進攻，李淵派劉文靜出使突厥。突厥答應李淵稱帝，就派兵相助，並保證不從後麵襲擊。李淵為了避免引狼入室，沒有答應突厥派兵相助，並采納了裴寂的建議，立代王楊侑為皇帝，尊遠在江都的隋煬帝為太上皇，並對突厥稱臣。
接著，就是軍隊旗幟的顏色。李淵軍隊的旗幟用什麼顏色，實質上是從隋朝還是從突厥的問題。因為是剛剛起兵，軍事實力也不是太強，所以既不能得罪突厥，也不能太讓朝廷注意。這件事雖然不太大，但還是很重要的，比如用突厥的白色旗幟，會不會引起漢族人的反感與憎恨，而不利於招募義兵。如果用隋朝的紅色旗幟，會不會收到相反效果呢？因為人民對隋朝的怨恨不亞於對突厥的仇恨。李淵認為主張“雜用絳白”，即旗幟赤白相間，表示既不從屬於隋朝，也不依附於突厥。
李淵還讓汾、晉的百姓四處傳唱《桃李子歌》：“桃李子，莫浪語，黃鵠繞山飛，宛轉花園裏。”李為國姓，桃諧音就是陶，即陶唐，配上李字，所以這首歌謠又叫《桃花園》。李淵目睹絳白旗幡，耳聽《桃花園》之歌，不覺豪興大發地說：“花園可爾，不知黃鵠如何。吾當一舉千裏，以符冥讖。”
為了進一步得到人們的支持，李淵在太原打開官倉救濟貧民。隋朝在荒年的時候總是閉倉拒賑，令百姓對隋王朝大失所望，於是民憤四起，怨聲載道。瓦崗軍李密反其道而行之，數次大規模開倉濟民，貧民紛紛來投奔李密，使得李密的聲勢日益壯大。李淵深知其中奧妙，仿效李密，應募之人越來越多，20天內就招募到好幾萬兵馬，並傳檄諸郡，自稱“義兵”。