舉兵後的第三天，突厥騎兵數萬人兵臨太原。如何對付突厥？劉文靜建議李淵跟突厥相結盟，利用突厥的兵馬，以增加自己的軍威聲勢。李淵聽從這個意見。便親筆給突厥始畢可汗寫了一封信，言辭謙恭，態度卑屈，還送去非常豐厚的禮物，信裏這樣寫道：“我打算大舉義兵，遠迎隋主返京，重新再跟突厥和親，就像開皇年間那樣。你若是能和我一同南下，希望千萬不要侵擾強暴百姓。如果你隻想和親，坐受金銀財寶，也可由你選擇。”始畢可汗得到李淵的信，對他的大臣說：“隋煬帝這個人我是了解的，若是把他迎接回來，第一步一定是先加害唐公，第二步就是出兵對我們發動進攻，這是毫無疑問的，假如唐公自稱天子，不管天氣怎麼炎熱，我都願以兵馬去幫助。”始畢可汗立即命令將這個意思寫信回複李淵。
使節七天後返回太原，看完信，李淵的將領僚佐們都很高興，請李淵接受突厥的建議；登極稱帝。李淵認為不行。裴寂、劉文靜都說：“現在義兵雖然集結很多，但是軍馬還極為缺少，我們並不是需要突厥的軍隊，但突厥的馬匹不可失去。如果再拖延而不回信，恐怕對方反悔。”李淵還是希望大家再好好地想別的辦法。裴寂等人就建議：請李淵尊隋煬帝為太上皇，擁立代王楊侑為皇帝，用來安撫隋王朝官兵。然後傳布檄文到各郡縣，改用紅、白摻雜的旗幟，以此向突厥示意不完全與隋室相同。李淵認為這可真正是掩耳盜鍾，可是形勢所迫，不得不采用的辦法。於是就同意這樣做，派使者將這個決定通知突厥。
西河郡拒絕接受李淵的命令，六月初五，李淵派李建成、李世民率兵進攻西河郡。命太原令太原人溫大有與李建成等人同行。李淵對溫大有吩咐說：“我兒子年紀太輕，因而請你主持謀劃軍事行動，事情的成敗，全看這次出征。實際上，這次行動具有試探性。”李建成、李世民與士卒同甘苦，遇到敵人更是身先士卒。道路兩旁的蔬菜瓜果，不是買的不準吃，兵士如有偷吃的，立刻找到物主進行賠償，但也不追究偷竊者是誰，士兵及百姓們都心悅誠服。李建成等率軍抵達西河城下，城外居民有想逃入城裏的，都一律放行。使將與士、軍與民的關係至少得到前所未有的改善，從而大大提高了部隊的戰鬥力。西河郡丞高德儒閉門堅守，六月初十，李建成攻破西河城，生擒高德儒，將他押到軍營門口，李世民曆數他們的罪過說：“你把野鳥硬當鳳凰，用來欺騙君主，騙取高官，我們興義兵，正是要誅滅像你這類小人！打的還是‘護主’的招牌。”於是將高德儒處死。其餘官員一個不殺，分別撫慰吏民百姓，讓他們各複其業，遠近的百姓聽到這個消息後，都非常高興。李建成等人率兵返回晉陽，往返隻有九日。李淵高興地說：用這樣的威力用兵，簡直可以橫行天下了。因而就定下了入關計劃。
瓦崗寨義軍首領李密
李淵大開糧倉，賑濟貧民，應招募當兵的人日益增多。李淵命令將招募來的人分為三軍，分左、右兩翼，通稱為“義士”。裴寂等人尊稱李淵為“大將軍”。六月十四日，李淵設置“大將軍府”，任命裴寂為長史，劉文靜為司馬，唐儉和前長安尉溫大雅為記室，溫大雅仍然跟他弟弟溫大有共同掌管機密，任命武士為鎧曹，劉政會和崔善為、張道源為戶曹，薑謨為司功參軍，殷開山為府掾，長孫順德、劉弘基、竇琮和王長諧、薑寶誼、陽屯分別為左、右統軍，其餘的文武僚佐都按照才能，授予官職。李淵又封世子李建成為“隴西公”、左領軍大都督，指揮左翼三軍，封李世民為“敦煌公”、右領軍大都督，指揮右翼三軍，各自設置官府僚屬。任命柴紹為右領軍府長史，劉贍任西河通守。
這時，突厥派他們的柱國康鞘利等人，押運一千匹戰馬給李淵，要李淵收購，並答應發兵護送李淵入關，隻看李淵需要，派多少都可以。六月十八日，李淵召見了康鞘利等人，接受了始畢可汗的書信，表麵上李淵態度卑屈，神色恭敬，贈送給康鞘利等人的禮物也很豐厚。在一千匹戰馬中，李淵挑選特別精良的，隻買了其中的一半。義士們見此良馬，請求用自己的私錢買下其餘的馬匹。李淵說：“突厥多的是馬，而又十分貪財，我們這次一下子買完，他們會不斷地送馬來，你們將會財力枯竭，擔心你們就買不起了。我所以少買的原因就是向他們表示貧窮，同時也表示我們並不那麼急用。我應當替你們付錢，不至於讓你們花費。”
六月二十六日，靈壽縣的義兵首領郗士陵統帥部眾幾千人投奔李淵。李淵命郗士陵為鎮東將軍，封為“燕郡公”，仍設置鎮東府，補充鎮東府的僚屬，用以招撫潼關以東各郡縣。
六月某日，康鞘利北返。李淵派劉文靜前往突厥請求發兵聯合行動，他私下對劉文靜特別囑咐道：“突厥騎兵進入內地，是黎民百姓的一大災害，我所以要突厥人發兵，是由於怕劉武周勾結突厥一起成為邊境上的禍患。另外，突厥使用騎兵，馬匹一麵走一麵吃草，是放牧式的，而不需要耗費草料。我隻是要借突厥人的兵馬來壯大聲勢，幾百人也就夠了，太多了沒有別的用法。”
七月初四，李淵任命兒子李元吉為太原太守，留守晉陽宮，後方一切事務都委托他處理。七月初五，李淵統帥甲士三萬人從晉陽出發，在軍營門前與全軍盟誓，並向各郡縣發布檄文，說明擁護代王楊侑的原意。西突厥的阿史那大奈也率其部眾跟隨李淵出征。七月初六，李淵派通議大夫張綸率兵鎮壓稽胡部落。七月初八，李淵抵達西河，居民中凡年紀在七十歲以上的，都授予散官的職務。其餘的青年俊傑，都根據他們的才能委任官職。李淵當麵口試對方的能力，立刻提筆記下所任命的官職。僅僅一天，就任命官員一千餘人。被任命官職的人都不領取任命狀，他們各自拿著李淵親筆所寫的官名狀就去上任了。七月十四日，在賈胡堡駐軍，賈胡堡南距霍邑五十餘裏。代王楊侑派遣虎牙郎將宋老生率領精兵兩萬人駐守霍邑。左武侯大將軍屈突通駐軍河東以抵抗李淵。這時，正逢連綿大雨，李淵無法進軍，他派遣府佐沈叔安等人率領老弱病兵返回太原，押運一個月的糧食來。
劉文靜到了突厥，晉見了始畢可汗，請求派兵援助，而且與始畢約定：“如果進入長安，民眾土地歸屬唐公，金銀財寶則讓給突厥。”始畢可汗聽後非常高興。七月十八日，他派大臣級失特勒先行前往李淵的軍營，通知他的突厥的援軍已經上路了。
與突厥相結，借用突厥兵馬，以壯聲勢，這是李淵起義的第一手段。第二手段就是與其他義軍聯合行動。李密義軍是他的主要聯合對象。李淵寫信招撫李密。李密自恃兵強馬壯，打算自己作盟主。他讓祖君彥給李淵回信道：“我和兄長雖然不同一個支派，但卻是李姓同宗。我自知自己勢單力薄，隻是承蒙天下的英雄之厚愛，推為盟主，希望互相扶持，同心協力，在鹹陽生擒秦子嬰、在牧野滅掉商辛，這樣的大業，豈不是很宏偉嗎？”李密還暗示李淵親自率領步騎兵幾千人到河內郡，二人當麵締結盟約。李淵接到回信後，笑著說，李密妄自尊大，對於他，不隻靠一封書信就能把他招撫而來的，我正要集中主力對付關中，假如馬上跟他斷絕來往，豈不是又樹了一個敵人，不如態度謙卑一些，對他說幾句奉承之話，使他心誌更加驕橫，讓他替我把守成皋之道，牽製東都之兵，這樣就可以使我專心一意地進行西征。針對可利用的力量的特點，決定不同的處理方法，這是李淵的高明之處。認為等到關中平定之後，再依據險要之地，養精蓄銳，從容不迫地在旁觀看鷸蚌之爭，坐收漁人之利，並不算晚。於是，他讓溫大雅起稿回信道：“我雖然平庸愚昧，有幸承繼了祖宗的功業，出任為八使之要職，回朝掌理禁軍。朝廷有難，而不能扶持拯救，再通達的賢人君子，都會對我責備的。因此我才大規模地集結義兵，與北狄和親，共同平定天下，目的在於尊崇隋王室，保衛隋王室。天生民眾，一定要有官員管理，現在能夠管理民眾的人，除了你，又還有誰呢？我已過了知命之年，已經完不成這個心願了。我由衷高興擁戴你！攀龍鱗、附鳳翼，盼望你早些應驗圖讖，安定天下萬民！你是李姓盟主，但願再將我封在唐地，這樣的殊榮已經夠滿足了。在牧野將商辛誅滅，這樣的大業，我是不敢說的，在鹹陽生擒秦子嬰之事，我也是不敢聽命的。汾晉一帶，還需要我安撫鎮壓，盟津之會盟，目前還不能先行約定日期。”在這封信中，李淵一方麵大肆吹捧李密，一方麵則自稱年老力衰，將來得封王於唐，已很滿足。李淵以此來掩蓋自己的野心。李密收到李淵的複信後很是高興，他將信帶給僚佐們一一傳閱，並洋洋得意陶醉於李淵的奉承，認為李淵推舉自己，天下很容易就平定了。自後，李淵、李密間的信劄往來不絕。從此，李密對李淵進兵關中完全不聞不問，而專意集中兵力對付王世充的部隊。
山西義軍首領劉武周
李淵父子率軍沿汾河東岸南下，行至距霍邑西北十五餘裏的靈穀縣，正逢秋雨連綿，雨下了很長時間還不止，使軍糧漸感不足，士兵有點不安起來。劉文靜去突厥又遲遲未歸。這時，有人傳言突厥人與劉武周乘虛襲擊晉陽。其實劉文靜出使突厥，早已談判成功，獲得了突厥可汗的支持，正率突厥兵馬數百來援李淵，隻因路途較遠，遲遲未能趕到。李淵心裏很是焦急，因而，急忙召集將領僚佐商議向北返回問題。裴寂等人分析說：宋老生、屈突通，南北聯合，據守險要，不容易很快攻破；李密雖然說要結盟，但是他的奸詐圖謀，很難琢磨；突厥貪利而不講信義，隻認金銀財寶；劉武周又是向胡人稱臣的人。太原則是一個地區的都市，而且義兵的家屬都在太原，不如返回救援根據地，再籌劃今後的行動。李淵問建成、世民兄弟倆的意見，李世民竭力反對北返，他指出，現在稻穀遍野都是，怎麼擔心無糧呢？宋老生為人輕狂急躁，一次戰役便可活擒他。李密這個人又依戀不舍眼前的糧倉粟米，還顧不上考慮遠處圖謀。劉武周和突厥表麵看上去雖然相互依賴，但實際上都相互猜忌。劉武周雖然追逐遠利而攻取太原，然而他怎能忘記他的根據地馬邑會受到攻擊！我們本來是興大義，奮不顧身地拯救百姓，應當先行進入鹹陽，號令天下。現在隻遇到了小小挫折，就立刻要班師，恐怕跟隨起義的人一旦解散，我們返回去守衛太原一座孤城，不過是一小撮盜賊而已，采取什麼辦法能保全自己！李建成也讚成李世民的意見，但是李淵卻聽信裴寂的話，催促世民兄弟布置軍隊迅速出發。李世民正要準備再次進入李淵的營帳勸阻，剛好天黑了，李淵已經躺下休息。李世民不能進去，就在大營帳外號啕大哭，哭聲傳到了寢帳，李淵聞聲起床召李世民進來問話，李世民說：“現在我們舉兵是為了大義，進攻就能取勝，撤退就會潰散，到那時，部眾在前麵潰散逃命，敵軍就在後麵乘機追擊，我們被滅亡的日子就在眼前了。怎麼能不悲傷呢？”李淵聽後感到有道理，忙說：“軍已發，奈何？”李世民趕快回答說：“右軍嚴而未發；左軍雖去，計亦未遠，請自追之。”李淵笑道，我的成敗在於你，知道了，還多說什麼呢？隨你決定吧。李世民和李建成連夜把左軍追了回來。七月二十八日，從太原運來的糧食也到了。