李淵祖籍隴西成紀(今甘肅秦安)，他的祖父李虎，是後魏的隴西郡公，官最高到太尉，死後追封唐國公，這就是後來李淵所建大唐年號的來曆。李淵的父親繼承了唐國公的封號，在北周時任柱國大將軍。在公元566年(北周天和元年)出生於長安，僅7歲就繼承了唐國公的稱號。因為有了較高的出身，加上他本人的豁達與寬厚、才幹出眾，因此他威望很高。他的妻子竇氏也是隋朝貴族出身，作為一名難得的賢內助，竇氏對李淵的作用不可忽視。
竇氏的聰明超出了一般人。隋煬帝看到李淵的臉上皺紋多，便戲稱李淵是“阿婆”。李淵回了家很不高興，竇氏問清原因，馬上賀喜道:“這是吉兆啊，你繼承的是唐國公，‘唐’便是‘堂’，‘阿婆麵’就是指‘堂主’啊!”竇氏指的是李淵將來要做皇帝，取代隋煬帝。
竇氏在政治方麵對李淵的幫助是非常大的。李淵原來有不少駿馬，竇氏就勸他獻給愛馬的隋煬帝:“皇上喜歡鷹和馬，您是知道的，現在應該把駿馬獻給皇上，不該自己留著，招人閑言誣陷。”李淵開始還舍不得他的駿馬，後來真的被隋煬帝責問。竇氏在45歲時去世，李淵這才細細琢磨亡妻的話，覺得很有道理，於是就經常給隋煬帝送駿馬鷹犬，隋煬帝果然異常高興，很快升李淵為將軍。李淵流著淚對兒子們說:“我如果早點聽你們母親的話，早就做上這種官了。”
李淵原來做過刺史，在隋煬帝即位之初做了滎陽(今河南滎陽)、樓煩(今山西靜樂縣)兩個郡的太守，後來任殿內少監、衛尉少卿。公元613年(大業九年)，隋煬帝征伐高麗時，李淵在懷遠鎮督運糧草。這時，楊玄感利用民憤舉兵反隋，後來失敗。在這期間，李淵奉命鎮守弘化郡(今甘肅慶陽縣)，廣交天下豪傑，遭到隋煬帝的猜疑。在615年調任山西、河東，到達龍門時，遇上了母端兒農民起義，李淵領兵擊敗了起義軍，收編萬餘人，實力大增。第二年，他升為右驍衛將軍，任太原道安撫大使，從此落腳太原，經營後來的起家之地。
鎮守太原之初，李淵就表現出過人的軍事謀略。隋煬帝從樓煩巡遊到雁門時，被突厥兵包圍，因為李淵的太原兵才得以解圍。隋煬帝便讓他和馬邑郡守王仁恭一同北擊突厥。但他們的兵馬很少，不足五千。李淵便選出擅長騎射的兩千騎兵，吃住騎射仿效突厥兵，向突厥炫耀武力，等和突厥兵遭遇時李淵便下令攻擊，結果打敗突厥。從此之後，突厥不敢再輕易南下了。
617年，李淵正式任太原留守，成為一地最高長官。這裏糧草充足，兵員廣闊，李淵在此紮下根來，開始積蓄力量。
李淵為了鞏固太原這塊根據地，北麵和突厥交好，消除隱患，南麵主要是鎮壓了曆山飛起義軍。李淵通過收編其殘餘，進一步壯大了自己的力量。
公元611年(大業七年)，各地農民起義不斷，全國共有近二百多支反隋起義軍。後來逐漸形成三支主力，即竇建德領導的河北起義軍，杜伏威領導的江淮起義軍，李密、翟讓的瓦崗軍。
在617年，馬邑郡(今山西朔縣)人、鷹揚府校尉劉武周因為和太守王仁恭的侍女私通，怕被發現，便以貪汙之名殺死了王仁恭，起兵建立定陽國，自稱天子。
李淵就以討伐劉武周為名，開始招兵。因為這時還是以隋朝官員的名義行事，所以在很短的時間裏便招到近萬人。這遭到太原副留守王威和高君雅的猜疑，他們都是隋煬帝的親信，對李淵頗有戒心。李淵則拉攏、利用他們身邊的親信掌握其動向。等李淵要正式起兵時便設計鋤掉了身邊的兩個隱患。