在北周時期，李淵的父親就遷居到長安。由於父親早死，家中排行第四的李淵7歲就襲爵唐國公。他的母親獨孤氏，是同為八柱國之家的獨孤信的女兒。獨孤信的長女是北周明帝的皇後，還有一個女兒是曆史上著名的隋文帝楊堅的皇後。這麼說來，李淵自從祖父以來，家世貴顯，不僅是北周皇室宇文氏的姻親，也是隋朝楊家的貴戚。細論起來，李淵乃是隋文帝的內甥，隋煬帝楊廣的姨表兄弟。
李淵的妻子竇氏，也是鮮卑軍事貴族。其父竇毅，在北周時為上柱國，母親是北周武帝的姐姐襄陽長公主。竇氏自幼聰明，讀書能夠過目不忘，武帝大加喜愛，將其養於宮中。竇毅見女兒才貌如此，認為不能隨便嫁人，要為她善擇“賢夫”，遂在門屏上畫了兩隻孔雀，約定凡求婚者發給兩支箭，能用箭射中孔雀眼睛者才有資格。結果前後有求婚者數十人，均未能如願。隻有李淵連發兩箭，各中孔雀一目，竇毅大喜，終將女兒許配給他。這一故事說明在他們生活的北朝時期，武學才藝仍然是貴族子弟的立身之本。李淵能夠脫穎而出，反映出他此時的卓爾不群。
李淵任隋鄭州刺史時，於大業二年（606）祈求李世民病愈所刻石碑像記
在隋朝建立之初，李淵還隻是因為貴族的出身補為千牛備身。這是貴族子弟的進身之階，不過，一直到隋文帝在世時，李淵也隻是做到地方州郡一級的最高行政長官——刺史（後稱為太守）。到隋煬帝大業年間，李淵才調任中央朝廷擔任了殿內少監，後來又改任衛尉少卿。在他個人的政治發展過程中，其妻竇氏發揮過重要作用。李淵任職地方時，她曾經勸李淵迎合隋煬帝對聲色犬馬的喜好，將自己的數匹駿馬進獻。李淵開始時猶猶豫豫，結果招致隋煬帝的不滿。後來，李淵幡然醒悟，屢屢搜求鷹犬進獻，很快便得到了升遷。
在那個極其注重家庭門第出身和姻親關係的時代，李淵一出場就獲得了很多人不具備的極大便利。他自言“承七葉之餘慶，資五世之克昌；遂得地臣戚裏，家稱公室”，正是真實的寫照。
大業末年，隋煬帝的****引起了天下大亂。這不僅加深了隋煬帝統治的危機，也進一步激化了隋煬帝統治集團內部的矛盾。隋朝大貴族楊素的兒子楊玄感起兵造反，有相當多的貴族子弟追隨其後反對隋煬帝，進一步加重了隋煬帝對大臣的猜忌。李淵身為隋朝貴戚，也不能幸免。隋煬帝在一次巡幸當中，征召李淵來行宮覲見。李淵稱病沒有前來，結果招致隋煬帝的不滿。隋煬帝曾對身邊的宮人說：這病，可得死否？在這樣的形勢下，李淵除了更加倍小心謹慎以外，必然也要設法自保，尋求出路。
由於隋煬帝出兵高麗、鎮壓各地的造反者，不能不繼續重用李淵。在大業十三年（617）以前，李淵政治上仍然忠於隋煬帝，盡心盡職。到了大業十三年，他被任命為太原留守，情況發生了逆轉。因為，就在這一年，他在太原開始謀劃起兵。從此，李淵走上了一條新的發展道路。太原古城壁建國立製：奠基大唐
李淵從太原起兵進入關中，一路軍紀嚴明、宋刻唐長安城殘碑秋毫無犯。占領隋朝舊都大興城（即長安，今西安）以後，更以高超的政治手腕與政治謀略展示出一個新王朝開創者的風采。