隋朝末年，各地農民起義風起雲湧，統治階級內部也分崩離析，不少官僚地主為了自身的利益，紛紛打起反隋的旗號，擴大自己的勢力，準備奪取政權，其中最主要的是李淵集團。
李淵的祖籍隴西狄道（今甘肅臨洮縣），自稱是十六國時期涼武昭王李暠的七世孫。李淵的祖父李虎，是北魏左仆射，封隴西郡公，因幫助宇文泰建立關中政權有功，被賜姓大野氏，官至太尉，受封為八柱國之一，位極榮貴，死後追封唐國公。李淵的父親李昞，襲封唐國公，北周時任安州（今湖北安陸縣）總管。柱國大將軍。
李淵7歲時，襲爵唐國公，曆任刺史、郡守、衛尉少卿等職。李淵又是隋文帝獨孤皇後的姨侄，為隋朝皇親。李淵的妻子竇氏是隋朝貴族神武公竇毅的女兒。所以，李淵家族一直是西魏、周、隋的大貴族，為關隴貴族集團之一。
613年（隋大業九年），楊玄感起兵反隋，隋煬帝調李淵為弘化（今甘肅慶陽縣）留守兼知關右諸軍事，以防備楊玄感。在這期間，他廣樹恩德、結納豪傑，煬帝對他甚為猜忌。615年（隋大業十一年），李淵調任山西、河東黜陟討捕，鎮壓毋端兒農民起義，收降1萬多人，聲威大震。
617年（隋大業十三年），李淵任太原留守、晉陽宮監。太原自北齊北周以來，就是天下精兵所在之地，兵源充足，糧草豐沛，儲糧可供十年之用，人力物力都非常雄厚。這時隋末農民起義的烽火燒遍全國，李淵看到隋煬帝的統治不得人心，便積極發展自己的勢力，伺機奪權。他命長子李建成在河東暗中結交俊傑，命次子李世民在晉陽秘密招募豪友，他們傾財賑施，卑身下士，不論其出身品行，隻要有一技可稱，一藝可取，能為所用，就以禮相待，廣泛結納，擴大勢力。
不久，全國政治軍事形勢發生了重大變化，江淮起義軍在江都附近擊敗陳棱，竇建德在河北樂壽稱王，瓦崗軍襲破洛口倉逼近東都，隋軍主力被瓦崗軍牽製在洛陽附近，無暇顧及其他地區。遠在江都的隋煬帝也處於孤立無援的境地。隋王朝的統治已岌岌可危，處於風雨飄搖之中。李淵認為時機已到，617年（隋大業十三年五月），殺隋煬帝派來監視他的副留守王威和高君雅，在晉陽起兵反隋。
李淵晉陽起兵後，決定進軍關中，直到長安，以號令天下。西河郡（今山西汾陽縣）丞高德儒不服從李淵命令，李淵命令建成、世民率軍進攻。建成、世民二人與士兵同甘共苦，遇到敵人身先士卒，衝鋒在前，所過之處秋毫無犯。道路附近的蔬菜瓜果，除非出錢購買，決不擅自取食，士兵有偷盜的，一定要找到失主賠償，軍民都心悅誠服。唐軍進軍順利，沒有幾天就攻下西河，擒斬高德儒，此外不殺一人。又在城中開倉濟貧，令百姓各安舊業，很得民心，名聲也傳播開來。李淵高興地說；“像這樣用兵，要爭奪天下就不難了。”西河告捷後，李淵建置大將軍府、自稱大將軍，以裴寂為長史，劉文靜為司馬，李建成為隴西公、左領軍大都督，統率左三軍，李世民為敦煌公、右領軍大都督，統率右三軍，其餘文武人員都隨才授任。
617年（隋大業十三年七月），李淵任命三兒子李元吉為太原太守，留守晉陽。自己親率大軍三萬，從太原出發，揮戈南下，直指長安。
唐軍進軍霍邑（今山西霍縣），遭到隋將宋老生的攔擊。正巧遇到連續多日的大雨，道路難行，唐軍的軍糧運輸中斷，兵士中還紛紛傳說突厥正與劉武周聯合準備乘虛偷襲太原，軍心不穩。裴寂認為：太原是軍事重鎮，又是唐軍家屬所在地，應先還師太原，以後待機再起。李淵認為有道理，準備撤兵回晉陽。李世民對李淵說：“現在正是秋收季節，田野裏有的是成熟的莊稼，還怕沒有糧食？宋老生輕率急躁，打一仗就可以把他俘虜，劉武周表麵上事奉突厥，事實上內心互相猜疑，雖然貪圖太原，但也並不是不擔心根據地馬邑的安全。我們起義兵，以救天下蒼生，應當先入鹹陽，號令天下。如果遇到小的挫折就班師，恐怕失去民心，將來也難成大舉。”李建成也反對回師太原。經過兄弟倆的切諫，李淵決定繼續進軍。八月，李淵率軍直趨霍邑城邊，先派建成、世民各率幾十名騎兵在城下高聲謾罵，宋老生惱羞成怒，率軍三萬人，出城交戰，李淵命小部隊偽裝後撤，老生以為李淵害怕，就引兵前進，緊追不舍。這時，李淵命殷開山率後續部隊正麵迎擊宋老生，李世民則以輕騎插入宋老生的背後，控製了城門。前後夾擊，宋老生走投無路，被唐軍斬於城下。