李姓據載出自嬴姓，五帝之一的顓頊為其始祖。顓頊的重孫皋陶在堯統治時期擔任大理（主管刑法）之職，他的子孫曆舜、夏、商，世代充任大理，以官命族，遂稱理氏。在商紂統治時，理征因得罪了紂王，被殺，他的妻子契和氏和兒子利貞在逃亡途中，饑餓無食，靠吃木子（樹籽）而得以生存，遂改理為李氏。李姓據說因此而來。
李淵自稱是西涼武昭王李暠後裔。李暠生十子，次子李歆為西涼後主，李歆生八子，其第三子李重耳在亡國後投奔南朝宋，任汝南太守。北魏進攻宋，李重耳以城歸降，遂入魏為官。李重耳生子李熙，任金門鎮將，後改鎮武川（今內蒙古武川西南），其家也隨著遷居於此。關於李氏家族興起於武川的說法，就來源於此。李熙生李天賜，天賜生三子，即李起頭、李虎、李乞豆。李虎生李昞，李淵即李昞之子。
以上所述的這個家族世係情況，是出於唐代官修史書的記載，並不完全可靠。通常認為其家為西涼李暠之後裔是偽托，李重耳在亡國後並未南投劉宋。李熙以來的世係情況，基本真實，但其鎮守武川的說法卻不大可靠。由於李唐自稱是西涼李暠後裔，通常都視其郡望為隴西李氏。
北周天和元年（公元566年），李淵出生於長安。建德元年（公元572年），李昞去世，年僅七歲的少年李淵就襲封了唐國公的爵位，這既是無尚的榮耀，又意味著家族興旺發達的重擔落在了他的肩上。關隴集團是一個崇尚武功的政治軍事集團，李淵既為其成員，當然也不能在武功方麵遜色於他人。經過勤學苦練，他武功出眾，弓馬尤為嫻熟。
李世民出生於開皇17年（公元597年）12月，據說出生時有二龍盤旋於其家住所門外，三日後方去。這當然是無稽之談。李世民四歲時，有一個看相先生說他是“龍鳳之姿，天日之表，年將二十，必能濟世安民矣”。遂取“濟世安民”之義，命名為世民。當時李淵怕這位先生泄露此言，招來禍害，打算將他殺死，“忽失所在”。這些離奇的故事，固不可信，大約是李世民後來當了皇帝，為了證明他不同凡響，才編造了這些故事。盡管如此，“世民”這個名字，的確含有“濟世安民”的寓意，這一點是毋庸置疑的。
李世民在孩提時深受其母的影響。其母竇氏據說善於書法，仿李淵的筆跡，別人竟不能辨別，文章也寫得不錯。李世民喜愛書法，大概也與他母親的影響與教誨有關。在武德時期，李世民每次侍宴宮中，麵對眾妃嬪，勾起了他思念親生母親的情懷，流涕小止，說其母早亡，沒有看到李氏擁有天下。表達了他對母親的深切懷念。
李氏家族從李虎起定居於西北，到李世民時已經四世，世代為武將，受關隴地區尚武習俗和家庭的影響，李世民從小習練弓馬。後來他回憶說：“朕少好弓矢，自謂能盡其妙。”又說“朕少尚威武，不精學業，先王之道，茫茫涉海”。通過這些話，可以看出李世民在少年時代就是一個強悍驍勇的貴族子弟，讀書少，善騎馬，好弓矢，性格豪放，剽悍善戰。武德時的重臣陳叔達也說過秦王性情剛烈的話。這一切都是李世民性格特點的真實反映。
李世民大約是在大業9年（公元613年）十六歲時，與長孫氏結婚。長孫氏，河南洛陽人，她的祖父長孫兕，為北周左將軍；父親長孫晟，為隋右驍衛將軍。長孫晟病故後，長孫氏與兄長長孫無忌被其舅父高士廉收留撫養。高氏為渤海著名的高門右姓，其父祖從北魏到北齊、隋朝，曆代都充任顯職。高士廉本人頗涉文史，素有才望，在這樣的家庭教育下，長孫氏從小知書達禮，與李氏家族尚武的風氣迥然不同。長孫氏在十三歲時嫁給李世民，通過這種婚姻關係，將渤海高氏這樣的大士族也拉入到關隴集團之中。