對於李淵的家世淵源、出身籍貫，舊史上記載不一，疑團不少，每一種說法都振振有詞，說得跟自己家對門李大爺的事似的。比如說其籍貫，宋朝牛人歐陽修、宋祁的《新唐書》記載為隴西成紀人，而同為宋代人修的《冊府元龜》和五代時人的《舊唐書》等則記載為隴西狄道人，而到李淵曾祖李熙時移民到武川。有的曆史學家經過層層剝絲抽繭認為，李唐祖上雖然有一些行蹤可考，移民武川之事純屬扯淡。
至於說其祖上為西漢名將李廣之後，更是八字沒一撇的拉郎配。
唐朝人李延壽撰《北史》一百卷，其在全書之後作“序傳”，更是肯定地認為“李氏之先”出自帝顓頊高陽氏。在唐堯之時，高陽氏有個兒子叫庭堅，官居“大理”，因自稱為理氏。在商紂之時，其先人以直道得罪逃隱，因為食木子而得活命，遂改理為李氏。周朝時的柱下史李耳是其祖上。
說來說去，都是因為老李最後做皇帝了，皇帝怎麼可以是凡人，要粉飾，要放一些光芒。
有人捧場就有人來砸場子，砸場子的人是近代著名史家陳寅恪。按照陳先生的說法是：“李唐先世本為漢族，或為趙郡李氏徙居柏仁之‘破落戶’，或為鄰邑廣阿庶姓之‘假冒牌’，既非華盛之宗門，故漸染胡俗，名不雅馴。”
這個說法更是反其道而行之，意思是說李淵先生的家世不過是破銅鍍金，那些好聽的話都是一派胡言。
拋遠了不好說，但有一點是可以肯定的。在李淵的祖父李虎時期，其家族就開始進入黃金時期。李虎因為積極參與後魏權臣宇文泰的政變並一舉獲得成功，與宇文泰、太保李弼、大司馬獨孤信等八人一起被稱為“八柱國家”。因此成為西魏的開國功臣，官至太尉，還被賜予鮮卑姓大野氏，這個“大野氏”是國姓。由此可以肯定，李淵的祖上是依靠軍功起家的，後來又倚賴婚姻鞏固了這樣的家世門風。以八大柱國為核心的軍人之家，曆史上統稱為關隴軍事貴族集團。
一個新興的貴族集團橫空出世，一飛衝天，延續了中國貴族時代的壽命，並開創了一個前所未有的偉大時代，這就是縱橫中國近二百年的關隴軍事貴族集團，他起源於西魏，初建於關中，共創造出四個王朝，分別是西魏、北周、隋、唐，這在中國曆史上是絕無僅有的奇跡，並將中國推向了一個新的曆史高峰，其發端便是盛極一時的西魏八大柱國。
由於李淵的祖父李虎和宇文泰交情很深，在宇文泰的兒子篡（西）魏建（北）周時，雖然他本人已經不在人間，但仍被追封為唐國公。
也就是從這時候起，李淵的家世就與唐聯係起來。
所謂唐，就是傳說中堯舜禹中的唐堯之唐。李淵的父親李昞在北周時官居安州總管、柱國大將軍，襲爵唐國公。李淵建立大唐之後，追尊祖父李虎為太祖景皇帝，追尊父親為世祖元皇帝。
在北周時期，李淵的父親就移居到了當時的國際大都市長安。
由於父親死得早，家中排行第四的李淵七歲就襲爵唐國公。他的母親獨孤氏，是同為八柱國之家的獨孤信的女兒，丈夫死了獨孤老太太真孤獨了。值得欣慰的是孤獨的獨孤老太太生了個好兒子李淵。