於扶羅死後，其弟呼廚泉接手其事業，劉淵的父親劉豹任職左賢王。正當呼廚泉部如日中天快速發展的時候，曹操掌握了漢廷實權。聰明的曹操，看出呼廚泉單於雖然表麵謙恭，但野心勃勃，怕是日後成為中原大患，於是采取了分兵之計，把呼廚泉所部分成了左右南北中5部，劉豹任左部帥，率軍萬餘。
小小的計謀，使呼廚泉再有野心，也是力量分散，難成大事。
呼廚泉部有士卒三萬餘人，而劉豹所部是其最大的一支。劉淵這時候，以人質的身份留在洛陽，劉豹雖有大誌，卻也不敢輕舉妄動。
劉淵此人，頗有幾分傳奇色彩，劉淵的母親呼延氏曾入龍門廟求子，在龍門見到一條長有兩角的奇異大魚躍龍門。夜裏，呼延氏夢到大魚幻化為人形，左手持一物似卵，非常好看，聽那人說：“此是日精，服後生貴子。”
呼延氏非常高興，當時就把那個日精吃了。
13個月後，呼延氏生一孩子，一出生左手上就寫著元海二字，以這二字為名，就是劉淵。劉淵生於中原，深受漢文化的影響，少年時代就刻苦學習，熟讀《詩經》《尚書》《周易》等儒家經典，對《史記》《漢書》，中原諸子，無不熟悉，更有名師崔遊指導。
做為一個匈奴人，劉淵文能成章，武更不在話下。劉淵出身武學世家，對領兵打仗，無師自通，又愛研習兵書，是一個文武全才。
成年的劉淵，已是一個體貌偉岸的男子漢，身長八尺四寸（三國的一尺，等於現在的24.2厘米），相當於現在的二米，胡子長三尺餘，當中有赤毫三根，長三尺六寸。
劉淵在洛陽當質子時，深受晉文帝賞識。晉文帝說他，不但長得好，而且文化水平也高。然而，晉文帝深切在感受到，非我族類，其心必異，對劉淵心存警惕，當然劉淵也不敢掉以輕心。晉武帝時，鮮卑族禿發樹機能在涼州起兵，王渾建議，可封劉淵為大將軍，意圖憑借匈奴之力而平定涼州。
這一提議，立刻遭到許多大臣的反對，葉楓對司馬炎說道：“元海要是能平定涼州，斬禿發樹機能，則涼州真的有難了。這個元海就是條蛟龍，不是池中之物，如果讓他出去，必是如魚得水，沒有人能管得了。”
齊王司馬攸更是力勸晉武帝：“不除掉劉元海，怕是並州得不到安寧。”
王渾又進言道：“劉淵是長者，我王渾替劉淵擔保此事。大晉朝不是正要向少數民族表明以誠相待，用德政使遠方人歸附嗎？怎麼能憑借一點兒沒譜的事，而殺害送來的人質呢？”
晉武帝同意王渾的話，最終沒有殺劉淵。
而劉淵也沒有坐上大將軍的寶座，但他的才華與霸氣和潛在的威脅，卻已經通過別人之口，讓人們看得一覽無餘了。
劉豹死後，劉淵終於結束了質子生活，回到並州繼承他父親的事業。執掌父親職務後，劉淵兢兢業業，暗中積蓄力量。太康末年（289年），晉武帝任劉淵為北部都尉。晉惠帝登位，楊駿輔政時，劉淵領建威將軍、武部大都督職務。