西晉皇族的互相殘殺給北方戎狄民族的趁勢崛起提供了千載難逢的機會，司馬氏骨肉相殘的悲劇還沒有退場，五胡十六國已經迫不及待地登場了。第一個在北方建立胡族政權的是匈奴劉淵。
說到匈奴，得把目光向前看到東漢時代。東漢王朝曾與匈奴有過交戰，多次擊敗匈奴，導致匈奴分裂為南、北兩部，北匈奴逃往西域，南匈奴一部向漢朝投降，被漢朝安置在長城以南，作為對抗北匈奴的藩屬。漢末大亂，南匈奴也開始有了一些小動作。董卓擾亂天下，南匈奴單於於扶羅乘機攻入河東郡縣，就此駐屯平陽一帶。獻帝興平二年（公元195年），李催、郭汜作戰，於扶羅在幫助漢獻帝平亂時乘機在陝甘一帶大肆擄掠，蔡邕的女兒蔡琰（蔡文姬）一就是在這時候被擄去的。於扶羅死後，其兄弟呼廚泉做南單於。曹操統一中原後，就把南匈奴的人眾分為五部，選拔其中的貴人做首領。這時，匈奴的勢力已經擴展到山西河南一帶。曹操任命的首領是於扶羅的兒子劉豹，而劉豹的兒子正是後來複興匈奴的劉淵。
由於祖孫三代已經進入漢族居住地區，劉淵的漢化程度非常高。他拜名儒崔遊為師，學習《易》、《詩》、《書》等典籍，尤其愛好《春秋左傳》、《孫子兵法》，並能熟讀成誦，同時也讀過《史記》、《漢書》和諸子百家。劉淵還具有匈奴人孔武有力的體格，膂力過人，善於射箭。劉淵非常崇拜漢高祖劉邦，鄙薄劉邦的手下，常說：“隨和、陸賈這些人有文無武，絳夫、灌嬰等人有武無文。”言下之意，他自己是文武全才。
劉淵的才華在洛陽時就得到了賞識。晉武帝滅吳時，他曾被舉為元帥，樹機能叛亂時，他也曾被推薦平叛，但由於他的匈奴身份，始終得不到信任和重用。他在晉朝擔任的職務總是一些不能領兵的左部帥、北部都尉、五部大都督等閑職，受到成都王司馬穎的控製，為此劉淵非常不滿。當然，如果不是晉朝內亂，他也不會在曆史上掀起多大的波瀾。
“八王之亂”造成的混亂局麵給了匈奴貴族趁機崛起的機會。劉淵的堂祖父、右賢王劉宣看到晉朝皇族互相殘殺，就對族人說：“自從漢朝滅亡以來，我們的單於都是徒有虛名，不再有一寸土地。其餘的王侯，地位降到與老百姓一樣。現在司馬氏骨肉親人互相殘殺，四海動亂如同鼎中沸騰的開水，光複呼韓邪的事業，這正是時候！”於是互相謀劃，推舉劉淵為大單於，並派心腹呼延攸到鄴城去告知。劉淵知道後十分高興，便以會喪為借口請辭。司馬穎不允許。劉淵隻好密令呼延攸先回去，通知劉宣等人召集五部匈奴以及各小民族的積蓄力量，加緊準備，伺機反晉。
永安元年（公元304年），正是八王之亂交戰正酣的時候，成都王司馬穎兵力不濟，難以應付。劉淵抓住這個機會，自告奮勇向成都王請命說，願意發匈奴五部之兵助戰。成都王想也沒想就答應了。劉淵回到左國城（今山西離石），劉宣等人立即給他上封大單於稱號。二十多天時間，劉淵就召集了五萬人馬，建都左國城，稱國號為“漢”。劉宣等人請求劉淵上一個尊號，劉淵說：“現在四方都沒有平定，暫且按照漢高祖那樣稱漢王吧。”於是，劉淵祭天於南郊，登上漢王王位，宣布大赦，改年號為元熙。
劉淵在中原居住幾十年，漢化程度非常高，熟諳漢族人的心理。有幾件事情可以說明一二。劉淵起兵稱大單於之後做的第一件事是派五千騎兵去救成都王穎，部將們不能理解，既然我們已經另起爐灶了，為什麼還要理會晉朝的家事。劉淵說：“我已經答應了他，不可以不救。”這話當然是一種政治“秀”，意在表明自己誠信待人，和司馬家族的詭詐完全不一樣。另外，劉宣等人一心要“複呼韓邪之業”，而劉淵卻說：“呼韓邪何足效哉！”他要做的事業是建立漢朝一樣偉大的朝代。他心目中的英雄是劉邦、曹操。劉淵的頭腦很清楚，如果自己亮出匈奴的旗號，肯定不受漢人擁護。他決定利用匈漢和親關係，把漢朝作為自己的家事，每當說到劉邦，總要說“我高祖”。為了表示尊漢，不僅痛責自己心目中的偶像曹操，也對劉備未能完成複興大業深表惋惜。從這些政治“表演”可以看出，劉淵是一個極有政治頭腦的高明人物。
劉淵建國之後，派兵四處攻略，一切進行得有聲有色，他本人也於晉永嘉二年（公元308年）正式稱帝。劉淵甚至還想到偷襲洛陽，一舉消滅晉朝。經過兩次進攻，洛陽始終無法攻下，還損失了幾員大將。劉淵覺得大概晉朝的氣數未盡，因此退兵，四處擴大地盤。
劉淵於晉永嘉四年（公元310年）去世，太子劉和嗣位。不久，皇子劉聰殺死他的兄弟，奪得帝位。劉聰再接再厲，終於攻陷洛陽滅亡了晉朝。由於匈奴漢國後來因家族內篡改稱趙，因此在十六國史上，這個國家也稱為前趙。