公元304年，北方的匈奴貴族劉淵反晉獨立，自稱漢王。自從西漢末年起，有一部分匈奴人分散居住在北方邊遠郡縣，他們和漢族人相處久了，接受了漢族的文化。匈奴貴族認為上代多次跟漢朝和親，是漢朝皇室的親戚，後來就改用漢皇帝的姓——劉。曹操統一北方後，把匈奴各個部落分為五個部，每個部都設部帥，匈奴貴族劉豹是其中一部的部帥。
劉淵是劉豹的兒子，從小讀了許多漢族人的書，力大無窮，武藝高超，能夠拉三百斤重的大弓。劉豹死後，劉淵繼承他父親的職位。後來，在西晉的成都王司馬穎部下當將軍，留在鄴城，專管五部匈奴軍隊。
八王混戰開始後，匈奴部落裏一些貴族在左國城開會商量對策。有個老年貴族說：“我們匈奴從漢朝開始跟漢人結為兄弟。經過魏、晉兩個朝代，匈奴單於後代雖然有封號，卻沒有自己的尺寸土地，跟一般百姓沒什麼兩樣。現在晉朝發生內亂，自相殘殺。這正是我們匈奴人恢複地位的好時機啊！”大家都覺得他說得很對，叫誰來帶頭呢？大家商量後，認為劉淵有才能，威望高，推舉他當單於最合適。貴族們派了一個使者到鄴城，把大夥兒的意思告訴劉淵，請他回來。劉淵很高興，就借口要回匈奴葬自己的父親，向司馬穎請假。司馬穎不同意，劉淵隻好讓使者先回去，並且要五部匈奴集結兵力，向南移動。
後來，晉朝的並州刺史司馬騰、將軍王浚聯絡鮮卑貴族攻打司馬穎，司馬穎兵敗，逃往洛陽。劉淵向司馬穎要求回去帶匈奴兵馬來助戰，司馬穎才讓他回去。
公元304年，劉淵回到左國城，大夥兒擁戴他做了大單於。他集中了五萬人馬，親自率兵南下，幫助晉軍攻打鮮卑兵。有人問他，為什麼不趁這個機會把晉朝滅掉，反倒去幫助晉軍呢？
劉淵說：“要滅掉晉朝，還不容易，但是晉朝的百姓未必會向著我們。我看漢朝立國的年代最長，在百姓中影響大。我們的上代又是漢朝皇室的兄弟。現在漢朝亡了，我們用繼承漢朝的名義，也許可以得民心。”大家聽了，覺得是一個好主意。劉淵就宣布自己是漢王。劉淵稱漢王後，很快攻下了上黨、太原、河東、平原等幾個郡，勢力越來越大。一些勢力比較小的各族反晉力量也都來歸附劉淵。
公元308年，劉淵稱漢帝。第二年遷都平陽，集中兵力進攻洛陽。洛陽的老百姓雖然恨透了腐朽的西晉王朝，但是也不願受匈奴貴族的統治。所以劉淵兩次進攻，都遭到洛陽軍民的猛烈抵抗，不得不退兵。那時候，八王中最後的一個王——東海王司馬越還在和一批大臣互相仇殺。晉朝留下的一點點兵力也消耗得差不多了。後來劉淵死去，他兒子劉聰繼位做漢國皇帝，又派大將劉曜、石勒進攻洛陽。洛陽的軍民奮勇抵抗，但是畢竟寡不敵眾。
公元311年，洛陽城終於被攻陷，晉懷帝做了俘虜。
劉聰進洛陽後，殺了大批晉朝的官員和百姓，還殺了晉懷帝。晉懷帝死後，在長安的晉國官員擁立懷帝的侄兒司馬鄴繼承皇位，即晉湣帝。
公元316年，劉聰攻下長安。晉湣帝也遭到了懷帝同樣的命運，被劉聰殺害。
西晉王朝維持了五十二年，終於滅亡。西晉滅亡之後，北方的各族人民紛紛起義，建立政權，前前後後一共出現了十六個割據政權，曆史上稱為“十六國”。