從東漢以來，中國西部和北部周邊的各少數民族開始不斷地向內地遷徙。造成這一狀況的原因，主要是由於漢王朝的軍事征服以及他們為彌補中原兵力和勞力不足而對各少數民族的招誘。與此同時，周邊各少數民族勢力的消長變化也引起一些民族遷徙。魏晉之際，在北方漢族人口銳減的情況下，胡族內遷形成高潮。在這過程中，內遷的民族主要包括匈奴、羯、鮮卑、氐、羌等，曆史上泛稱為“五胡”。
西晉初年，中國北部、東部和西部，尤其是並州和關中一帶，居住著許多處於不同社會發展階段的少數民族，“西北諸郡皆為戎居”，關中百萬餘口，“戎狄居半”。在漢族的影響下，這些內遷的外族逐漸由遊牧轉向農業定居，胡漢文化相互影響滲透。但在交融的同時，胡漢亦存在一定的矛盾，例如並州的匈奴人成了漢人的奴婢，而不少漢人也相繼淪為胡人奴婢。這些奴婢常常被迫服役，當軍作戰，更有甚者被地方官員押往他鄉出賣，因而激起了境內各民族的反抗；而各族上層人物亦往往利用本族人民，實行割據。連續不斷的胡族內遷引起胡漢雙方的矛盾，嚴重動搖了西晉政權的統治根基，大規模的暴動有一觸即發之勢。
當時西晉一些官僚也察覺到形勢的嚴重性，於是便有以郭欽、江統為代表，提出“徙戎”的主張。他們建議用武力將內遷的胡族強製徙遷回原住地，並以“內諸夏而外夷狄”的辦法隔絕胡漢接觸，來防止胡人的反抗。
晉武帝非英明之主，平吳後縱情聲色，又無遠大眼光，拒絕了徙胡的建議，反接受大批匈奴歸附。相反，他罷黜了州郡兵，令地方武備廢弛，連盜賊亦不能製，所以胡人起兵後，全無阻礙。司馬光《資治通鑒》說：“惠帝）永寧以後，盜賊群起，州郡無備，不能擒製，天下遂大亂。”
而此時的西晉王朝卻禍起蕭牆。在統治集團內部，西晉諸王為爭奪中央最高權力，發生了一連串的相互殘殺和戰爭，曆時16年之久，史稱“八王之亂”。這場大惡鬥給人民帶來了無窮的災難。生產遭到破壞，數十萬人民喪失了生命，許多城市被洗劫和焚毀。不少人饑餓而死。人民又重新陷於苦難的深淵，掀起了大規模的流亡的浪潮。尤其是諸王利用少數民族的貴族參加這場混戰，造成了嚴重的後果。而晉室內部腐敗至極，地方防務不修，連年天災人禍，西晉王朝搖搖欲墜，遇上強悍的胡人遂一推即倒。
永興元年（304年），匈奴貴族劉淵在左國城（今山西離石）起兵反晉，逐步控製並州部分地區，自稱漢王。光熙元年（306年），晉惠帝死，司馬熾嗣位，是為懷帝，改元永嘉。劉淵遣石勒等大舉南侵，屢破晉軍，勢力日益強大。
劉淵，字元海，祖父為南匈奴單於，父劉豹為匈奴左部帥，曹魏時改姓劉。西晉太康末劉淵為北部都尉，後為建威將軍，五部大都督，受晉封為漢光鄉侯。起兵反晉後自稱漢王，永嘉二年（308年）正式稱帝。
劉淵死後，其子劉聰繼位。次年，劉聰遣石勒、王彌、劉曜等率軍攻晉，在平城（今河南鹿邑西南）殲滅十萬晉軍，又殺太尉王衍及諸王公。
永嘉五年（311年），匈奴兵攻陷西晉京師洛陽，俘虜了晉懷帝。縱兵燒掠，殺王公士民三萬餘人。史稱“永嘉之亂”。
次年，懷帝遇害的消息傳來，司馬業遂登位為湣帝，改元建興，都長安。建興四年（316年），匈奴劉曜陷長安，湣帝出降，被擄至平陽，西晉亡。
中原已是水深火熱，晉室隻得南渡建國，晉元帝司馬睿在建康稱帝。漢族士族也舉家相隨，車聲轔轔，扶老攜幼，辛苦備嚐。這是中原漢人第一次大規模南遷，史稱“衣冠南渡”。“衣冠”是文明的意思。
琅玡王氏、陳郡謝氏、譙郡桓氏，這些名門望族，離開了自己祖輩發跡的故土，非常舍不得，便在南方設立了僑郡。如，晉朝兗州原在今山東境內，後在廣陵（今揚州附近）設置了南兗州；徐州原在今蘇北，後在丹徒設置了南徐州。
當時江南的經濟文化還很落後，漢人南遷，帶來了先進的技術及資金和充足的勞動力。此後，江南地區漸取代中原而成全國經濟重心。