匈奴，其祖先乃夏後氏之苗裔，居於北邊，隨草畜牧而轉移。逐水草遷徙，無城郭常居耕田之業，然亦各有分地。無文書，以言語為約束。兒能騎羊，引弓射鳥鼠，少長則射狐菟，肉食。士力能彎弓，盡為甲騎。其俗，寬則隨畜田獵禽獸為生業，急則人習戰攻以侵伐，其天性也。其長兵則弓矢，短兵則刀鋌。利則進，不利則退，不羞遁走。苟利所在，不知禮義。自君王以下鹹食畜肉，衣其皮革，被旃裘。壯者食肥美，老者飲食其餘。貴壯健，賤老弱。父死，妻其後母；兄弟死，皆取其妻妻之。秦二世元年，匈奴冒頓單於繼位，他統一匈奴，使匈奴迅速強大起來，擁有控弦之士三十餘萬，北邊與西域各小國紛紛歸順，冒頓稱雄於大漠南北。西漢初定，高祖劉邦徙韓王信於代，都馬邑。匈奴大攻韓信，圍馬邑，韓信降匈奴。匈奴得信，因引兵南逾句注，攻太原，至晉陽下。高祖劉邦自將兵往擊之。會冬大寒雨雪，士兵被凍掉手指者十二三，於是冒頓假裝敗走，誘漢兵。漢兵逐擊冒頓，冒頓匿其精兵，以羸弱誘漢軍，於是漢悉兵三十二萬，北逐之。高祖劉邦率十萬騎兵先至平城，步兵未盡到，冒頓縱精兵四十萬騎圍高祖劉邦於白登，七日，漢兵中外不得相救餉。匈奴騎，其西方盡白，東方盡駹，北方盡驪，南方盡騂馬。高帝乃用陳平計遣使間厚遺閼氏，閼氏乃對冒頓說：“兩主不相困。今得漢地，單於終非能居之。且漢主有神，單於察之。”冒頓與韓信將王黃、趙利約期夾擊劉邦，而王黃、趙利兵久不來，冒頓疑其與漢有謀，亦取閼氏之言，乃開圍一角。於是高皇帝令士皆持滿傅矢外鄉，從解角直出，得與大軍合，而冒頓遂引兵去。漢亦引兵罷，劉邦使劉敬結和親之約。後漢武帝數敗匈奴，匈奴遂遷居漠北。從此以後十幾年間，匈奴避居漠北休養生息。而漢朝因人力、物資損失很大，以及為了征伐朝鮮、西羌及西南夷，也暫時停止對匈奴的用兵。公元前三十三年，呼韓邪單於朝漢，提出願婿漢以自親，娶漢公主與漢修好。
建武二十四年，匈奴正式分裂為南北二部。早在呼韓邪單於北遷單於庭之後，在漠南地區就形成了一個以八部大人為中心的政治集團，後歸右穀蠡王伊屠知牙師統率。知牙師是王昭君與呼韓邪之子，單於輿之弟，後晉升為左賢王。王昭君字嬙，南郡人。初，元帝時，以良家子選入宮庭。時，呼韓邪來朝，成帝敕以宮女五人賜之。昭君入宮數歲，不得見禦駕，積悲怨，乃請朝庭令求行。呼韓邪臨辭大會，成帝召五女以示之。昭君豐容靚飾，光明漢宮，顧景裴回，竦動左右。成帝見大驚，意欲留之，而難於失信，遂與匈奴。昭君生二子。及呼韓邪死，其前閼氏子代立，欲妻之，昭君上書求歸，成帝敕令從胡俗，遂複為後單於閼氏焉。依單於繼承慣例，知牙師當繼輿為單於。單於輿與漢朝為敵，不願意單於之位落入與漢有較深淵源的知牙師之手，欲傳位於子，因此殺知牙師，立子為左賢王，漠南八部大人及烏桓均歸右奧鞬日逐王比統轄。單於輿的侄子比見單於輿冤殺知牙師，口出怨言：“單於繼位，以兄弟言之，右穀蠡王(指知牙師)當立；以子言之，我乃前單於(指烏珠留單於)長子，當立。”比心懷怨恨，同時懼怕被殺，因此很少參加龍庭會議。單於輿也察覺比有異誌，於是遣兩骨都侯至漠南，監護比所部兵。
建武二十四年正月，漠南八部大人共議立比為呼韓邪單於。以比祖父呼韓邪單於附漢得安，故而沿襲其號，以示與漢和好之意。比親至五原塞外，表示要“永為蕃蔽，捍禦北虜(指北匈奴)。”光武帝與群臣商議，五官中郎將耿國說：“自我朝建立以來，匈奴連年入侵，朝廷窮於應付，耗費甚巨；而今匈奴分裂，南匈奴自願為漢保衛邊塞，於漢無疑是有利無害。”光武帝然之，接納南匈奴歸附。同年冬十月，在漢政府的支持下，比自立為呼韓邪單於，即醢落屍逐鞮單於。從此，匈奴正式分為南北二部。由於南單於歸附漢朝，北境再無侵擾之患；位於匈奴東北的烏桓、鮮卑，過去常追隨匈奴入塞侵擾，見南匈奴附漢後，也遣使至洛陽朝貢，北境愈加平靜。
建武二十五年春，南單於遣其弟左賢王莫率兵攻擊北單於弟薁鞬左賢王，莫連夜發兵，淩晨之時率軍來到薁鞬左賢王駐紮地，莫縱兵大擊，薁鞬左賢王全軍被殲，薁鞬左賢王被活抓，莫乘勝攻擊北單於庭，大破北單於蒲奴，俘擄萬餘人，馬七千多匹。北單於蒲奴為避南匈奴兵鋒，退卻近千裏。醢落屍逐鞮單於獲勝，知道北匈奴一定會報複，於是遣使至洛陽，南匈奴使者對光武帝說：“吾單於請求朝廷派使者監護，願遣侍子入朝，複修呼韓邪單於故約。”光武帝接納，遣中郎將段彬等使南匈奴，段彬拿著詔書來到南匈奴庭，對醢落屍逐鞮單於說：“單於當伏拜受詔。”醢落屍逐鞮單於顧望有頃，乃伏稱臣。拜訖，段彬令譯曉使者說：“單於新立，誠慚於左右，願使者眾中無相屈折也。”骨都侯等見，皆泣下。段郴等返回複命，光武帝乃聽南單於入居雲中。南單於遣使上書，獻駱駝二頭，文馬十匹。南部五骨都侯相互議論說：“匈奴與漢乃國與國之間平等關係，今要我們南跪漢朝，此莫大恥辱也。”於是五骨都侯打算脫離醢落屍逐鞮單於。南單於所獲薁鞬左賢王知南部五骨都侯意，乃與其合眾三萬餘人畔歸，去北庭三百餘裏，五骨都侯共立薁鞬左賢王為單於。月餘，六部不能相融，更相攻擊，五骨都侯皆死，薁鞬左賢王見身邊隻有幾千人，遂自殺，諸骨都侯子各擁兵自守。秋，南單於遣子入侍，奉奏詣闕。於五原(治今內蒙包頭西)西部塞設南單於庭，始置“使匈奴中郎將”，率兵護衛南單於。南單於比遣子入侍，光武帝依諸侯王之製，授南單於比黃金質璽綬，另賜衣裳、冠帶、車馬、黃金、錦繡、繒布等財物珍寶，又從河東郡轉輸糧食二萬五千多斛，牛羊三萬六千多頭賑濟南匈奴部眾。北匈奴為報南匈奴突然襲擊之仇，派五骨都侯子複將其眾三千人假意歸順南單於，北單於使騎追擊。複故意向南單於求救，南單令左賢王莫率騎三萬迎接五骨都侯子複及其眾，突然北兵殺到，左賢王莫率騎逆戰，五骨都侯子複率其眾從背後襲擊左賢王莫。莫帶領幾千騎突出重圍，南匈奴從此元氣大傷。光武帝命將南單於庭徙至西河郡美稷(今內蒙準格爾西北)，設置官府，同時命中郎將段彬等駐居西河郡，由西河長史率二千騎兵、弛刑(被赦免的囚徒)五百人，協助段彬等護衛南單於。隨著北境戰事的停止，光武帝令前因戰亂內徙的邊民遷回故地；同時，允許北地、朔方、五原、雲中、定襄、雁門、代郡、上穀等八郡由南匈奴部眾放牧居住，漢朝廷幾乎每年都要給予南匈奴巨大的財政支持。