東漢建立之後，匈奴對東漢政權基本上持一種敵視態度。他們除不時南下侵擾之外，還支持彭寵的叛亂，到了後來又扶植盧芳建立傀儡政權，使北方邊境烽煙四起。
劉秀因為東漢初期的現實情況不允許對匈奴用兵，所以對匈奴采取羈糜政策。建武六年(公元30),他首次與匈奴通使，所派使臣仍然是當年更始遣使匈奴的歸德侯劉颯。不過這次匈奴人對待使臣還算客氣，“亦遣使來獻”,給予積極的回應。劉秀看到這種情況，自然高興，於是“複令中郎將韓統報命，賂遺金幣，以通舊好”。
沒有想到這回匈奴單於又驕踞起來，“自比冒頓，對使者辭語悖慢”。盡管如此，劉秀仍然委曲求全，“待之如初”,從而在表麵上維持著“使命常通”的局麵。然而匈奴人並不滿足於這種狀況，他們“數與盧芳共侵北邊”,這就嚴重威脅著東漢帝國的安全。
建武九年，劉秀令大司馬吳漢率王常等四位將軍進擊盧芳屬將賈覽、閔堪於高柳(今山西陽高)。賈覽、閔堪由於得到匈奴的救援，兵力增強了許多，吳漢等連戰不利，“經歲無功”。由是“匈奴轉盛，鈔暴日增”,至建武十三年，“遂寇河東，州郡不能禁”。建武十五年，劉秀一麵“遣吳漢率馬成、馬武等北擊匈奴”,一麵“徒雁門、代郡、上穀吏民六萬餘口置居庸、常山關以東，以避胡寇”。這樣一來，匈奴左部便乘虛“轉居塞內”;東漢政府因為這件事而感到擔憂，於是“增緣邊兵郡數千人，大築亭候，修烽火”,開始加強防禦。
當然，這期間雙方也並非因此而沒有來往。例如建武十四年，匈奴便曾“遣使奉獻”,而東漢也派遣中郎將劉襄回報。這樣，漢甸之間信息的傳遞還是靈通的。這個時期，盧芳亡命在匈奴，“匈奴聞漢購求盧芳，貪得財幣，乃遣芳還降，望得其賞”。這樣一來，“盧芳自匈奴複入居高柳”。然而盧芳自從回到漢境之後，“以自歸為功，不稱匈奴所遣”,自己投降了東漢，並因此被封為代王。這就等於讓匈奴吃了一個啞巴虧，因為這個原因“單於複恥言其計”“由是大恨，入寇尤深二十年，遂至上黨、扶風、天水；二十一年冬，複寇上穀。中山，殺略鈔掠甚眾，北邊無複寧歲”。
正在北方邊境形勢日趨緊張，匈奴入侵日益升級的時候，匈奴內部卻天災人禍並發，這樣北方邊患一時間反倒自己就緩解了。
建武二十二年(公元46),“匈奴單於輿死，子左賢王烏達侯立；複死，弟左賢王蒲奴立”。短短一年中，接連死了兩位單於，這樣勢必造成政治上的動蕩。而當時“匈奴中連年旱蝗，赤地數千裏，草木盡枯，人畜饑疫，死耗大半”。在這種危急的情況下，蒲奴單於擔心東漢乘其敝而伐之，“乃遣使詣漁陽求和親”,漢廷則派中郎將李茂報命。
這個時候，匈奴貴族內部爭奪單於繼承權的鬥爭也日漸激烈起來。領有匈奴南邊八部及烏桓的右奠鞬目逐王比，為前呼韓邪單於之孫，最開始由於口出怨言受到單於輿的懷疑和監視，及輿死後又因未能立為單於而因此心懷憤恨，於是秘密派遣了一個叫郭衡的漢人帶著全匈奴的地圖，在建武二十三年到西河太守那裏要求內附。其後事情泄露，他索性一不做二不休，“遂斂所主南邊八部眾四五萬人”,另起爐灶。蒲奴單於“遣萬騎擊之，見比眾盛，不敢進而退”。
建武二十四年春，匈奴八部大人共議立比為呼韓邪單於。為什麼要襲用比的祖父呼韓邪單於的名號，就是希望要像他當年那樣，“依漢得安”,保持與漢的臣屬關係。於是比遣使到五原塞(今內蒙古包頭西北),向漢表示“願永為著蔽，提禦北虜”。劉秀於是將這件事交給公卿討論，“議者皆以為天下初定，中國空虛，夷狄情偽難知，不可許”。
這時隻有武官中郎將耿國主張“直如孝宣故事受之，令東捍鮮卑，北拒匈奴，率厲四夷，完複邊郡”。劉秀采納了這個意見。到了當年冬天，比自立為呼韓邪單於，從這時候起匈奴正式分為南北兩匈奴。經過這樣的變故，東漢的北方邊境安全因親漢的南匈奴的建立，也就大為改觀。
到了第二年的春天，“南單於遣使詣闕貢獻，奉藩稱臣”,同時派遣其弟左賢王莫將兵萬餘人出擊，一舉俘獲北單子弟奠鞬左賢王，又破北單於帳下，並得其眾合萬餘人，馬七千匹，牛羊萬頭。“北單於震怖，卻地千裏”。此後不久，奠鞬北部骨都候與右骨都煥率眾三萬餘人，也來歸降南單於。三月，南匈奴再次派遣使臣到洛陽，“獻國珍寶，求使者監護，遣侍子，修舊約”。
又過了一年，也就是建武二十六年(公元50),劉秀派遣中郎將段彬、福校尉王鬱出使南匈奴，在距五原郡(治九原，今內蒙古包頭西)西部塞八十裏的地方，立其王庭。單於比延迎漢使。沒有想到見麵後，使者要求他按照漢朝的禮儀，“當伏拜受詔”。單於遲疑了一下，但還是跪下去俯首稱臣。段彬等回朝複命，劉秀對單於的表現頗為滿意，遂下詔允許南匈奴人居雲中郡(治今內蒙古呼和浩特西南)。南單於遣使上書謝恩，“獻駱駝二頭，文馬十匹”。