公元前201年，漢高祖劉邦被匈奴冒頓單於的鐵騎團團圍困在平城白登山上。505年以後，冒頓單於的後代、匈奴人劉淵在山西左國城宣布自己是漢高祖的後代，建國號為漢。
唐朝的詩人曾經寫下了“但使龍城飛將在，不教胡馬度陰山”的詩句。無數“飛將軍”曾經阻擋了胡馬的南下，但一部分匈奴人卻遷入了中原，並且最終融合在漢族之間。
秦始皇死後，原來駐守在北部邊境的大將蒙恬被迫自殺，邊防鬆懈。不久反秦起義爆發，秦軍忙於鎮壓，不再顧及北方邊疆。匈奴趁機南侵，移民大多逃亡。在沒有軍隊守衛的情況下，秦始皇耗費了大量人力物力築起的萬裏長城根本無法阻擋匈奴的騎兵。在這種有利的形勢下，匈奴出現了一位強有力的領袖——冒頓單於。他即位後，率領匈奴各部東征西討：攻滅了東胡，將其殘餘的烏桓和鮮卑趕到了大興安嶺；擊敗了月氏，迫使月氏人從河西走廊的西部遷往中亞；征服了北部的丁零、堅昆等部，擴展到貝加爾湖一帶。匈奴不僅全部收複了被蒙恬奪取的土地，而且繼續南下，進入戰國時秦、燕、趙的舊地。匈奴號稱擁有“控弦之士（能挽弓作戰的士兵）三十萬”，盛極一時。
秦漢之際，楚、漢和各諸侯忙於爭奪天下，無暇北顧。等劉邦消滅項羽，匈奴的威脅已經相當嚴重。高祖六年（前201年），匈奴圍攻馬邑（今山西朔州市），駐守那裏的韓王信投降後，依仗匈奴的勢力南下太原（今山西中部），攻至晉陽（今山西太原市西南）城下。七漢朝騎兵年冬，劉邦率大軍親征，擊敗韓王信和匈奴聯軍，乘勝追擊。當時連降大雪，天寒地凍，有的士兵連手指都被凍掉。劉邦為了了解實際狀況，不斷派使者進入匈奴地區觀察。冒頓將計就計，故意將精銳部隊和肥壯的牛羊隱藏起來，沿途隻留下一些老弱殘兵和瘦弱的牲口，十幾位使者回來後都說匈奴不堪一擊。劉邦又派劉敬（即婁敬）去複查，他的報告與眾不同：“兩國交戰，一般都要壯大聲勢，但我隻見到了老弱的士兵和牲畜，肯定是故意造成假相，將精兵埋伏了起來。我認為匈奴打不得。”但這時30萬漢軍已經越過句注山（今山西代縣西北恒山山脈），爭先恐後地北上了。劉邦認為劉敬是動搖軍心，將他拘押在廣武（今山西代縣西南），自己率領騎兵到達平城（今大同市東北）。但漢軍大部分是步兵，遠遠落在後麵，隻有一部分趕到平城。這時冒頓出其不意，以大量騎兵將劉邦團團包圍在平城東北的白登山，並且切斷了劉邦與後續部隊的聯係。整整七天七夜，漢軍無法突出重圍，幾乎彈盡糧絕。劉邦派人突圍找到閼氏（單於的夫人），送給她豐厚的禮物，讓她在單於麵前說好話。正好韓王信的部將王黃、趙利等在約定的時間內沒有到達，單於懷疑他們與漢軍合謀，於是在包圍圈上網開一麵，劉邦衝出包圍，與大軍會合，匈奴軍隊也撤退了。
但匈奴仍不時侵擾北部邊境，劉邦苦於應付，聽從劉敬的建議，實行和親。所謂和親，就是將漢朝的公主（實際上大多是以宗室的女兒或宮女代替）嫁給單於，並饋贈大批物資禮品。和親在一定程度上緩和了匈奴的入侵，但漢朝正忙於鞏固內部，加上不斷有漢將叛逃，成為匈奴的幫凶。如燕王盧綰帶著萬餘部眾投降匈奴後，上穀以東（今河北北部、遼寧西部一帶）就經常成為匈奴侵擾的目標。
呂後時，冒頓自恃兵力強盛，有意挑釁，給呂後送去一封信，大意說：“我孤零零生活在荒野地方，很想到中國遊玩。陛下是寡婦，想必也很寂寞。大家都不快樂，何不互通有無？”呂後大怒。召集群臣商議，準備殺匈奴使者，出兵問罪。她的妹夫樊噲請戰：“給我十萬軍隊，我可以橫行匈奴之中。”季布卻說：“樊噲應該殺頭。當年三十二萬漢軍出征，樊噲是上將軍，高祖被圍在平城，樊噲不能解圍。到今天傷病者剛剛複原，百姓還在唱著悼念平城士兵的哀歌，樊噲卻要讓天下震動，胡說用十萬軍隊去橫行，不是當麵欺騙你嗎？況且匈奴人本來就像禽獸一樣，聽了他們的好話不必高興，對他們的壞話也犯不著生氣。”呂後明白漢朝的實力，就派張澤送去一封複信：“我已年老氣衰，頭發牙齒都掉了，走路也不成樣子，單於不知從哪裏聽了傳聞，實際上完全不必降低身份來找我。敝國沒有什麼過錯，應該能得到你的寬大。奉上禦車二輛，駿馬二匹，供你日用。”冒頓也派使者致歉，表示自己不懂得中國禮儀，請求原諒，還回贈了馬匹，雙方恢複和親。
文帝時（前180～前157年在位），冒頓單於擊敗月氏，控製了西域的大部分地區，兵力更加強盛；而漢朝經濟尚未恢複，又受到內部分裂割據勢力的牽製，軍事上處於劣勢，隻能盡可能維持和親。例如文帝三年，匈奴右賢王入侵，文帝親赴太原，派丞相灌嬰率八萬車騎迎擊右賢王。但濟北王興居發動叛亂，企圖襲擊滎陽（今河南滎陽市西北），文帝隻得召回灌嬰的軍隊，鎮壓內亂。第二年，冒頓單於致書文帝，表麵重申和親，實際卻宣揚滅月氏的戰績，宣稱“諸引弓之民並為一家”（所有使用弓箭的百姓已完全合並為一家），提出“皇帝如不想匈奴靠近邊塞，就應該命令你的吏民遷得遠遠的”。