但匈奴是個最強大的敵人，它從三方麵包圍漢朝，敵強我弱。武帝多年征討，才滅掉匈奴猖狂的氣焰。這場漢匈之戰是元光六年（公元前129年）拉開序幕的，這一年，匈奴侵入上穀縣，試探漢朝的虛實。武帝派出衛青等四位將軍，每位帶領一萬騎兵，分成四路迎擊匈奴。衛青帶領的一路騎兵打了勝仗，一直追擊匈奴到龍城。匈奴由此戰知道漢軍已不是昔日的漢軍，不可輕視了。
初戰勝利後，漢軍於元朔二年（公元前127年），又取得輝煌的勝利。這年開春，匈奴入侵上穀、漁陽，殺害和擄走官吏、民眾千餘人。武帝派遣衛青出擊匈奴，旗開得勝，斬獲無數，僅生俘的敵兵，就有數千，戰利品中，牛羊就有百餘萬。將匈奴的白羊王、婁煩王從肥美的河南地驅逐出去，秦朝的故地都收回了。於是設置朔方郡，征發十餘萬人築朔方城，將秦朝在當地修築的要塞全部恢複，花費的金錢至少有數千萬。這年夏天，為了加強邊境的防守，遷徙十餘萬民眾到朔方居住。
元朔五年（公元前124年），因匈奴右賢王數次侵擾朔方，武帝派遣衛青帶領三萬騎兵為前鋒，護衛四位將軍帶領的重兵出擊匈奴，又派遣二將帶領人馬作後援，總兵力達到十餘萬。一場血戰之後，漢軍獲全勝。俘虜匈奴小王十餘人，其他男女一萬五千人，獲得各類牲畜一千萬頭，漢武帝親自到前線慰問軍隊，就在軍中慶功會上拜衛青為大將軍。
元朔六年（公元前123年），二月，大將軍衛青統率六位將軍的聯隊，分六路出擊匈奴，斬首千餘級而還。四月，衛青又統率六位將軍的聯隊出擊匈奴，俘獲或斬首數萬人。驃姚校尉霍去病立功最多，他的隊伍俘獲或斬首匈奴小王、相國、當戶和騎士二千餘人。
元狩二年（公元前121年），三月，驃騎將軍霍去病帶領萬餘騎兵出擊匈奴，深入千餘裏，殺死兩個小王，俘虜王子、相國、都尉等多人，俘獲或斬首的匈奴共計8900人。夏天，霍去病又與三位將軍的聯隊共數萬騎，分三路出擊匈奴，霍去病的小隊深入二千餘裏，俘虜小王十餘人，相國、都尉以及普通匈奴兵投降的有二千五百人，斬首三萬二百級。
元狩四年（公元前119年），春天，武帝派出大軍攻擊匈奴。衛青、霍去病每人帶五萬騎兵，從不同的道路，尋找匈奴決戰。衛青深入千餘裏，渡過大漠，斬首一萬五千級，到寘顏山趙信城才回軍。霍去病深入二千餘裏，渡過大漠，俘虜小王三人，將軍、相國等八十餘人，斬首七萬四百四十三級，封狼居胥山，登臨瀚海。漢朝為了記功獎勵，特地設置大司馬的官位，衛青為大司馬大將軍，霍去病為大司馬驃騎將軍。從此以後，匈奴遠徙，漠南無王庭。
除了和匈奴浴血苦戰外，對不服從的屬國，武帝也隨時發兵攻擊。如建元六年（公元前135年），閩越國攻擊南越國，武帝派兵擊之。又如元鼎六年（公元前111年），武帝派兵十餘萬擊破了南越宰相呂嘉的反叛力量，滅掉了南越國。此外，鑒於西羌常勾結匈奴攻打中國，這一年武帝也發兵十萬攻擊西羌，大破之，平定了今青海地區。
由於武帝大力開拓邊疆，帝國的版圖大幅擴展，特別是，他派張騫穿過河西走廊，尋找通西域的道路。這是一次偉大的探險。元朔三年（公元前126年），張騫回國，帶回關於西域各國的情報，漢朝與匈奴開始爭奪西域霸權；元鼎六年（公元前111年），漢朝在原來被匈奴占領的河西走廊地區設置武威、酒泉、張掖、敦煌等郡縣。太初元年（公元前104年），漢朝征發數萬人攻擊大宛。太初三年（公元前102年），大宛投降。太初四年（公元前101年），漢朝派兵擒獲樓蘭王，不久釋放回國，令其為漢帝國夾擊匈奴，這樣，漢朝的勢力進入今新疆自治區的範圍，漢朝的兵丁在輪台、渠犁等地屯田。
對遠方的鄰國，漢武帝也注意聯絡它們，爭取與其通往來或爭取歸附。如元光五年（公元前130年），派唐蒙為使者遊說夜郎國歸附漢朝，為了開發閉塞的夜郎（今貴州地區），征發數萬人修建通往那兒的道路。此後西南夷諸小國開始歸附。又派司馬相如作為和平使者說服邛、笮、冉、斯榆等國歸附漢朝，在這些地方設置十餘縣，劃歸蜀郡管理。但西南夷小國時附時叛。元鼎六年（公元前111年），西南夷的且蘭國背叛，殺漢朝的使節，武帝征調巴蜀的罪人攻擊且蘭國和邛國，殺其君主，設置更強有力的地方政府，安定了今貴州、四川、雲南等省的偏遠地區。元封二年（公元前109年），在漢朝使者的勸說下，今雲南地區的滇王降漢，漢朝在那兒設置益州郡。然後，武帝多次派人經過雲南出使印度，但沒有成功。元封六年（公元前105年）秋，漢朝以江都王劉建的女兒嫁烏孫，西域諸國大多派遣使者來到漢朝首都訪問。