反對的暗流，此時也開始洶湧。呂嘉雖辯不過終軍，但手中畢竟有權有兵，南越國一旦取消，受損最大的就是他，所以他發動一切力量，誓把“獨立運動”進行到底。呂嘉的威脅，樛氏太後自然心知肚明，她本來寄望於依靠漢使的力量除掉呂嘉，於是故意在宮裏召呂嘉飲宴，並請漢使安國少季作陪。席間就南越國內附的問題，樛氏和呂嘉再次發生爭吵，本來按照樛氏的設計，如果呂嘉說出什麼大逆不道的話來，安國少季就可以以朝廷使節的名義逮捕呂嘉，除掉這個大患。對這場鴻門宴，老謀深算的呂嘉早有準備，赴宴之前早派其弟率兵守在宮門外，投鼠忌器之下，安國少季猶豫，最終沒敢輕舉妄動。樛氏太後責怪安國少季無能，氣得以頭撞牆，大罵老情人懦弱。
放虎歸山的結果是嚴重的，偏偏安國少季這個人還喜歡報喜不報憂，內附之事定下來以後，他喜滋滋地給漢武帝寫工作報告，對呂嘉的阻撓輕描淡寫一筆帶過，這給了漢武帝一個錯覺，即南越上下皆同意內附，唯獨丞相呂嘉反對。在漢武帝眼裏，一個小國的丞相，當然是個小問題，小問題自然就輕描淡寫對待一下：漢武帝僅命令韓千秋和樛樂（樛氏太後的弟弟）二人率領兩千漢兵進入南越，給南越施加壓力。
漢武帝的“輕描淡寫”，顯然幫了倒忙。聞聽漢軍到來，呂嘉不但不慌，反而大張旗鼓四處宣傳，造謠“樛氏太後和漢使私通，勾結漢軍來吞並南越”。如此一來，南越上下反而全團結在呂嘉周圍了。有了臣民支持，呂嘉膽氣壯了，悍然發動了政變。公元前112年，呂嘉率軍進攻王宮，將南越王趙興以及樛氏太後殺害，漢使安國少季、副使終軍也皆死在亂軍之中。可歎終軍這個少年英傑，殉難時僅二十一歲，人稱“終童”。隨後，南越集結重兵，將韓千秋的兩千漢軍擊敗，封鎖各地關卡，正式與漢朝分庭抗禮。 三
南越的變亂傳到了漢武帝的耳朵裏，當下大怒。從另一個層麵來說，這場事變也給了漢王朝武力解決的最好口實。先前的南越畢竟是朝廷諸侯，輕易不能動武，現在其背信棄義在先，殺害漢朝使者在後，就可以名正言順地打了。
公元前112年秋，西漢帝國發動了對南越的征討，這次漢帝國動用了十萬軍隊，兵分五路，分別從湖南、江西、廣西漓江等地水陸並進，企圖一舉平定南越國。這場戰爭從春天開始，持續整整一年。先前唐蒙通夜郎的努力得到了回報，漢軍關鍵的一路，由路博德率領走從四川到夜郎的通道進入南越境內，勢如破竹。第二年冬天，路博德與楊仆部在南越首府番禺城外會師，先前囂張的呂嘉，被打得彈盡糧絕，隻得困守孤城。漢軍采取夜襲戰術，由楊仆率軍深夜奇襲，再由路博德在城外設伏截殺，裏應外合之下，番禺城被攻破，倉皇出逃的呂嘉被漢軍孫都部擒獲，而呂嘉擁立的“偽帝”趙建德，則被漢軍蘇弘部活捉。值得一提的是，呂嘉被擒的奏報傳來時，漢武帝正在河南巡視，聞訊後大喜，高興之下將其所在的縣城改名為“獲嘉縣”。
隨著呂嘉等人被擒，南越王朝的曆史也終於落下了帷幕。漢帝國正式取消了南越的國號，將南越的領土劃分為九個郡縣，正式置於漢帝國的製下。廣袤的嶺南大地，從此與中華真正連成一體。
在平定南越國的同時，漢軍也摟草打兔子，順便將另一地方政權閩越國平滅。相比之下，在漢武帝登基之後，閩越國才是最囂張的一家，漢武帝即位早期兩次在南方動兵，都與閩越國有關，一次是援救被閩越國侵擾的東甌，一次是援救遭閩越國攻打的南越。漢朝援救南越時，閩越王的弟弟餘善殺死原閩越王，對漢朝稱臣，雙方這才暫時實現了和平。漢朝平定南越期間，閩越國感到機會來了，先是在漢朝大兵出動時，主動要求派兵協助漢朝作戰，假裝表忠心。然而在漢朝平定南越後，趁漢軍人困馬乏之際，餘善悍然扯旗自立，但他的“自立”很沒創意，連名號都跟著趙佗學，自號為“武帝”。他主動找事，把自己麾下的將軍冊封為“吞漢將軍”，派兵出擊江西，截殺當地漢軍。起初連連得勝，甚至殺死了三個漢朝校尉。但餘善的“沒創意”後果很嚴重，緩過這口氣來的漢軍隨即發動了反擊。這次漢軍打了一場漂亮的海上奔襲戰，韓說從浙江率領水師出海，直撲餘善的福建老窩，剛剛平定了南越的名將楊仆掉轉槍頭，從廣東直殺入福建境內。南北夾攻之下，閩越軍很快被打回原形，敗績連連不說，各部隊更紛紛倒戈，先前牛氣哄哄的“武帝”餘善一下子成了光杆司令。公元前111年冬天，餘善的部將居股發動政變，殺死餘善向漢朝投降，閩越全境，即今天福建大部以及浙江南部的廣大地區，從此也成為漢帝國直接掌控的郡縣。隨著閩越國的平定，漢王朝的中央集權，終於跨過了長江，長江、珠江、黃河三大流域的農業文明，從此被緊密的連成一個國家——中國。