秦統一全國，征服蒼梧後，於始皇三十三年（公元前214年）在嶺南設置桂林、南海和象郡。秦末，原南海郡龍川令，後為南海郡尉的趙佗（河北真定人），乘亂以武力平定了桂林、象郡，自主為南越武王，建南越國，此即標誌著蒼梧族的統一，蒼梧族亦正式形成。
蒼梧族在南越國時期是一個奴隸製民族，曾在嶺南盛極一時，閩越、駱越、甌駱均役屬於南越國。[11]南越國從趙佗於公元前214年稱王，到漢元鼎元年（公元前114年），呂嘉敗死，南越亡，曆93年。此後，漢武帝分嶺南地區為儋耳、珠崖、南海、蒼梧、鬱林、合浦、交趾、九真、日南九郡，從此蒼梧族進入了一個新的發展時期，其一部分逐漸被漢族同化，另一部分則在魏晉南北朝時成為俚族的部分。
俚族是由甌駱和部分蒼梧族融合發展而形成的。早在東漢初年，據《後漢書·南蠻西南夷傳》記載：建武十二年（36年），“九真徼外蠻裏張遊率種人募化內屬，封為元裏君”；十六年（40年），交趾女子征側起事，“九真、日南、合浦蠻裏皆應元”。李賢注：“裏，蠻之別號，今呼為俚人。”三國時，吳人萬震作《南州異物誌》也說：“俚在廣州之南，蒼梧、鬱林、合浦、乍浦（今廣西橫縣）、高梁（今廣東陽江等地）五郡皆有之，地方數千裏。”這些地方正是秦及西漢時甌駱活動的主要地域。東漢之後，甌駱之名已極少見於史籍，可見俚族與甌駱是有直接淵源關係的。
與此同時，俚人與部分蒼梧族也有淵源關係。前麵在論述蒼梧族時已談到漢平南越後，蒼梧族作為南越國的主體民族，在漢的郡縣編製之中，一部分迅速被漢族同化了；但仍有一部分社會發展較緩慢而未被同化者，即轉化演變為俚。《宋書·蠻夷傳》雲：“廣州諸山並俚僚，種類繁多。”《南齊書·州郡誌上·廣州條》亦雲：廣州“濱際海隅，委輸交部，雖民戶不多，而俚僚猥雜”。而宋末割交、廣三郡並合浦以北地立越州，“威服俚僚”。[12]
後來俚人中的一部分經魏晉南北朝民族大同化的席卷而漢化了，但是沒有被漢化的一部分俚人，經有唐一代的發展，與部分僚人融合，開始了形成為壯族的曆史過程，及至宋代，儂智高的起義和壯族族稱“撞”的出現，標誌著壯族的形成。[13]
有意義的是，宋代桂西壯族首領智高起義就曾到過賀州[14]，這就說明壯族有可能在那時候就有人留居賀州。
有趣的是，到了宋代，以“撞”命名的人竟最早出現在賀縣。《續資治通鑒》記載：宋高宗紹興二年（1132年）閏四月，嶽飛奉命率軍攻打退守賀州（今賀縣）曹成的反宋部分時，參戰的除嶽家軍的“前軍統製”張憲外，還有“撞軍統製王經”。[15]撞軍是什麼人組成的呢，據南宋淳韋占年間（1241～1252年）曾任廣南西路經略安撫使的李曾伯給宋理宗的《帥廣條陳五事秦》中說：“淳佑五年（1245年）亦有團結舊籍，在宜州則有土丁、民丁、保丁、義丁、義效、撞丁共九千餘人，其猗撞一項可用。”[16]可見撞軍就是宜州（今宜山）一帶的壯族。[17]更重要的是當年嶽飛剿曹成在賀縣曆史上是一件大事，曹成當時號稱擁眾十萬，[18]流竄賀州，嶽飛率領包括“撞軍”在內的十多萬軍隊，轉戰賀州數日，最後決戰於北藏嶺和桂嶺，一舉擊潰曹成的反宋部分。當時戰鬥非常激烈，部隊散失，一些人員流散的可能性是存在的。但是，從各方麵的資料來看，包括賀州在內今桂東一帶的壯族並不是土著族群，而是明代從桂西遷來的。桂西壯族向桂東的遷移與明朝政府鎮壓少數民族起義有關。這要從瑤族的遷入談起。
隋唐之時，本來主要分布於湖南的湘江、資江、沅江流域中下遊及洞庭湖一帶的瑤族，已遷徙分布在廣西東北部和廣東北部一帶。及至宋代，湖南西南部和湖南南部、廣東北部及廣西東北部等地已成為瑤族的主要分布地，廣西靜江府（治今桂林）所屬各縣和融州（今融安、融水）一帶也有瑤族居住。元明時期瑤族被迫繼續南遷，不斷深入廣西腹地，特別是明代，兩廣已成為瑤族主要的分布地區，當時廣西瑤族已占全省總人口的十分之三，有的地區高達十分之七。[19]