先秦為第二階段。《逸周書》雲：“正南甌、鄧、桂國、損子、產裏、百璞、九日，請以珠璣、碡瑁、象牙、文犀、翠羽、菌鶴、短狗為獻。”可見“甌”、“桂國”、“鄧”、“損子”、“產裏”、“百璞”、“九日”等都是曾經活動於華南的族群，隻是有的至今無考。終其夏、商、周及至春秋戰國整個先秦時期，有如《逸周書》、《淮南子》、《史記》等文獻記載的原始族群不少，但能考證的卻是寥寥無幾，主要有：蒼梧、駱、閩及閩越等少數幾個族群。[38]而損子即遠古傳說中的啖人國和核沐國人。
秦漢為第三個階段。秦始皇統一六國後，發兵經略嶺南，使得這一地域成為大一統下相對穩定的區域，到兩漢時，華南的少數民族族群主要有：南越、西甌、駱越、烏滸、夷洲及山越等族群。
魏晉南北朝為第四階段。東漢以後，中原大亂，而華南則較為穩定，華南的少數民族族群經過演化，在南北朝時形成了俚、僚兩大族群，而山越直到隋唐仍活躍在福建一帶。[39]
唐宋為第五階段。唐代是華南少數民族族群轉型的一個重要階段，這時他們除少數稱為“僚”外，大多統稱為“蠻”，許多少數民族土著族群開始了民族形成的過程。到宋代這一過程大致有了結果，壯、黎、峒蠻（今侗族）、佘、毛南、仫佬、高山[40]等民族初步形成，瑤、苗也遷入嶺南。
元明清為第六階段。在宋代初步形成的壯、黎、峒蠻、佘、毛南、仫佬、高山等少數民族族群，經過元明兩代的進一步發展，到清代時基本定型。此外，從外遷入華南的瑤、苗族在華南的分布已成定局，彝、回、京諸族也先後於元、明遷入廣西，成為華南少數民族族群的一部分。
華南漢族族群的形成經曆了一個遷徙和與土著少數民族族群互動涵化的曆史過程。在這個過程中，由於遷出地的不同，遷出時代的不同，遷入地區的不同，以及與華南不同的少數民族族群的互動和涵化，從而形成了不同的漢族族群，其結構可以分為三個層次：
第一個層次為主要族群，有廣府人、客家人、閩南福佬人、福州人、平話人及桂柳人等。
第二個層次為亞族群，主要是閩南福佬人，其可分為閩南人、潮汕人、雷州人、海南人。
第三個層次為族群島，主要有蛋民，廣西的“高山漢”、廣西富川的“本地人”，福建的興化人等。
2．華南族群的互動
由於華南族群的形成和發展時間跨度較大，族群構成複雜，不但名稱更迭頻繁，而且各族群間互動涵化一直是華南族群關係發展的主流。
秦統一中國後，隨著中原漢族的南遷，從而拉開了漢族族群與少數民族族群互動為主的華南族群互動的帷幕，並以漢族族群的南遷為主線貫穿始終。
秦始皇二十八年（前219年）秋冬，秦始皇派六十萬大軍從東、中、西三路“南征百越之君”，[41]這些進入嶺南的秦軍便成了首批進入嶺南的漢人。此外，有秦一代，遷入嶺南的漢人還有三批，即：秦始皇三十三年（前214年）的“取陸梁”[42]、“定揚越”[43]，三十四年“治獄吏不直者”的“築長城及南越地”[44]及三十七年，始皇送無夫家女子一萬五千為南海尉趙佗“士卒衣補”[45]。這些早在兩千多年前遷入嶺南的漢族從此便開始了與少數民族土著族群的互動。
從公元前206年劉邦建西漢到公元190年曹丕廢獻帝滅東漢的424年間，在大一統中華夏民族完成了向漢民族的轉化。在這個新的曆史背景下，漢族不僅開始了向華南新一輪的遷徙，也開始了與華南少數民族土著族群涵化的過程。