渤泥都督府現據婆羅洲北部，即後世馬來西亞在該島領地的沿海平原一帶。
此地生活著眾多操著不同話語的原住民，各族又因生活的地域、風俗習貫不同而分作更多的支係。
如原住民各族中人口最多，聚居在內陸平原及西海岸和婆羅洲北部一帶，以種稻為生的嘉達山杜順族。另一大原住民巴夭族則因居住地域不同分作兩支，其一支居住在西海岸大多數依賴耕作為生，少部分依賴捕魚的，另一支則居住在婆羅洲東海岸是一生討海的刻苦漁夫。
嘉達山杜順族與巴夭族依賴耕種為生，生性算不上彪悍，武力值很低，也未建立國家，典型的氏族部落形式。
尉遲循毓在攻滅渤泥國後得以在短短半年內北征西討迅速征服婆羅洲北部沿海平原一帶的兩族，在他們的地盤上築城駐兵控製地方，征收實物稅，強征勞役兵役。
可婆羅洲並不隻有這兩支因農耕生活方式而生性相對溫和的原住民，還有兩大令人聞風喪膽廣泛分布在婆羅洲沿海、內陸，有獵人頭風俗的毛律人和達雅克人。
毛律人大多聚居在渤泥都督府治所濱凱城以北，建寧、沙鳴二城一帶（婆羅洲東北部沙巴）的內陸偏遠山區，主要是以捕獵和遊耕為生。
達雅克人則按生活地域，分為沿海達雅克和陸地達雅克，陸地達雅克大多數沿較大的河流兩岸居住，集中在婆羅洲的中西部，以采集、漁獵為生。
兩族獵取陌生人和敵人的頭顱在其傳統葬禮上展示視為個人和部族的榮耀。
當唐軍進入婆羅洲開始北征西討時，不論何族皆在尉遲循毓的征服之列，雙方無可避免的發生武裝衝突。
唐軍仗著兵精甲利，戰術先進，連番大敗居住在沿海一帶的達雅克人，斬殺近萬。隨後唐軍借以陸地達雅克人不交納實物稅，對其發起攻擊，先後消滅位於後世馬來西亞砂拉越一帶的二十來個陸地達雅克部族，斬殺兩萬餘眾。
殘餘的達雅克人或藏入叢林河流、沿海沼澤紅樹林之中，或南下躲入茂密的山林之中。時不時乘唐軍不備出來偷襲，獵取小隊出城巡視的唐軍人頭，當唐軍大隊人馬來時早以逃之夭夭。
搞的整個渤泥都督府各城駐軍人心惶惶，每次出城最少二十人同行。
移民到達後，在城外開墾都督府分配的荒地，發生一起震驚都督府的兩戶移民在外墾荒，被達雅克人襲殺，割走兩戶十三口人的頭顱。
尉遲循毓震怒，令各城駐軍掃蕩城池周圍百裏範圍內的達雅克人，曆時兩月，殺達雅克千餘人，卻仍是治標不治本。最後不得不令各城駐軍在百姓墾荒之時，派出大隊人馬在周圍警戒，以防達雅克人襲擊。
同時將百姓中的青壯男子全部武裝起來，配發橫刀弓箭，農閑時由軍官訓練以自保，最後連青壯婦女都發了把橫刀。
由此釀造了婆羅洲島上華人的彪悍民風，日後成為唐廷重要的征兵源地。
在都督府東北部轄境的建寧城局勢同樣不容樂觀，建寧城遠離海岸近百裏，以經建到毛律人居住的山穀之中。毛律人遊耕為主，糧食產量極低，隻得以漁獵為輔。此時唐軍進入，把他們得以遊耕的肥沃穀地給搶走了，衝突不可避免。正麵戰場上打不贏，毛律人就躲入山中，瞅準機會就出山偷襲，獵取唐軍人頭，把建寧守捉使搞得焦頭爛額，三番兩次向濱凱城請援。