這一次平定河北，光是投降、歸附、收編的各路軍隊，差不多有數十萬了。這些軍隊當然不可能完全整編為隋軍，否則其臃腫的士兵數量便會直接把隋軍後勤困死。但這些部隊也有相當一部分是精銳，若是將他們解散了，實在可惜。
黃明遠麾下的軍隊，原本在豐州時有著較為係統的軍製。但之後黃明遠東征遼東、南平河北，麾下部隊來源廣泛，各部編製相對混亂。而且因為之前多次戰功以加榮銜為主，導致很多人官職相同，品級相差巨大。有四品的虎賁郎將，也有二品的虎賁郎將。有統帥數萬人的虎賁郎將，也有統帥千人的虎賁郎將。
而且這些虎賁郎將、虎牙郎將有的隸屬於中央，有的隸屬於郡縣，還有的隸屬於行台，彼此管轄也無比混亂。
軍製混亂，自然影響軍隊的戰鬥力。
黃明遠自然不能容忍這種混亂的管理模式，便準備重新整編各軍。
當然，這是種僭越的行為，說黃明遠心懷不軌也可以。但黃明遠既然敢在文官上大規模調換，軍製上更不在乎。
這個時代的地方權力，仍是巨大的，要不然也不會稱之為一地諸侯，常有動亂發生。到了明清，一府之地的麵積幾乎是唐朝好幾個州的麵積總和，但從未出現過知府叛亂的情況，便是如此。
黃明遠於是以豐州軍製為藍本，重編軍製。
豐州軍製，十人為一夥，十夥為一隊，騎兵兩隊一旅，步兵五隊一旅，兩旅為一團，車騎府轄兩騎團，兩步團，驃騎府轄三騎團，三步團。算是補充兵，一個車騎府有三千四百多人，而一個驃騎府更是五千一百多人。
但這隻是因為黃明遠當時為了增加兵力設的，各部相對別的地方人數都較多。後來車騎府、驃騎府改鷹揚府，基本上一團便有一鷹揚府的兵力。
這一次，黃明遠仍以十人為一夥，設火長；
四夥為一隊，約四十餘人，設正副隊正；
三隊為一旅，約一百三十人，設正副旅帥；
三旅為一團，約四百人，設正副校尉；
三團為一營，約一千兩百五十人，設鷹揚郎將、鷹擊郎將、營參軍各一名；
營以上設軍，轄三步營，一弓弩營，一騎營，一斥候旅，一工匠旅，一警備旅，加上軍醫、後勤人員、文職人員等，約六千八百人，設虎賁郎將、虎牙郎將、師參軍各一名；
軍以上為衛，每衛轄四軍，加上衛屬軍校，衛屬警衛，軍醫院，文工團，以及其他輔助人員，接近三萬人，設總管一名，副總管兩名，長史、司馬、衛監軍各一名，諸曹參軍事、行參軍等若幹。
在黃明遠的設計中，未來主要的軍事單位還是軍，六七千人的編製，有一千多騎兵，進可功，退可守，機動靈活，方便調動。而一衛足足有三萬人，若是再加上輔兵和後勤隊伍，五萬人也不止，一旦出動，則相當於大兵團作戰了。
河北諸軍現在有左武衛、右屯衛兩支中央軍，二軍數量差不多相當於計劃中的一衛；而行台下屬的龍驤、虎威、鷹揚、豹韜、控鶴五軍，兵力則略有不足。