十六國的軍事領導係統，呈現出複雜的情況，既有對魏晉製度的承襲，又保留了一些少數民族的傳統製度，而且，在各政權的建立過程中，前期同後期的製度，也發生了不少變化。總的情況是：前期的諸胡政權和每一個胡族政權的前期，大都實行胡漢分治政策，在政權組織上，一國設置兩套班子，分府辦公，各行其事，總統於國家的最高統治者或皇帝。這種組織形式表現在軍事統禦係統上，就是單於台同都督中外諸軍事並設，後來隨著形勢的發展，二者逐漸合而為一。由於各個民族的社會發展階段不同，或者說文化起點不同，由分治到合治的轉化進程也不盡一致，有的很快就完成了這種轉變，有的轉變則較遲緩，有的甚至尚未完成轉變即行垮台。但總的趨勢是由分治到合治。在實行胡漢分治時，國家的最高統治者，大都稱王或稱帝，也是最高軍事統帥，同時又保留了大單於的稱號，以表明他們仍是少數民族的最高首領。如漢國的劉淵、後趙的石勒、前燕的姚萇、西秦的乞伏國仁、南涼的禿發烏孤和大夏赫連勃勃等。在帝王和大單於之下，既按照漢族的製度，設置一套與魏晉基本相同的官職，如三公、諸卿、尚書以及各種名號的將軍，以協助最高統治者處理國家的軍、民、財、刑等事務，同時又設置了單於元輔或左、右輔，專門處理少數民族的事務。在地方上，對漢族地區，一般仍實行州、郡、縣製，設刺史、太守和縣令長等主民政，設都督、將軍、校尉等專管軍事。對少數民族地區，則按照他們的傳統習慣，實行部落同政權相結合的設置，設城主、鎮將、都護、部大（部大人的簡稱）、都大（都大人的簡稱）等進行統治。上述組織形式，在諸胡政權建國的初期，是比較普遍的。此後，隨著各民族漢化程度的加深，他們的政權組織及軍事指揮係統便開始變化，這一過程，大體上是分兩步走的。第一步，使宗統服從於君統，族權服從於政權。其主要表現是將大單於的地位降於皇帝之下，改由皇太子或皇太弟充任，而且這時的大單於也已不隻是少數民族的首領，而且是國家的執政官，為了明確其身份地位和職權範圍，往往在大單於稱號的前後，加上一些漢族執政官的職稱。如劉淵命其子劉聰為大司馬、大單於、錄尚書事，劉聰命其子劉粲為領相國、大單於等。這種稱號本身就表明，胡漢兩種製度，已出現了合二為一的傾向。第二步，便是索性取消大單於的稱號，完全采用漢族的官製。從軍事領導係統來說，各國差不多都設置了都督中外諸軍事，是為皇帝之下的最高軍事統帥。另外，還設置丁許多不同品位的將軍，分統中外諸軍。如大將軍、秦騎將軍、車騎將軍、衛將軍、中軍將軍、撫軍將軍，以及凹征、四鎮、四安、四平將軍等。不過，這些將軍，許多都屬官階而非官職，將軍的稱號，僅表示其軍官的身份和等級，而不一定統軍。在當時，真正具有實職的統軍將領，一般都要由皇帝特命差遣，在官號中加上都督諸軍事、監諸軍、督諸軍的職稱以及使持節、持節、假節的稱號。前者表明其權限的範圍，後者表明其權力的輕重。其中，以便持節都督諸軍的權力最大，持節監諸軍次之，假節督諸軍又次之。這些，與魏晉之製並無多少差別。唯都督中外諸軍事、都督中軍、都督禁軍和都督數州諸軍事等高級統軍將領，一般要由本民族、特別是皇族的皇室子弟擔任。也有個別漢化程度較深的政權，任命漢族的官吏擔任重要軍職。如前秦苻堅就曾以漢人王猛任都督中外諸軍事，但這畢竟是特例，而非常製。
十六國時期的許多國家，在州一級政權中，也仿照魏晉之製，實行軍政長官互兼的製度，任命駐在各軍事要地的統軍將領，兼任所在州的刺史，或給刺史加上持節都督的職稱，兼統軍事。他們所領的軍隊，在製度上屬於中央軍的外軍，應聽從皇帝和中央的都督中外諸軍事調遣。但是實際上，由於擔任地方軍職者，非皇族子弟，就是創業的元勳，或是帶兵投靠的少數民族首領，他們往往視所統的軍隊為私人武裝，不聽從中央的調遣，甚至鬧獨立性。這種製度，實是造成諸胡政權經常發生分裂的重要原因。