宋太祖建立宋朝後，在平定各割據勢力同時，還針對長期以來藩鎮割據帶來的政權頻繁更迭，采取了一係列集權於中央的政治改革措施，逐步建立起專製主義中央集權的封建統治。北宋的軍製正是在這個基礎上形成的。
領導體製
北宋軍隊的領導權集中在皇帝手中。宋太祖出身行伍，由禁軍小校逐步升遷到禁軍將帥，進而黃袍加身，因此，深知五代軍製的弊病。他認真總結了藩鎮敢於抗拒王室，將佐可以逐殺主帥以至稱王稱帝的曆史教訓，認識到：“兵權所在，則隨以興，兵權所去，則隨以亡。”作為皇帝，必須牢牢掌握兵權，才能穩固政權，使其長久。而要牢牢掌握兵權，就必須改革兵製，削奪武將的權力，改變武人左右政局的局麵。為此，他在取得政權後，立即執行了“罷功臣，釋兵權，製將帥，立兵製”的政策，將中央和地方的軍權收歸皇帝手中。在中央，以“杯酒釋兵權”解除功臣宿將的兵權；在地方，則以文臣知州軍事，將節度使的行政權與兵權解除。
為了從體製上限製軍隊將帥的權限，使兵權完全集中在皇帝手中得以實現，宋王朝在中央實行了以樞密院掌管軍政軍令，三衙分掌馬步軍的訓練與日常管理、臨時派將統兵出征的分權製度。
樞密院是宋代主管軍機事務的最高機關，與中書並稱二府。樞密院的長官是樞密使、副使、或知院事、同知院事。樞密使、副使與參知政事（副宰相）合稱“執政”，與宰相共同負責軍國要政，是朝廷中地位僅次於宰相的最高行政長官之一。樞密院負責製定戰略決策，處理國防事務，招募、檢閱、調遣軍隊。樞密院的組織，在正副長官之下，還有簽書院事與同簽書院事，又設都承旨、副都承旨，負責內部事務；其下又有檢詳官、計議官、編修官，為樞密院的骨幹。
三衙是宋代分掌全國軍隊的最高指揮機關，其全名是殿前都指揮使司（簡稱殿前司）、侍衛親軍馬軍都指揮使司和侍衛親軍步軍都指揮使司（簡稱侍衛馬軍司和侍衛步軍司）。三衙各設都指揮使、副都指揮使和都虞侯，但很少同時配齊九員。三衙的都指揮使簡稱為殿帥、馬帥、步帥，合稱三帥。三衙掌管全國軍隊的統製訓練、番衛戍守、遷補賞罰。三衙互不統屬，直接隸屬於皇帝。
北宋派禁軍出師時，不用三衙將帥統兵，而是由皇帝臨時任命其他官員為率臣（帥臣）。事定之後，兵歸三衙，統兵將帥各還本職。
北宋軍隊的領導體製把調兵權、統兵權、握兵權一分為三，正像靖康元年（1126）知樞密院事李綱所說：“樞密掌兵籍、虎符，三衙管諸軍，率臣主兵柄，各有分守。一祖宗製兵之法，天下之兵，本於樞密，有發兵之權，而無握兵之重；京師之兵，總於三帥，有握兵之重，而無發兵之權。上下相維，不得專製，此所以百三十餘年無兵變也。”這種軍製對於消弭200多年的兵禍，保障社會的安定，維持正常的生產和生活秩序，起了良好作用。但另一方麵，由於事不得專而又互相掣肘，最後都聽命於皇帝一人，甚至主帥在戰場上，也得按皇帝事先欽定的陣圖指揮作戰，以致往往貽誤戰機，招致失敗。
軍隊體製
軍隊分類北宋的軍隊主要有三種：禁兵、廂兵和鄉兵，邊境地區還有蕃兵。
禁兵或禁軍，是國家的正規軍，天子的衛兵。禁軍的任務是守備京師、擔任征戰和屯戍邊郡、地方。禁軍中最親近扈從的稱諸班直，擔任皇帝的警衛工作；其次的隸屬於禦前忠佐軍頭司、皇城司、騏驥院，負責宮廷守衛。其餘諸軍是用以“守京師、備征戍”。禁軍的編製，一般以50人為1隊，2隊為1都，5都為1指揮（營），5指揮為1軍，10軍為1廂。指揮是基本作戰單位。廂、軍的主官是都指揮使，指揮則由指揮使和副指揮使統領，都的指揮官馬軍是軍使和副兵馬使、步兵是都頭和副都頭。太祖時，禁軍員額19.3萬，太宗時35.8萬，真宗時43.2萬，仁宗時82.6萬，英宗時66.3萬，神宗時61.2萬。