宋朝的軍製和唐末到五代的軍製和混戰有著很多的關聯。唐朝自安史之亂之後，藩鎮逐漸擁兵自重，與朝廷對抗，連年混戰。各藩鎮的統帥為了牢固的控製軍隊，一般都挑選精兵作為牙軍。這些軍人大都是脫離了生產的職業軍人，父子相承，世代為兵，非常驕橫，小不如意，就敢逐去主帥，另外推舉將領。而一些下級將領，與部下軍士關係密切，更可以通過這樣的手段，達到掌握藩鎮大權的目的。在唐末的混戰中，朱溫逐漸強大起來，他通過招募和選練，擁有的軍隊逐漸強大，從而取代了唐王朝建立後梁王朝。後梁軍隊的主力是中央掌握的禁軍，藩鎮軍中的精銳都被選到禁軍中，藩鎮的實力已經遠遠低於中央，不可能與朝廷對抗。這是朱溫吸取唐朝的結果，但這也使威望較高的禁軍將領飛揚跋扈，有機會起來造反。以後的後唐、後晉、後漢都大抵采用這樣的軍製，朝廷的主力軍就是禁軍，而禁軍的向背，也往往決定了皇帝的更替和朝廷的興亡。後周周世宗柴榮借高平大戰的機會，對禁軍進行了整頓，使驕橫的禁軍稍微收斂，通過招募和選練，實力也得到了增強。周世宗能夠駕禦將領，他死以後，禁軍的舊病複發，擁立趙匡胤登上了帝位，建立了北宋。
趙匡胤本人經曆了五代的混戰，從禁軍中起家，對軍製的弊端非常了解。所以他當上了皇帝以後，首先就著手整頓禁軍。趙匡胤通過杯酒釋兵權，撤換了一批有能力有威望的將領，換上了一些資曆比較淺，相對平庸的將領，便於自己的控製。不再任命總領禁軍的殿前都點檢，而侍衛親軍都副指揮使也不再任命，這樣侍衛馬軍和侍衛步軍遂分立，加上殿前司，合稱三衙。三衙掌管禁軍，地方上的廂禁軍也隸屬於侍衛馬軍或者侍衛步軍，三衙掌握了全部的軍權。但三衙的職掌大為減少，主要負責訓練。天下的兵籍，武官的選授，軍隊的調發更戎，以及兵符的頒降，是由樞密院掌管的。而在禁軍作戰出征的時候，宋太祖往往派其他的官員作為統帥，戰事結束，兵歸三衙，將還本職。這樣握兵權、調兵權、統兵權三者分開，將領失去了與士兵的密切聯係，任何一方麵都不可能擁兵自重。
宋太祖還加強了禁軍的選練，淘汰老弱士兵，讓他們回家從事生產。對於那些既不能歸農，又不能作戰的士兵，則設置剩員進行安置。宋太祖為了增強禁軍的戰鬥力，多次派使臣到各地去，選擇精兵，補入禁軍。他命令各地的將領選出精兵，補充禁軍，又從禁軍中挑選強壯的士兵，定為兵樣，分送各地，作為精兵的參照。後來以木梃作為樣本，讓各地將領照此招募士兵進行訓練，等到訓練完成，送到京城。宋太祖親自檢閱各地送來的士兵，從中挑選人馬補充入禁軍。在平定各地割據政權的過程中，宋太祖也把各小國軍隊中的精兵收編入禁軍，編入殿前司。同時，北宋初年還實行募兵製，遊民、饑民和所謂的“盜賊”不斷被編入禁軍。這樣，無論是各地方軍，還是民間的不穩定力量，都大大被削弱，這對鞏固統治有大有好處，而中央的軍力也大大加強了。宋太祖平時也非常注重禁軍的教閱，通過經常的教閱，有效的提高了禁軍的戰鬥力。
鑒於前代禁軍驕橫犯上的教訓，宋太祖對禁軍的紀律要求非常嚴格。他製訂了“階級法”，嚴明了軍隊內部的等級尊卑關係。各級軍校，各司其職，掌握著對下級的生殺大權，使得將士不敢再輕易作亂。宋太祖一方麵禁止結社，防止各種小集團的產生，另外一方麵特別注意提防軍中的鬧事分子，毫不留情的進行鎮壓。殿前司中的川班內殿直因為受犒賞的事情聚眾鬧事，為首的四十多人全部被斬首，其餘都配隸許州龍捷軍，都校決杖降職，川班內殿直被廢除了。在作戰出征之前，宋太祖都會申明軍紀，禁止燒殺搶掠，對於犯法的將士，他都會進行處罰。以前禁軍鬧事，大多是為了追求自己的經濟利益。所以北宋禁軍的待遇非常優厚，對於家屬也有妥善的安置，這樣的待遇，使禁軍將士起碼不會因為生活無法保障而起來作亂，減少了兵變的可能性。
在兵力的配置上，宋朝軍製遵循“強幹弱枝，內外相維”的原則。禁軍中最精銳的殿前軍駐守在京城，侍衛親軍駐紮在各地。京城的人馬最為精強，各方鎮知道兵力不敵，不敢造反。這就是“強幹弱枝”。如果京城有變，在各地駐紮的禁軍聯合地方的兵力，也足夠對付變亂。這樣就“內外相製，無輕重之患”，這就是“內外相維”。禁軍中還有“更戍法”，在京城駐紮的禁軍，輪流到邊防和各地駐紮，三年一更替，更出迭入，這樣使禁軍有機會參加實戰，提高戰鬥力，不至於因為長時間的安逸生活而驕惰，也因為離家在異地駐紮，顧念家屬，不敢輕易作亂。同時由於軍隊的輪流換防，將領不可能和士兵產生緊密的聯係，減少了他們擁兵自重的可能。禁軍出屯地方，一方麵可以彈壓地方，監視廂軍，互相牽製，另外一方麵增強了地方實力，與京師形成了“內外相維”的形勢。