盡管禁衛與藩鎮兵權均集中在皇帝之手，趙匡胤還不放心，又從兵製上進行改革。他將全國軍隊分為禁軍、廂軍、鄉兵和蕃兵四種。禁軍是從各州挑選來的精壯士兵，待遇優厚，裝備精良，訓練有素。禁軍表麵上由殿前都指揮使、侍衛步軍都指揮使和侍衛馬軍都指揮使三帥統領，但由於其將領的名位較低，大權實際上由皇帝親自掌握。北宋設樞密院，樞密院直接對皇帝負責，宰相及其他官員不得過問。樞密使有調動軍隊權力，而實際領兵作戰的將領往往是臨時委派，所以他們又沒有調動軍隊權力，“有握兵之重，而無發兵之權”。為了防止禁軍作亂，在具體部署上，一部分禁軍駐守京城，另一部分禁軍鎮守邊防要地，兩部分禁軍數目大致相等，以達到“內外相製”的目的。駐守外地的禁軍還要經常移防換地，名義上是“習勤苦、均勞逸”，實際上是為了防止叛變。宋朝從此將不得專兵，士卒也不至於驕惰，但因為兵沒有固定的將，將沒有固定的兵，無法有效聯合；廂兵為地方守軍，是各州把精銳選進禁軍後留下的士卒，隻供地方官府役使，從不練習武藝；鄉兵則是按戶籍抽調的壯丁，或招募而來的地方兵，名義上是地方守軍，並沒有一點戰鬥力；蕃兵是邊區少數民族組成的軍隊，招募來守衛邊防的，數量很少。廂軍由於待遇低，訓練差，無法與中央禁軍相抗衡，而鄉兵、蕃兵既不常有，也不訓練，根本就是有名無實。對此，史學家司馬光評價說：“各地方鎮，都自知兵力非京師禁軍精銳之對手，不敢再生異心。這都是由我太祖能強幹弱支、撥亂致治的結果。”（《涑水紀聞·卷一》）
京師蓄有一半禁軍，這是懲於唐五代藩鎮之禍，蓄兵京師以成強幹弱枝之勢，保證中央對地方的軍事優勢，“諸鎮皆自知兵力精銳非京師之敵，莫敢有異心者”，但卻由此大大加重了京師開封的補給。因為開封的物資更多依賴漕運，因此宋朝建國後，河渠之務上升為最急之務。建隆元年（960年）正月起，趙匡胤下令改每歲征調民夫疏浚漕河，自備口糧，為官給，並為成製。
“杯酒釋兵權”從根本上結束了唐朝中期以來藩鎮獨霸一方、割據稱雄的局麵，但這一切的措施都是為了加強中央集權，對內嚴防。兵不知將，將不知兵，能調動軍隊的不能直接帶兵，能直接帶兵的又不能調動軍隊，雖然成功地防止了軍隊的政變，卻嚴重削弱了宋軍的作戰能力，最直接的後果便是直接導致宋朝積弱積貧的局麵。宋朝雖然有一個龐大的軍事體係，但由於武將的權力被大大削弱，軍隊的效率和戰鬥力也隨之下降，在邊患壓力尤重的宋朝，更是顯出了它的危害。上級的作戰計劃，下級明知失敗也必須執行，以致十戰九敗，宋軍在與遼、西夏、金的戰爭中連連敗北就是明證。南宋朱熹曾說：“本朝鑒五代藩鎮之弊，兵也收了，財也收了，賞罰刑政一切收了，州郡遂日就困弱。靖康之禍，虜騎所過，莫不潰散。”（《朱子語類》）一針見血地指出趙匡胤高度集權所帶來的弊端。
宋人司馬光主編巨著《資治通鑒》，目的就是為了“鑒前世之興衰，考當今之得失，嘉善矜惡，取是舍非”，即總結經驗，供宋朝皇帝參考，以改進政治。而司馬光的最核心觀點跟宋太祖的“杯酒釋兵權”國策如出一轍——加強中央權威，限製武將，削弱地方勢力，強幹弱支，這也是《資治通鑒》上起戰國周威烈王、下止五代後周世宗的原因。
此消彼長，趙匡胤大力抑武，必然要重用文官，甚至包括樞密院這等軍事機構以及經略安撫一類武職，也多由文士來擔任。宋人蔡襄曾經評論說：“今世用人，大率以文詞進。大臣，文士也；近侍之臣，文士也；錢穀之臣，文士也；邊防大帥，文士也；天下轉運使，文士也；知州郡，文士也。”（《蔡忠惠公集·卷二十二》）這樣一來，不僅經常有任用非人的結果，還由此導致了官僚機構重疊，互相牽製，辦事效率極低。因而終宋一朝，內政最腐朽，外患最強烈，其局麵始終是“兵無製，用無節，國家無法度，一切苟且而已”。對內以文製武，對外妥協求和，如此重內憂而輕外患，從而先後坐視遼國、西夏強大，最終還是自食苦果。
為了形成文士治國的傳統，趙匡胤還改革了隋唐以來的科舉考試製度。開寶六年（973年）三月，趙匡胤親自在講武殿複試舉子，開殿試之先例。此後，殿試成為科舉定製，取中的進士一律要經過由皇帝本人主持的殿試，而最後的名單和名次也由皇帝欽定，因而所有及第的人都成了“天子門生”。凡於殿試中進士者均立即授官，不需要再經吏部選試。
值得一提的是，宋朝立國之初，趙匡胤曾“密鐫一碑，立於太廟寢殿之夾室，謂之誓碑”。並規定以後新天子即位時，必須先到誓碑前跪拜默誦。除了皇帝外，沒有人知道碑上的具體內容。一直到北宋滅亡，太廟被金人打開，人們才有幸目睹這座神秘的誓碑。誓碑上的內容竟然是一個秘密誓約：趙匡胤規定子孫後代“不得殺士大夫及上書言事人。子孫有渝此誓者，天必殛之”（《避暑漫抄》引《秘史》）。眾人這才恍然大悟，難怪文人士大夫在宋朝得到的優遇，勝過曆代王朝。趙匡胤此舉，被後世譽為“盛德”（明末清初大家王夫之語）。
不過，世人津津樂道的趙匡胤優待文士，其實不過是抑製武將的副產品而已，他的內心深處，未必真正重視過文士。舉例而言，趙普為趙匡胤布衣之交，又一手策劃了陳橋兵變，有擁立之功，功勞不可謂不大。他當宰相的時候，吳越王錢□致書問候，還捎帶了十瓶吳越的“海味”。趙普把這些瓶子放在堂前，還沒來得及拆信閱讀，剛好趙匡胤到了，看見廳堂前有十個瓶子，非常好奇，就問趙普瓶子裏麵是什麼東西。趙普如實回答說：“是吳越送來的海產。”但打開一看，瓶子裏竟是一粒粒瓜子形狀的金子。趙普驚恐萬分，滿頭大汗地向趙匡胤請罪。趙匡胤卻笑著說：“但受之無害，彼謂國家事皆由汝書生耳。”（《續資治通鑒·卷七》）
這一笑，表麵是不在意，其實是看不起趙普的意思。顯而易見，所謂的書生文士在趙匡胤心目中的地位實際上微不足道，即使是百官之首的趙普也是不足慮的待遇。他還有一段更為坦白的話：“五代方鎮殘虐，民受其禍。朕令選儒臣幹事者百餘，分治大藩，縱皆貪濁，亦未及武臣一人也。”（《續資治通鑒長編·卷十三》）在他看來，文人再想為惡，能力也始終有限，不過是貪汙受賄而已，這就是骨子裏的輕蔑了。
趙匡胤集中了禁軍精兵的全權後，這才放心地開始調兵遣將，準備實現統一天下的夢想。從整個形勢看，宋朝統一全國的實際路徑是先易後難，先西南，再東南，然後再向北發展。
建隆三年（962年）九月，割據湖南的武平節度使周行逢死，十一歲的兒子周保權繼位。鎮守衡州的張文表十分不滿，說”我與周行逢俱起微賤，屢立功勞，今日豈能折腰事小兒？”於是揭竿造反，打算稱雄湖南。周保權無力自保，便向宋朝求援，正好給了趙匡胤出兵湖南的借口。
當時，在宋朝和周保權之間還有一個割據江陵的南平（又稱荊南）高繼衝政權，由高季興建立，以後當國王的依次是高從誨、高保融、高保勖、高繼衝。趙匡胤聽說高繼衝全部兵甲不過三萬，實力弱小，便打算借援救周保權的機會，一箭雙雕，一舉攻滅。