接著，他又實行了“內外相製”的策略削弱藩鎮的實力和實權（包括兵權、政權和財權）。製定了“更戍法”，規定除了警衛皇室的殿前班外，所有禁軍都要定期換防，將領經常調動，軍隊和將帥的調動權也歸中央，使得“兵無常帥，帥無常師。”
宋朝雖然已經建立起來，但是，原先各地的一些割據勢力依然存在。北方有契丹建立的遼國和盤踞太原的北漢；南方有南唐、吳越、後蜀、南漢、南平（荊南）等國家。在湖南和泉州等地方，也還有人擁兵自立。
宋太祖做皇帝以後，就進一步考慮如何消滅這些割據勢力，和趙普商量後，先南後北的統一戰略就正式確定。
公元962年，割據湖南的周行逢病死了，他的兒子周保權繼位。大將張文表不服周保權，起兵反抗，割據潭州（現湖南省長沙市）。周保權派人向宋朝求援。宋朝出兵湖南，一舉占領了南平，平定了湖南。
趙匡胤又著手進兵後蜀。公元967年11月，趙匡胤派忠武軍節度使王全斌等人帶領大軍，又平定了後蜀。
公元970年，宋太祖命令大將潘美帶領大軍征討南漢。南漢建都廣州，占有現在的廣東和廣西南部。南漢國主劉帳沒有辦法逃跑，就放火焚燒府庫宮殿，出城投降了。公元974年9月，趙匡胤命令大將曹彬出征江南。宋軍很快就打到了金陵。
南唐國主李煜是個有名的文學家，很會寫詞，但是不大過問政事。這年11月，宋軍攻進金陵，李煜投降了宋朝。南唐也滅亡了。
占據現在浙江、江蘇一帶的吳越國主錢不斷向宋朝進貢。南唐滅亡以後，宋太祖讓錢到開封來，錢連忙去朝見，過了兩個月，錢要回杭州了。就在他動身的時候，趙匡胤送給他一個黃包袱。錢打開一看，裏麵都是宋朝大臣請求趙匡胤扣留他的奏疏。他非常恐懼，回國後又派人送去大批財物。到了宋太宗的時候，錢又去開封朝見，被宋太宗扣留下來，被迫獻出了全部土地。
當時，隻剩下留從效割據泉、漳等州。留從效死後，部將陳洪進奪取兵權，他派人向宋朝進貢，並獻出了泉、漳等州土地。江南最後一個割據勢力也被消滅了。
趙匡胤從公元963年起，隻用了10來年的時間，就消滅了南方各地的割據勢力。
趙匡胤一生大部分時間是在戎馬生涯中渡過的。他嗜好讀書，精通兵法，再與他豐富的長期實戰經驗結合起來，形成了他的一些獨到的用兵方法。趙匡胤不打無準備之仗，了解敵情，采用離間，正確掌握敵方的兵力部署，地形地物，民心向背和內部矛盾，從而選擇最有利的出擊時機和行動方案。再則趙匡胤善於出奇製勝、製定作戰部署較靈活、機動等等，都是趙匡胤用兵的特色。
為了防止“君弱臣強”，他削弱了宰相的職權。宰相經常不止一人，在宰相之下還設參知政事若幹人，另外又設置樞密使，以分取宰相的軍政大權；設置三司使，以分取宰相的財政大權。為了避免再現藩鎮跋扈的局麵，他采納趙普“稍奪其權，製其錢穀，收其精兵”的建議，取消節度使兼領附近數州（支郡）的製度。然後逐步將節度使從地方調到開封擔任沒有實職的閑官，由中央派遣文臣任知州、知府，一般是3年一任。各州（府）還設置通判，監督、牽製州（府）長官。為了選拔合格的官員，他沿襲隋唐以來的科舉製度，晚年還親自在講武殿主持考試，以後殿試成為製度，科舉及第的人都成了“天子門生”。乾德三年，他下令各州，賦稅收入除留一小部分作必要開支外，其餘全部上繳中央政府，調運到開封或指定地點。宋太祖趙匡胤對遼的目標是收回被後晉石敬瑭割讓的燕雲十六州，爭取用金帛贖買，在位期間與遼沒有發生大的衝突。對割據夏州（今內蒙古烏審旗南白城子）的黨項拓跋氏，持優容態度。
宋太祖的一係列措施，基本上結束了唐安史之亂以來持續了200年的藩鎮割據局麵，鞏固了趙宋王朝的統治，具有進步的意義。但是，他用“分化事權”的辦法防止大臣專擅，結果形成了疊床架屋的官僚機構；他用“兵無常帥、將從中馭”的辦法防止軍隊叛軍，結果削弱了軍隊的戰鬥力；他把主要精力集中於防治“內患”上，必然采取“守內虛外”的方針。宋太祖“以防弊之政，作立國之法”，必然給後世造成一係列弊政。