為了盡可能消除後周舊臣宿將結盟反叛，對後周將官趙匡胤一概留用，給予優厚待遇。同時，在暗中密切注意手握重兵的藩鎮將領，預防不測。果然，宋朝建立不出三個月，昭義軍節度使李筠就會師北漢大舉反宋，驅兵直逼汴梁。由於早有準備，趙匡胤立即命令石守信等將帥分兵迎擊。行前，他對眾將麵受機宜，說：“你們馬上率兵馬控製關隘，千萬不要讓李筠兵進太行，這樣，必能破敵。”這一招可謂老謀深算，若李筠西下太行，據河洛之險，控關中糧道，就會形成“東向而爭天下”的局麵，宋朝將捉襟見肘，自身難保。宋太祖這一部署，反映了他確有深遠的戰略目光，先頭部隊出發不久，趙匡胤下詔親征，率軍穿越險峻多石的山路奔赴驛州前線，迅速平定了李筠之亂。
淮南節度使李重進是周太祖郭威的外甥，世宗時與趙匡胤分掌內外兵權。趙匡胤代周稱帝，李重進心中忿然。李筠起兵後，李重進派翟守繤暗中去聯絡，準備合擊宋朝。不料，翟守繤是趙匡胤安排在他身邊的親信。他立即潛行到京，向趙匡胤做了密報，趙匡胤下令：“你要想辦法說服李重進不要馬上起兵，避免他和李筠聯合，以免分散我的兵力。”翟守繤回到揚州，一番花言巧語，騙得李重進果然相信，按兵不動。這樣，趙匡胤得以集中兵力對付李筠。等到李筠戰敗，李重進想舉兵時，趙匡胤已騰出空來，下詔親征，迅速攻克了揚州，走投無路的李重進隻落得個自焚身亡。
趙匡胤一年內兩次親征的勝利，基本解決了新王朝與舊王朝殘餘勢力之間的矛盾，但他並未因此而感到心安，相反，他更時時刻刻感到另一種潛在的威脅。
杯酒釋兵權
趙匡胤當上皇帝以後，大封功臣。後周將領慕容延釗，因為擁護宋朝，升任殿前都點檢。領兵守衛北邊的韓令坤，當了侍衛馬步軍都指揮使。石守信當了侍衛馬步軍副都指揮使。這些都是統率禁軍（宋朝軍隊的主力）的高級官職，他們掌握了軍事大權。
平定了李筠、李重進的叛亂之後，趙匡胤並沒有滿足於安定的局麵。他反複思考著一個問題：怎樣才能確保他的統治？於是他問大臣趙普：“自從唐末以來，幾十年中間，帝王換了好幾個姓，篡位之事頻繁，變亂不停，原因到底在哪？我想讓天下停止戰亂，使國家長治久安，究竟應該怎麼辦？”趙普回答說：“這是由於藩鎮勢力太大，君弱臣強。如果奪他們的權力，控製他們的錢糧，收他們的精兵……”不等趙普說完，趙匡胤馬上說：“你不用再講，我已經明白了。”
於是，公元961年，宋太祖趙匡胤下令罷免了慕容延釗、韓令坤統領禁軍的兵權，派他們兩人到外地當節度使，從此，不再設立統領禁軍的殿前都點檢。
禁軍將領石守信，因為擁立有功，宋太祖沒有立即罷免他。就在那年秋天的一個晚上，趙匡胤約請石守信等一批將領飲酒。他乘著酒興對眾將說：“我沒有你們，不會有今天。然而當天子太艱難了，還不如當節度使快樂，我沒有哪天敢睡安穩覺！”眾將忙問其緣故，趙匡胤歎著氣說：“原因不難知道，這皇位誰不想坐上幾天？”石守信等聽出話中有話，便說：“如今天命已定，誰還敢有其他想法？”趙匡胤沉吟說：“你們雖然沒有其他想法，但是，如果有朝一日你們的部下貪圖富貴，也把黃袍披到你們的身上，你們即使不想做，恐怕也不行了。”石守信等大吃一驚，個個嚇得涕淚雙流，連連磕頭說：“我們實在太笨，想不到這一點，請陛下指給我們一條生路。”宋太祖意味深長地說：“一個人的壽命非常短促，貪圖富貴的人，不過想多積攢些金銀，享福安樂，使子孫不會窮罷了。我為你們打算，不如交出兵權，到地方上做官，購置些好的田地房屋，為子孫留些產業，再多買一些歌妓舞女，天天飲酒作樂，過一輩子。我再和你們聯婚，君臣之間沒有猜疑，上下相安，難道不好嗎？”這番話既是勸告，又是警告。石守信等人一聽，趕忙向宋太祖叩頭謝恩。第二天，石守信等人都推說有病，不去上朝，請求辭去軍職。趙匡胤十分高興，對他們假意安慰一番，賞賜大量財物，解除了他們統領禁軍的兵權，派到地方上做節度使，但是已經沒有實權了。這就是曆史上著名的“杯酒釋兵權”。
此後，宋太祖麻利地進行了一係列改革。當時軍隊主要分為禁軍和廂軍：廂軍是各州的地方軍，禁軍是用來“守京師，備征戰”的中央軍。“杯酒釋兵權”之後，趙匡胤取消了正副殿前都點檢，改設侍衛馬軍、步軍兩司和殿前司，分統禁軍，鼎足而立，互不統屬，分別聽命於皇帝。另設樞密院，掌握軍隊調動權，樞密院、三司又互相牽製，皇帝高高在上，對他們操縱自如。
接著，他又實行了“內外相製”的策略削弱藩鎮的實力和實權（包括兵權、政權和財權）。他把一半禁軍留駐京師，一半駐屯各州府，通過這種辦法控製全國，防止變亂。為保持禁軍對廂軍的絕對優勢，常把廂軍中體格健壯武藝出眾者選入禁軍，而把禁軍中的病弱者退作廂兵。這樣，禁軍與廂軍強弱分明又互相牽製。宋太祖又製定了“更戍法”，規定除了警衛皇室的殿前班外，所有禁軍都要定期換防，將領經常調動，軍隊和將帥的調動權也歸中央，使得“兵無常帥，帥無常師”。
宋太祖通過從“杯酒釋兵權”開始的一係列軍製改革，逐步鏟除了引起社會動蕩變亂的禍根，使軍隊完全成了皇帝得心應手的暴力工具。後來，趙匡胤把地方上的行政權和財權，也分別派人接管過來，節度使逐漸成了沒有實權的官銜。宋太祖加強中央集權的措施，對於結束這種混亂局麵，維護國家的統一，起了重要作用。但是，由於軍隊經常調動，將領又不固定，造成了“將不識兵，兵不識將”的局麵。趙匡胤雖然把軍權集中到中央，可是宋朝軍隊的戰鬥力卻大大削弱了，邊防力量也薄弱了。
“逐卻殘星與殘月"
宋朝雖然已經建立起來，但是，原先各地的一些割據勢力依然存在。北方有契丹建立的遼國和盤踞太原的北漢；南方有南唐、吳越、後蜀、南漢、南平（荊南）等國家。在湖南和複州等地方，也還有人擁兵自立。
宋太祖做皇帝以後，就進一步考慮如何消除這些割據勢力。他對趙普說：“我睡不著覺，臥床以外，都是人家的地方。”於是，他跟趙普商量消滅割據勢力的具體措施。當時宋朝剛剛建國，禁軍不足2O萬人，以步兵為主；遼國卻有5O餘萬人，以剽悍的騎兵為主；北漢、南唐、後蜀的兵力也不弱。麵對這種形勢，正確的戰略就成了克敵製勝的決定性因素。趙國胤與趙普的“先南後北”的統一戰略不謀而合。因為南方各國兵力相對薄弱而經濟比較富裕，這是“先南後北”戰略的基本依據。若先收複太原（指北漢），宋朝則要獨自承擔遼國的壓力，況且待削平南方各國之後，實力會大大增強，那時再攻打太原，豈有拿不下之理？在貫徹“先南後北”戰略過程中，宋太祖又采取先易後難、各個擊破的具體措施。太祖選定的第一個攻擊目標就是軍力弱小而處長江中遊要衝的荊南、湖南。