眾將聽罷，方知太祖的用心。第二天，石守信等人，便都上表請求辭職，交出兵權，到外地當節度使去了。
就這樣，宋太祖趙匡胤根據趙普的計策，順利地收回了兵權，了卻了心中的一件大事。因趙普獻策有功，晉趙普為樞密使、檢校太保。
為了協助宋太祖徹底解決武臣專權弊端，改變從中央到地方因權力過於集中而各自為政的局麵，趙普又提出尚文黜武、分權互製的主張。
趙普提出的這套方針，在宋朝初年起到了加強中央君主集權製，及其軍、政、財、文權力分立，防止方鎮跋扈與地方各省為政的重要作用。改變了五代十國時期武臣專權，政變頻繁的局麵，宋朝成為一個高度集中統一的國家。但這套方針隻是從防兵之變，防方鎮之跋扈，防官員之損害君權為出發點，而主要不是去提高國力、軍力，故使宋徒有軍隊一百二十萬，官員二萬餘名，庫存之錢財成堆，但一直對外屈服於遼、夏、金民族政權，對內不能消除官亂與民變，而處於深重的統治危機之中。
宋太祖在趙普的協助下，基本完成政治體製之後，於乾德二年（公元964年）罷免了後周的一些舊臣。因趙普政治謀略超人，再加上獻策有功，被遷升為門下侍郎、宰相、集賢殿大學士。從此，趙普獨居相位，掌管北宋朝政。趙普居相位之後，更加盡心盡力。宋太祖視之如左右手，事無大小，都要征求趙普的意見，然後再決斷。有一天，太祖問趙普，用何計謀才能攻下太原，消滅北漢，趙普回答說：“太原抵擋著西、北兩方麵的敵人，如果先攻下太原，就得由我們獨擋西、北二麵之敵，不如暫且留下太原不打，等到消滅了其他各國以後再說，到那時，太原如同彈丸黑子之地，還能逃脫滅亡的命運嗎？”這就是趙普的“先南後北”的襄讚決策。宋太祖聽後，笑著說：“我的意思正是如此，剛才不過是試你而已。”
趙普初登宰相之位後，雖為朝廷竭心盡力，深受太祖恩寵，但因有斂財受賄，私運木材擴展府第，又有官員冒充趙普名義經商等問題，趙普子承宗竟然違反宰輔大臣間不得通婚的禁令，娶樞密使李崇矩之女為妻，這有架空皇權的危險。太祖聽說後，對趙普極為不滿，其後，翰林院學士盧多遜又趁機揭發趙普的短處，太祖大怒，於開寶六年（公元973年）罷去趙普宰相之職，貶為河陽三城節度使。
開寶九年（公元976年）十月，太祖駕崩，其弟趙光（匡）義即位，即宋太宗，改元太平興國，任參知政事盧多遜為宰相。
公元976年，趙普自河陽調回京師，任太子太保，曾多次遭到宰相盧多遜的讒言詆毀，不被朝廷重用。然而趙普很會利用皇室內部權力之爭的矛盾，來為自己進身創造有利條件，以求東山再起。
早在建隆二年（公元961年），太祖趙匡胤和太宗趙光義的母親昭憲杜太後臨終前，召趙普入內承受遺命。太後對以後幾代君主是這樣安排的：太祖百年之後，當傳位於弟光義，光義再傳位於弟廷美，廷美傳位於侄德昭（太祖子）。
趙普作為一個諳於政權變故的大政治家，深知杜太後關於以後幾代君主的安排完全是從趙宋王朝的安危著想，防止後周幼主即位，異姓興王那樣的事件發生，認為太後的這個安排，很有道理。但是，杜太後的這個遺旨，直接關係到皇室諸人的權力和命運。而自己又是太後遺命的唯一直接見證人，如果處理得好，會對自己有利；反之，輕則丟官，重則喪命，因此，他對太後的遺旨，采取根據形勢靈活處理的態度。
早在輔佐太祖時期，趙普見太祖趙匡胤忠孝，不能違背母訓，將來趙光義即位確定無疑，於是便有意與光義交厚。
現在太宗趙光義有欲違母之意。打算自己百年之後，君位傳子不傳弟，但有母後遺旨成命在先，弟廷美對皇位也極為關注。所以，要實現皇位傳子之目的，必須費一番周折，需要有一個足智多謀的人鼎力相助。
趙普知道太宗此時心中所想，認為自己再度登上相位之機已到，便向太宗進言，說當年太後遺旨，為他親手所寫，並備述太後遺旨原文。當太宗問及廷美事時，趙普當即表示：“臣願備位樞機，以察奸變。”又借機述說自己多年受宰相盧多遜壓製之苦，太宗見趙普情詞懇切，又係前朝老臣，與己交厚，可以協助自己皇位傳子的政治目的，便於太平興國六年（公元981年），複授趙普司徒兼侍中，封為梁國公，重登首輔之位。