建隆二年（961）七月，也就是在陳橋兵變建立宋朝的第二年。宋太祖召宰相趙普問道：“天下自唐末以來，數十年間，帝王就換了十個姓，戰事頻繁，蒼生塗炭，這是為什麼呢？我想從此停止戰爭，為國家長久考慮，應該怎麼做？”趙普回答：“陛下能考慮到這些，真天下人民之福也。唐末以來，兵戰不息，國家不安，其原因不是別的，而是武將兵權太重，君弱而臣強。今天要治好此患，沒有別的奇巧辦法，惟有奪其權力，收其精兵，控其財政，天下自然就安定了。”話還未說完，太祖插言：“卿不用再說，我已明白了。”
杯酒釋兵權一天晚朝結束，宋太祖在宮中擺下豐盛的酒宴，請來石守信、王審琦等一班禁軍宿將。飲至酒酣耳熱之時，太祖屏去左右侍從，對這些故友勳臣說：“我沒有你們的幫助，就沒有今天，你們的功勞非常之大。但做天子也太艱難了，倒不如當節度使來得快活。我現在是長年累月不敢安枕而睡嗬！”守信等人忙問：“這是何故呢？”太祖說：“這有什麼不明白的呢，天子這個位置，誰不想坐坐呢？”守信等人一聽，連忙惶恐地起身叩頭道：“陛下何出此言，如今天命已定，誰敢再有異心？”太祖說：“不對吧，你們雖然沒有異心，你們麾下的將士如果要貪圖富貴怎麼辦？一旦把黃袍加在你身上，你想不幹，恐怕也辦不到吧。”眾將這時已一身冷汗，知道受到猜忌，弄不好就有殺身之禍，於是一邊流淚，一邊叩首，連聲祈求：“臣等愚鈍，望陛下哀憐，指條生路。”太祖坦然開導道：“人生一世，草木一秋，所以企求富貴者，不過多積攢些金銀，自個好好享樂，也讓子孫不再貧窮。你們何不放棄兵權，選擇好的田宅買下來，為子孫置下永久的產業；再多買些歌兒舞女，每天飲酒作樂，以終天年。我還可以與你們結成兒女親家，共享富貴。這樣，君臣之間，都無猜疑，上下相安，不是很好嗎！”眾將聽罷，都一再感謝太祖為臣下想得如此周全。
第二天，侍衛親軍馬步軍都指揮使石守信、殿前司都指揮使王審琦、殿前司副都點檢高懷德、侍衛親軍都虞侯張令鐸等都上疏稱病，求解兵權。宋太祖一概允準，皆以散官就第，並給以豐厚的賞賜，然後派他們出鎮地方為節度使，使禁軍中資深的將帥都先後離開軍隊，隻剩下幾個職位較低、資曆淺薄，且才幹平庸的將領，皇權比較容易駕馭。太祖還將自己的兩個女兒分別許配給石守信和王審琦的兒子，又讓弟弟趙光義做了張令鐸的乘龍快婿。宋太祖就是這樣用酒宴解除了高級將領們的兵權，又用賞賜金錢和聯姻手段消弭了他們的離心傾向，從而解決了宋代鞏固政權統治中的一大難題。
上述故事主要取自司馬光的《涑水記聞》，後李燾的《續資治通鑒長編》也作了詳細記載，此外，宋人王辟之、邵伯溫、陳均等也在其著作中記錄了這件事。這樣，人們就把它作為宋初一件重要的曆史事件，認為宋太祖此舉，非常成功地消弭了五代以來武將左右政權的禍患，為加強宋王朝的中央集權統治開辟了道路。幾乎所有相關的曆史書中，都一遍又一遍地重複著這個故事，史學界也很少有人懷疑。直到20世紀90年代，顧吉辰先生在排比和考證史料的過程中，對這一生動又帶有戲劇性的曆史故事提出了質疑。
宋人首先有與這事相關的記載，是宋真宗時的宰相丁謂所寫的《談錄》。丁謂敘述了這樣一個故事：一天，宰相趙普對太祖說：“石守信、王審琦等人不能再讓他們領兵了。”太祖問：“難道這二人會要造反嗎？”趙普回答：“這二人肯定不會造反。我仔細考察過他們的才能，擔心的是他們不能製服下屬。如果發生其屬下將官要造反的話，他們也會身不由己的。”太祖又問道：“這二人受國家如此重用和恩惠，難道會有負於我？”趙普從容回答：“隻怕就如陛下，怎麼也負於周世宗呢？”太祖頓時大悟，就聽從了趙普的提議。
這段記載說明，解除眾將的兵權是宰相趙普的建議，且提出了非常有說服力的理由，太祖是在被說服後，才按照趙普的建議而著手進行解除兵權這件事的計劃。其中沒有戲劇性的“杯酒釋兵權”的故事發生，而趙普所起的作用是關鍵性的。
到宋仁宗時，宰相王曾的《筆錄》中，就出現了“杯酒釋兵權”故事的雛形。不過，王曾是這樣描述的：相國趙普屢以為言，宋太祖於是不得已召來石守信等宮中酒宴，談到過去彼此親密無間的快樂往事，就乘機明白告之：“我與諸位，兄弟相稱，義同骨肉，哪裏有什麼芥蒂？但是言官們進說不已，我也不得不有所考慮。以今天的情況講，不如各位自選風水寶地，出守外藩，世襲官爵，而租賦所入，也足以自奉，這樣悠哉遊哉地安度晚年，不亦樂乎？我後宮中有幾個女兒，當與諸位的公子攀親，以示君臣無間。諸位看如何？”守信等都心領神會，叩首稱謝。由是，石、高、王、魏諸人各歸藩鎮，俱蒙皇親婚約。後二十多年，仍貴裔顯赫。前人稱後漢光武能保全功臣，也不過如此吧。