公元976年十月十日，在趙光義、潘美（此時已是文臣）、趙普等人陪同下，趙匡胤到李煜家中看望，李煜急忙攜府中上下列院跪拜。
“臣，攜家眷。叩迎聖上！”
“‘違命侯’平身吧！”然後，趙匡胤對著其他家眷說道：“都平身吧！”
接著趙匡胤走在庭院中，對李煜說道：“李愛卿啊！朕的汴梁遠不如金陵繁華，朕委屈你了。不知愛卿在這住的舒服？”
“臣惶恐，聖上如此善待降臣，臣不勝感激！”李煜戰戰兢兢地說。
“那就好，朕甚是欣慰啊！李愛卿聲明大義，才使得金陵保住了啊！如果劉鋹能如此聲明大義，也不至於番禹盡失火海啊！潘愛卿，朕說的可否在理？”說著趙匡胤將話鋒轉向了潘美。
潘美一聽，立即跪倒在地，說：“聖上英明。此乃微臣之過錯！”
晉王依然得知潘美與太祖的關係趨於惡化，自己拉攏這個悍將的時候到了。於是說：“聖上，臣弟認為番禹之事，潘將軍亦無過，反而有功。”
趙匡胤聽晉王如此一說，臉麵有點掛不住了，嗔怒說道：“晉王，這是說朕不明事理了。”
“臣弟不敢！”趙光義說道。
趙匡胤自知理虧，也不在爭辯，便說道：“今天就到此為止，朕有些累了，寶貴擺駕回宮！”
“聖上起駕回宮！”寶貴喊道。
看著怒氣衝衝的趙匡胤離開了侯府，潘美此時已然明白：這是晉王在向自己拋橄欖枝啊！倘若太祖駕崩，憑晉王實力則是最有可能繼承皇位的人選。而自己的命運隻能任曆史的潮流擺弄了。
話說，潘美卸除軍職後，整日在家中靜養，說是右丞相，實則一個虛職。趙匡胤雖然用潘美的兒子來分散了潘美的兵權，穩住了“潘家集團軍”的勢力。不過趙匡胤還是不放心啊！所以派人將潘美的家人全部監視起來。潘美有生之年怕見不到大宋一統天下，潘美心中的壯誌之火，被趙匡胤一盆冷水澆滅了。
據說有一次，趙匡胤夢見了一場大水，自己被困在大水中，後來找相師解夢說，朝中帶水的大臣將要造反，趙匡胤反複思量終於找到了帶水的大臣——潘美，此時的潘美已經卸除軍職，但是趙匡胤還是不放心，便將潘美囚禁在宮廷之中的武德閣，不得與外人相見。
身為晉王的趙光義，看到自己的哥哥將得力的助手已經打磨的差不多。他深知潘美渴望天下一統身為仁心，隻要把潘美爭取過來那皇位對自己而言，便是唾手可得。隻是如今潘美被囚宮中，自己也沒辦法，正在苦悶之時。事情發生了轉機。
而這一次，趙匡胤卻給了晉王這個機會。
此時的潘美怔怔地站在原地，後背一陣發涼，因為潘美知道：“飛鳥盡，良弓藏，狡兔死，走狗烹。”“藏”是因為自己在軍中的威望，現在得種種現象是在瓦解自己的威望，自己將走向“烹”的殘酷啊！
趙光義看著怔在原地潘美說道：“仲詢啊！聖上已不是當年那個壯誌豪情的聖上了，如今皇儲之爭，聖上怕你這樣手持軍權的大臣，有異己之心啊！”
趙光義一語道破了趙匡胤的用心，潘美說道：“晉王，你我自陳橋起，一起共事，為聖上打江山，我怎會有異心嘛！”
“仲詢，陳橋之人，如今在朝的又有幾人？”趙光義說道。
“這……”潘美一時語噻，說道。
……