在傳統劇目《楊家將》中，潘美賣國求榮、陷害忠良，將一個大奸大惡的形象展示得淋漓盡致，與南宋的秦檜不相上下。
但是，曆史上潘美的形象卻不是這樣的。
據《宋史》記載：潘美生於925年，卒於991年，是大宋王朝的開國名將。潘美行伍出身，直接參與了擁立趙匡胤稱帝的陳橋兵變。潘美深得趙匡胤的信任，在他對開國諸將杯酒釋兵權中，隻有潘美一人的兵權未被解除。其後，潘美南征北戰，為宋王朝立下了汗馬功勞。
潘美之所以被冤枉是因為楊業。宋太宗雍熙三年（986年），遼軍大舉入侵北宋，宋軍兵分東西兩路迎擊敵人，與遼兵在朔州交戰。東路有名將曹彬統帥，西路以潘美為主、楊業為副，又以軍機庫使劉文裕為護軍王。
在這幾人中，護軍王身份特殊，有直接向皇帝上書的特權，是皇帝安插在邊關的耳目，擔負著為朝廷提供軍情的重任，統帥對他也禮讓三分。而楊業原是遼國大將，後來才歸降大宋。即便是取得了很多戰績，但也一直受到排擠和蔑視。
護軍王劉文裕心胸狹窄，且一直急功近利，不顧敵我力量懸殊，令副帥楊業進軍，楊業明知出兵必敗卻不敢違抗軍令。潘美權力有限，隻能裝聾作啞，任由楊業出戰。
後來楊業果然戰敗，且被抓為俘虜絕食三日後身亡。但在國人眼中楊業是以身殉國，所以成了全國聞名的悲劇英雄，成為人們謳歌的對象。而潘美卻陰錯陽差成為陷害楊業不折不扣的小人。
至今在河南省開封市仍有兩個湖，一清一濁，清者被人喚作“楊家湖”，濁者被喚作“潘家湖”。可見，曆史有時也會犯糊塗，顯得不近人情。