一次，漢文帝到上林苑去，皇後和漢文帝特別寵愛的慎夫人同行。
在上林苑休息的時候，三人同席而坐。座位設定之後，郎署長準備飲食具。袁盎特意把慎夫人的座位向後麵移了移。
慎夫人怒氣衝衝，不肯就座。
漢文帝也生氣了，起身離席。
袁盎到漢文帝身邊解釋說：“臣聞尊卑有序則上下和。今陛下既已立後，慎夫人乃妾，妾主豈可與同坐哉！適所以失尊卑矣。且陛下幸之，即厚賜之。陛下所以為慎夫人，適所以禍之。陛下獨不見‘人彘’乎？”他說，臣聽說維護好了尊卑秩序才能上下和合。現今陛下既然已經立了皇後，那麼慎夫人不過是妾而已。妾和主人怎麼可以並列而坐呢？這樣就是破壞了尊卑秩序了。而且陛下喜歡她，賞賜她就是了，如此過分的抬愛縱容，其實正是害她啊。陛下難道不知道呂後和戚夫人當年“人彘”的故事嗎？
漢文帝於是容色緩和，召慎夫人談話。慎夫人賜予袁盎黃金五十斤。
“人彘”的故事，見於《史記·呂太後本紀》。呂後最嫉恨戚夫人及其子趙王劉如意。劉邦逝世後，將戚夫人關押在永巷，又召見趙王。使者三次往返，趙相建平侯周昌對使者說：高帝把趙王托付給臣，趙王年少。我私下聽說太後怨戚夫人，要召趙王並誅之，臣不敢遣王。王且亦病，不能奉詔。呂後大怒，乃使人召趙相。趙相征至長安，乃使人複召趙王。趙王前往長安，未到。孝惠帝慈仁，知呂後怒，親自迎趙王於霸上，一同入宮，與趙王同吃同住。呂後欲殺之，沒有機會。孝惠元年十二月，帝晨出射。趙王年少，不能早起。呂後聽說他一個人獨居，使人用毒藥害死了趙王如意。孝惠帝回宮時，趙王已死。呂後又斷戚夫人手足，去眼，用火薰燒其耳，飲以致啞之藥，拋置於廁中，稱之為“人彘”。
後來有人繪製了《卻坐圖》，紀念袁盎直言和漢文帝納諫的事跡。