一次，汉文帝到上林苑去，皇后和汉文帝特别宠爱的慎夫人同行。
在上林苑休息的时候，三人同席而坐。座位设定之后，郎署长准备饮食具。袁盎特意把慎夫人的座位向后面移了移。
慎夫人怒气冲冲，不肯就座。
汉文帝也生气了，起身离席。
袁盎到汉文帝身边解释说：“臣闻尊卑有序则上下和。今陛下既已立后，慎夫人乃妾，妾主岂可与同坐哉！适所以失尊卑矣。且陛下幸之，即厚赐之。陛下所以为慎夫人，适所以祸之。陛下独不见‘人彘’乎？”他说，臣听说维护好了尊卑秩序才能上下和合。现今陛下既然已经立了皇后，那么慎夫人不过是妾而已。妾和主人怎么可以并列而坐呢？这样就是破坏了尊卑秩序了。而且陛下喜欢她，赏赐她就是了，如此过分的抬爱纵容，其实正是害她啊。陛下难道不知道吕后和戚夫人当年“人彘”的故事吗？
汉文帝于是容色缓和，召慎夫人谈话。慎夫人赐予袁盎黄金五十斤。
“人彘”的故事，见于《史记·吕太后本纪》。吕后最嫉恨戚夫人及其子赵王刘如意。刘邦逝世后，将戚夫人关押在永巷，又召见赵王。使者三次往返，赵相建平侯周昌对使者说：高帝把赵王托付给臣，赵王年少。我私下听说太后怨戚夫人，要召赵王并诛之，臣不敢遣王。王且亦病，不能奉诏。吕后大怒，乃使人召赵相。赵相征至长安，乃使人复召赵王。赵王前往长安，未到。孝惠帝慈仁，知吕后怒，亲自迎赵王于霸上，一同入宫，与赵王同吃同住。吕后欲杀之，没有机会。孝惠元年十二月，帝晨出射。赵王年少，不能早起。吕后听说他一个人独居，使人用毒药害死了赵王如意。孝惠帝回宫时，赵王已死。吕后又断戚夫人手足，去眼，用火薰烧其耳，饮以致哑之药，拋置于厕中，称之为“人彘”。
后来有人绘制了《却坐图》，纪念袁盎直言和汉文帝纳谏的事迹。