赵孝成王二十一年（前245年），赵孝成王卒，其子赵悼襄王继位。襄王听信了奸臣郭开的谗言，解除了廉颇的军职，派乐乘代替廉颇。廉颇因受排挤而发怒，攻打乐乘，乐乘逃走。廉颇于是离赵投奔魏国大梁（今河南省开封市）。
廉颇去大梁住了很久，魏王虽然收留了他，却并不信任和重用他。赵国因为多次被秦军围困，赵王想再任用廉颇，廉颇也想再被赵国任用。
赵王派遣使者宦官唐玖去带着一副名贵的盔甲和四匹快马到大梁去慰问廉颇，看廉颇还是否可用。廉颇的仇人郭开却唯恐廉颇再得势，暗中给了唐玖很多金钱，让他说廉颇的坏话。赵国使者见到廉颇以后，廉颇在他面前一顿饭吃了一斗米，十斤肉，还披甲上马，表示自己还可有用。但使者回来向赵王报告说：“廉将军虽然老了，但饭量还很好，可是和我坐在一起，不多时就拉了三次屎。”赵王认为廉颇老了，就没任用他，廉颇也就没再得到为国报效的机会。
楚国听说廉颇在魏国，就暗中派人迎接他入楚。廉颇担任楚将后，没有建立什么功劳。他说：“我思用赵人。”（《史记·廉颇蔺相如列传》）流露出对祖国乡亲的眷恋之情。但赵国终究未能重新启用他，致使这位为赵国做出过重大贡献的一代名将，抑郁不乐，最终死在楚国的寿春（今安徽省寿县），年约八十五。十几年后，赵国被秦国灭亡。
廉颇的陵墓在今安徽省寿县城北7公里的八公山之放牛山西南坡上，墓面西，周长30米，西临淮河，南北东三面环山，一代风流领山川之胜，英风浩气激荡千秋。