1959年3月，当时的中央美术学院人事科，在叶浅予的政治“鉴定”上曾经写下过这样几段话：
抗战前叶在政治上为自由主义者。抗日初期在抗日高潮的推动下，对抗日一般表示支持与参加。后态度消极，对政治避而不谈，常说“政治是把戏”，与进步力量有一定的距离。抗战后期逐步倾向美蒋反动派。
因1943年赴印度中美训练营，为美蒋画画得到美特的欣赏。1944年由美特推荐，匪军统局处长王一心、王星衡介绍，经戴笠批准并谈话后，派往中美合作所心理作战组任专员，负责漫画宣传工作，得到美蒋的重视，给予较高的待遇。任职期内经常与美特组长孟禄少校密谈，并在中美所决策处主任秘书潘其武的楼下办公。究竟有何秘密勾当无法查清。
另据中美所气象组长程俊检举，“叶是由戴笠批准为军统局设计委员会派驻中美合作所”（目前尚无法查清）。后中美所受到舆论反对，叶即于1945年介绍廖冰兄代替其工作离开中美所。离开中美所后，与美国新闻处来往较密，为他们供稿作画，供作反动宣传。由于为美帝国主义服务，得到美国国务院的邀请，作为文化使者，于1946年赴美参观一年，并在“美国之音”广播“美国漫画”。回国后又和美国新闻处经常来往，回放“美国漫画”。在课堂上宣传美国文化，成为美国文化的宣传者，美帝文化侵略的工具。1947年由美返国时，乔冠华、夏衍同志曾劝其留香港工作遭到拒绝。解放前，北京美术作家协会为对抗北平美术会（张道藩操纵的反动组织）发表宣言时叶拒绝参加，可见叶长期为美帝国主义服务，参加美帝特务机关，政治上反动，但表现圆滑，为政治上的投机分子。
有这样一份材料埋设在叶浅予的组织档案之中，叶浅予的头上便悬挂了一把，犹如古龙武侠小说中描写过的、随时可以掉下来的流星蝴蝶剑。所以，到了1966年，“文化大革命”的那一场滔天巨浪拍岸而来，叶浅予自忖难以幸免。
其时，中央美院中，百分之七十的教师被请进了牛棚。“四条汉子”中，跟叶浅予有过关系的田汉、阳翰笙、夏衍三人也住进了高墙的铁窗之下。
文革审查组翻出了，1959年组织上给叶浅予写的那份“鉴定书”，便在叶浅予的身上贴上了三条另类的标签：历史反革命、反动学术权威、文艺黑线人物。叶浅予先是随波逐流地住了一阵子的“牛棚”。后来，到底被人家弄进了秦城监狱蹲了七年大牢。
谈起这段经历，老年叶浅予调皮地咋了一下舌头，颇有点庆幸地跟别人说：幸亏那审查他的造反派还讲一点文明和纪律，让他自选三条罪名往自己头上栽。倘使遇上那蛮横的催命鬼审案，劈头盖脸地就是一顿毒打下来。叶浅予说，他很怕痛，他肯定会屈打成招，那就是一项罪恶滔天的特务恶棍的罪名。
叶浅予身边就发生过这样的事情：平时本本分分的一个读书人，走路都怕踩死蚂蚁。那一场运动下来，忽然就被冤屈成了蒋介石匪帮的潜伏特务。最后，夺权派把那吓傻了的读书人像拖一条死蛇似的，弄到了郊区的刑场挨枪子儿！所以，叶浅予的庆幸也不是没有一点的道理。
其实，我们每一个个体的生命，身处于一个碎绿催红的寒峭时分，个人的遭遇，委实是难以把握的。有时，我们必须随波逐流；有时，我们需要忍气吞声；更多的时候，我们必须像一只流浪狗似的顽强地活着。
生命太脆弱。一段在幽暗中挣扎的脆弱生命，想要捱过那仿佛劫后苍茫烟树无边的萧瑟时刻，没有一点苦中寻乐的劲头，有时还真熬不过去。
我喜欢叶浅予。我之所以要声明他是一个趣人，就在于他对于生命的一份从容淡定。且看他对于蹲大牢那一段苦难生活的、冷峻幽默的描写，你就会明白叶浅予这老头儿该是多么的生机盎然了：
这次首场正式斗争会，造反派头头那句“反革命叶浅予滚蛋”话音刚落，我如释重负，匆匆离开会场，滚回家去看老伴，填肚子。
我们回到牛棚，管理牛棚的牧牛郎发出命令，要每只乖牛在《造反日记》里写下今天殉葬的感想。
情绪稳定后，我俩向老住户打了招呼。原来这儿是天津市文艺界的总牛棚，其中有几个熟人，如河北省作协的××，美协的××，艺院教师××，再一打听，我二人此行任务是在河北美术界反动派斗争大会上做示范。借重我们二人是北京老牛鬼，资格老，尤其因为我是全国美协的老牌副主席，和天津美术界素有联系，和几个头头关系密切，把我押来领衔挨斗，一则显示天津造反派的气派，二则威慑天津牛鬼蛇神的反动气焰，三则犹如大剧场邀请名角登台借以吸引观众，提高票房价值。
早晨这一行动，监狱里叫做‘放茅’，第一次放茅既新鲜又有奇遇，过了二十年，还记得清清楚楚。
再比如，叶浅予被投进秦城监狱，立即对环境有了一个全面的判断：“四垛水泥墙，地面六平方，报纸糊铁窗，头顶灯长亮。”
还有，叶浅予提到自己在狱中，曾经“见到一个穿红色毛衣的女犯，弄得狱卒很紧张，这类撞车事件，七年中遇到不过三次，可见是偶然的失误。对我来说，倒是希望多遇到几次，在寂寞枯燥的生活中起点波浪，多点刺激。”
叶浅予曾经写过一首咏核桃的打油诗：“浑身翠绿披挂，盘踞高楼大厦，一副大好头颅，生来供人捶打。”
中国的读书人身逢乱世之时，命若飘萍，却甚讲究一种华亭鹤唳的孤高自洁，也讲究一份“形甚散朗，内实劲侠”的节气。
像叶浅予那样一种急激横渡时分、款款写来的幽明文字，我们又何尝不是读出了他的“乱云飞渡仍从容”的一份清贞明德？
1980年，云散风清之后，叶浅予复出，任中央美术学院中国画系系主任。1981年，兼任中国画研究院副院长。
1987年，叶浅予八十大寿那天，他郑重其事地向外界宣称：从此金盆洗手，画坛封笔不玩美术了。他要利用剩下不多的有生之年，专心于回忆录《细叙沧桑记流年》的撰写。《细叙沧桑记流年》于1992年印行。
1995年5月8日下午，叶浅予的心脏罢工不再作业，乃逝世于北京，终年88岁。