淝水之战的胜利，使东晋又度过了一次亡国的危机，谢氏家庭的政治地位也随之达到了顶峰。朝廷为了奖擢功勋，加封谢安为太保、诏加都督十五州诸军事；任谢玄为荆、江两州刺史，但谢安认为谢家父子名位过盛、桓氏失位会招来怨恨，所以建议让桓石民，桓石虔、桓伊等人担任荆州、豫州等州刺史，结果“彼此无怨”。不管怎样，谢安的风范已受到了世人的敬仰，到处都在传说关于他的佳话。
也许有人会问，谢安身处朝堂，为何在情势危急、举朝震恐的时候，唯独他能够临危自若，处之泰然呢？俗话说：“冰冻三尺，非一日之寒”；兵书云：“知己知彼，百战不殆”。其弟谢万当年做豫州刺史，他也随行在豫州；谢万北征，他也同行，并经常匡正弟弟在各方面的过失，他曾经亲自造访拜慰谢万属下的各个部将，替谢万向他们赔礼致谢，消除了他们对谢万的抵触情绪。所有这些，都表明他正以一种积极心态步入政坛。当初他不愿出山，有人就预言：“安石既然能与人同乐、就必定会与人同忧，再征召，他会来的”。看来这人果真深知安石之志。在军事方面，他也是多年研习兵书，并掌握了大量有关前秦政治、军事及人物心理，贤愚忠奸等方面的情况，可谓是“知己知彼”。当秦军以黑云压顶之势扑向东晋时，谢安的实践充分证明了孙子的名言：“将不在勇而在谋，兵不在多而在精。”
然而，天有不测风云。淝水之战的烟火还未完全散尽，谢安却因功名极盛遭到了一些阴险好利之徒的陷害。他们在晋孝武帝跟前进谗言，使这个业已成人，一心想兴复皇权的酒肉皇帝对宰相谢安有了猜嫌之意。他委重自己的同母弟弟会稽王司马道子，使得政权移落到这个昏庸的王爷手中。司马道子身边豢养着一个与谢安关系微妙的小人——谢安的女婿、王坦之的儿子王国宝。这家伙因不学无术，品行恶劣，一直不受老岳丈的喜欢，更别提栽培重用了。他也一直对谢安心怀怨恨，经常在司马道子和皇上面前极尽挑拨离间之能事，孝武帝疏远谢安，就有着他一份“功劳”。
一天，孝武帝于宫中设宴，将军桓伊侍坐。桓伊是位音乐家，“善音乐，尽一时之妙，为江左第一”，孝武帝命他吹笛。桓伊神色自若，拿出随身携带的柯亭笛吹奏起来，乐曲抑扬顿挫，令人心醉，真可谓“妙声发玉指，龙音响凤凰”。一曲奏罢，满座翕然称善。
这时桓伊放下笛子云：“微臣弹筝虽不及吹笛的技巧，然而亦足以韵合歌管。请陛下准我拂筝吟歌自弹自唱一曲，同时希望有一个吹笛人为臣伴奏。”孝武帝许之。
桓伊鸣弦歌曰：“为君既不易，为臣良独难，忠信事不显，事有见疑患。周王佐文武，金縢功不刊，推心辅王政，二叔反流言。”唱的正是陈思王曹植的《怨歌行》（一题《怨诗》）。曹子建才高八斗学富五车，却在胞兄魏文帝曹丕的猜疑迫害中了却残生。《怨歌行》一诗中曹植慨叹当皇上的难，做臣子的也难，皇上看不到忠臣的心，反而要加以猜忌。他以忠心辅政却难见信于天子的周公自比，正乃后世白乐天“周公恐惧流言日”之谓也。
当是时，桓伊抚筝而歌，“声节慷慨，俯仰可观”，筝声清扬，笛声宛转。
当时谢安也在座，心情真是无比复杂。那个年青时纵情歌酒高卧东山坚不出仕，淝水之战百万秦军压境尚且面不改色优游自若，得到前方破敌捷报后犹能若无其事从容续弈的谢安，此刻也为之动容，“泣下沾衿”，快步走出自己的席位，来到桓伊身侧对他说：“使君于此不凡！”
孝武帝闻之，面有愧色。他想起自己幼年即位，全靠谢安和王坦之尽心竭力辅佐，维持着国家的局面。没有谢太傅，哪有他的今天？
谢安老了，他觉得自己真的该休息了。北代大业还远未完成，国内也不太平，但他真的力不从心了。儿孙自有儿孙福，不会他想管就管得了的。
为了避嫌，谢安被迫离开京城，举家搬到广陵附近，在那儿修了一座陋府，美其名日“新城”。他虽身遭构害，但仍不失东山之志，准备等朝廷稍稍稳定，就辞官从水路重返他的会稽乐土。可惜，他的愿望还未实现，就患病了。谢安先对广陵防务作了周密布置，然后才请求朝廷准他回京治病。
当谢安的车辇缓缓驶进建康西州门的时候，病卧车中的谢安伤感地对亲近之人说：“以前桓温在的时候，我常担心自己不能保全。忽然有一次梦到坐桓温的车走了十六里，见到一只白鸡才停下来。坐他的车，预示我替代他的职位；十六里，意味着我代居宰相十六年而止；白鸡主酉，如今太岁在酉，我的病恐怕是好不了啦！”于是，他上疏辞官。几天后，六十六岁的谢安病卒于京师建康。
谢安死后，朝廷上下远近之人都以不同的方式凭吊哀悼他。王导的孙子王珣兄弟都是谢家的女婿，因离婚纠纷，更兼政见不合，而跟谢安有了嫌隙，后来仕途颇受谢安压制。谢安的死讯传到王珣耳中，他便告诉王献之说：“我想去哭谢公。”王献之大出意外，即说：“天下人正等着你。”于是王珣不顾他人目光直奔谢安灵前，恸哭一场，转身而去。虽不握孝子谢琰之手而出（以示与生者仍然没什么好谈的），也不得不对亡人人格与功绩致以真挚敬意，两家一段恩怨到此勾销。
王珣《伯远帖》，著名的三希堂法帖之一。
谢安在新城居住的时候，在城东北筑了一条坝，当地百姓都依赖这土坝捕鱼网虾。他死后，人们为了追念他，给坝起名叫“召伯埭”，以寄托他们的敬慕与哀思。
前来吊念谢安的人中间，还有一个他的同乡，就是那位卖蒲葵扇的。他忘不了谢安当年帮他渡过难关，来向他表示敬意和思念。
在朝廷的金殿上，围绕谢安的封谥问题，却展开了另一场争论。以司马道子为首的好利之徒认为谢安生前已占尽风光，不应再加殊礼；而中书令王献之，中书侍郎徐邈等人则认为谢安尽心竭智辅朝廷，是东晋的勋臣，理应加殊礼。孝武帝司马曜也终于认识到，没有谢安，则不会有他和他的皇位，所以诏赠谢安为太傅，封为庐陵郡公。时变境迁，直到刘裕当政后，为了纪念谢安的济世勋德，还大封其子孙，并让他们永世祭祀谢安的魂灵。
“旧时王谢堂前燕，飞入寻常百姓家”。东晋谢家的府第车马、权力财势都随历史的烟云而消散，但谢安作为一个对历史有贡献的人，历史会永远记住他的功业和英名。
谢安多才多艺，善行书，通音乐，对儒、道、佛、玄学均有较高的素养。他治国以儒、道互补；作为高门士族，能顾全大局，以谢氏家族利益服从于晋室利益，这与王敦、桓温之徒形成了鲜明对照。他性情闲雅温和，处事公允明断，不专权树私，不居功自傲，有宰相气度、儒将风范，这些都是谢安为人称道的品格。
南宋著名思想家陈亮就曾将王导、谢安并提，指出：“导安相望于数十年间，其端静宽简，弥缝辅赞，如出一人，江左百年之业实赖焉。”明清之际，王夫之也说：“安三宰天下，思深而道尽，复古以型今。岂一切苟简之术所可与议短长哉！”这些古代著名学者从不同角度对谢安的功业给予了充分的肯定。作为一位优秀的政治家和军事家，谢安是当之无愧的。