桓温死后，桓氏势力仍十分强盛。其弟桓冲、桓豁，侄儿桓石秀操纵着扬、荆、江等军事重镇。谢安为了避免朝政大权落入桓氏手中，让崇德褚太后出来临朝听政。褚太后是谢安堂姐的女儿，她的临朝对谢安很有利。不久，谢安升为尚书仆射，领吏部，加后将军，与尚书令王彪之共掌朝政。宁康二年，中书令王坦之出任徐、兖二州刺史，谢安又兼统中书省，成为实际决策者。当时，北方的前秦、前燕等少数民族政权强盛，不断侵扰东晋边境，国内宗室司马道子弄权，大族如王、桓诸族恃强抗衡。鉴于这种国情，谢安对外采取和靖政策，尽量减少武力冲突；对内施行德政，文武用命，富国强兵，同时维持各大族之间及大族与皇室之间的势力平衡。如扬、荆、徐、兖四大重镇，前二镇握于桓氏手中，后二镇则为太原王氏所操纵。
宁康三年，王坦之卒，谢安即以徐州授桓冲，自领扬州刺史，首先夺得对京师威胁最大的军镇。当时，太原王蕴因为是皇后的父亲而受皇帝的信宠，谢安不久又解桓冲的徐州授王蕴，既间疏王蕴和皇帝的关系，又削弱桓氏的兵权，也使太原王氏再握军镇，达到各大族势力基本上平衡。与此同时，他又注意不过分伤害大族的既得利益，乃奏请追封晋初开国功臣的后裔，兴亡继绝。永嘉时，大量北民南渡，大族兼并流民为部曲，不立户籍。桓温执政时，曾行土断，三吴首当其冲，被括逃户多流入京师。有人主张彻底搜索，谢安不许，认为应以德政抚民，不行烦细苛政，加上强寇压境，不宜扰乱民心，故回答说：“京师若容不了这些人，何以称为京师？”(古义京曰大，师曰众)史称谢安“弘以大纲”、“不存小察”，基本上类同于王导的施政措施。王导晚年不复理事，行无为之政，死后庾冰继任，则纲密刑峻，殷羡认为庾冰之政虽纲目不失，终是小道，不如王导之政。谢安十分欣赏和赞同这一评价。因为谢安为政宽恕，事从简易，人们都称赞他政如王导而文雅则胜过王导。
谢安与淝水之战
内部安定之后，谢安又把注意力转向对付来自北方的威胁。当时，前秦在苻坚的治理下日益强盛，东晋军队在与前秦的交战中屡遭败绩。谢安派自己的弟弟谢石、侄子谢玄率军征讨，接连取得胜利。又命谢玄训练出战斗力很强的北府兵，为抗击前秦作好了准备。
太元八年(公元383年)，苻坚率领着号称百万的大军南下，志在吞灭东晋，统一天下。军情危急，建康一片震恐。谢安依然是那样镇定自若，以征讨大都督的身份负责军事，并派了谢石、谢玄、谢琰和桓伊等人率兵八万前去抵御。桓冲担心建康的安危，派精锐三千前来协助保卫京师，被谢安拒绝了。谢玄心中忐忑，临行前向谢安询问对策，他只回答了一句：“我已经安排好了。”便绝口不谈军事。谢玄心中还是没底，又让张玄去打听。谢安仍然闭口不谈军事，却拖着他下围棋。张玄的棋艺本来远在谢安之上，但此时兵临晋境，张玄沉不住气，谢安则神气安然，结果张玄输在谢安的手里。
当晋军在淝水之战中大败前秦的捷报送到时，谢安正在与客人下棋。他看完捷报，便放在座位旁，不动声色地继续下棋。客人憋不住问他，谢安淡淡地说：“没什么，孩子们已经打败敌人了。”直到下完了棋，客人告辞以后，谢安才抑制不住心头的喜悦，舞跃入室，把木屐底上的屐齿都碰断了。
儒雅为相，士风为将
就东晋来说，“群臣和睦”、“政治稳定”，是东晋建国以来最安定也是国力最强盛的时期。而且多年丰收、百姓乐业、谷仓殷实，经济上没有后顾之忧。尤其谢安掌权后，特别强调一个“和”字，求得内部政治安定。在用人上，他坚持“不存小察，弘以大纲”，对桓氏地位予以尊重，对桓温之子桓玄、其弟桓冲都予以重用。军事上，谢安对前秦早有防范，可谓积极布置、料敌有方。而前秦苻坚却错误地估计形势，过高地估价自己，好大喜功。在前秦伐晋之前，前秦朝廷上许多重臣(包括苻坚的弟弟苻融在内)力劝苻坚伐晋时机未熟，东晋“君臣和睦”，“国有长江之险，朝无昏政之臣”，不可轻举妄动。然而苻坚却坚信武力，认为凭他“强兵百万，资杖如山”，“若投鞭于江，足断其流”。苻坚还听信鲜卑贵族慕容垂、羌族首领姚苌等人的意见，并任命他们为伐晋先锋。前秦部队还有一个十分不利的因素，前秦士卒多是北方统一后由各民族(鲜卑、羌、汉等)人组成，矛盾重重、人心涣散。这与东晋将士同心协力、士气旺盛形成鲜明对比。这些形势，决定了战争胜券操于东晋的可能性。战争初始，晋将胡彬在寿阳失守后，退守硖石(今安徽寿县西北)，苻融进攻硖石，将胡彬与谢石联系切断。此时苻坚得悉胡彬部队粮草将尽，一面亲率轻骑八千人，匆忙赶到寿阳，一面遣新降的晋将朱序到晋军营诱降。朱序把秦军虚实全部告诉了谢玄，并建议谢玄趁秦军立足未稳、集结未成之际，“挫其前锋，可以得志”。谢石遂派名将刘牢之率五千北府精兵夜袭洛涧秦军，歼敌万余，斩秦军前锋梁成等十名战将。
初战告捷大长晋军士气，同时也挫伤了秦军的锐气。晋军乘胜追击，与秦军主力隔淝水相峙。这时苻坚从寿阳城头观望到晋军严整精锐的阵容，神色大慌，又望到八公山上摇曳的树木，以为皆是晋兵，对身边的苻融说：“此亦劲敌也，何谓少乎？”显出一副心里无底恐惧惑然的神色。这时秦军逼水立岸，晋军无法前进，谢玄要求秦军稍后退，以便晋军渡过淝水同秦军决战。苻坚想在晋军渡过一半时，用“铁骑中途袭击”，竟同意了晋军的要求。结果秦军一退而不可收，秦军队伍大乱，朱序趁机大呼：“秦军败了！”苻融本想重整阵势，结果马倒被杀，晋军乘势追击，苻坚中流矢，单骑逃走。苻坚逃到洛阳清点残部，只剩下十几万人，败回到长安，从此一蹶不振。淝水之战后，谢安本欲借战机继续北伐，但考虑到父子功大会遭朝廷疑忌，引来灭顶之灾，于是激流勇退。先是出镇广陵，继而又归老东山。太元十年(公元385年)，66岁的谢安卒于相位。
作为一代名士的谢安，在他身上典型地体现了魏晋士人的风度；作为一代名相，他又能忠心于朝廷，报效于国家。其思想风格及处事之道深得后人敬慕。
壮士暮年
桓冲得知谢氏诸将已破秦军，既妒忌谢氏的胜利，又后悔当初失言，加上自己镇守西线，历年败于后燕军队，羞愤交加，于太元九年二月发病而死。荆、江二州刺史缺任，谢玄新立大功，朝廷上下都认为应把这两个重要军职授予谢玄。但谢安一来感到自己家族功名太盛，战后，谢石进位尚书令，太元九年谢安进位太保，若谢玄再出任西线重镇，一家揽尽全国军政大权，容易成为众矢之的；二来担心尚有一定势力的桓氏一旦失去重要官职，会怨恨而起事。因此，将荆州授予了桓冲侄儿桓石民，任命石民的弟弟桓石虔为豫州刺史，桓冲的孙子桓伊则为江州刺史。谢安一直注意维持各大族之间的势力平衡，既不过分削弱，也不让其过分膨胀，即使对自己的家族，也不例外。因此，谢安当政期间，政局比较稳定，国力发展较快，南北对峙的局面也正是在这一时期形成的。
谢安虽小心处事，但由于名高权重，难免引起一些人的妒忌。谢安女婿王国宝，是太原王坦之的儿子，不学无术，谢安十分讨厌他，只任命他当尚书郎。王国宝自以为出身名门，理应任清要官职，不愿任尚书郎，辞职不干，并积怨于谢安。王国宝的堂妹是司马道子的王妃，道子与孝武帝是投机的酒徒，因此，王国宝谄媚司马道子，让他在皇帝面前离间谢安。孝武帝于是逐渐不信任谢安，转而宠用司马道子。淝水战后，谢安功名大盛，孝武帝心有忌惮，加以道子离间，由是疏远。九年三月，又升谢安为太保，进一步将他架空。谢安也识时务，让荆、江二州于桓氏，维持大族间势力的平衡。一方面回避司马道子，不与他抗衡，一方面又千方百计夺回军政大权，维持自己家族的势力。九月，上书请求率兵北伐，于是加授谢安大都督扬、徐、江、荆、司、豫、兖、青、冀、幽、并、梁、益、雍、凉十五州诸军事，加黄钺。十年，前秦国内发生叛乱，苻坚求援于东晋。谢安正欲避司马道子，于是请求亲自率兵往救。四月，出镇广陵的步丘(今扬州邵伯镇)，修建城堡居住，名为“新城”。谢安晚年虽功成业就，名盖天下，但忆起昔年隐居东山的悠闲生活，仍无限思念。及遭司马道子排斥，更思隐退。在新城造船凿舟，大作航海的准备，一旦时机适当，便欲沿长江下三吴，告老还乡，再过山水间的生活。但就在这一年七月，谢安病倒了，只得请求返回京师。走前，犹对北伐作了部置，命令龙骧将军朱序驻扎洛阳；前锋都督谢玄驻扎彭沛，互为犄角，待来年汛期水涨，东西两路一齐渡江北伐。部置完毕，才与儿子谢琰一起回到建康，上书请求退职。
八月廿二日，谢安病卒于建康，终年66岁。东晋朝廷以隆重的仪式追悼谢安，孝武帝亲临灵堂三天，追赠太傅，谥文靖(谥法：柔德安众曰靖)。十月，追封庐陵郡公。谢安有两个儿子，长子谢瑶，袭封爵，官至琅琊王友，早卒。次子谢琰，甚有将才，跟随谢安从政，官至卫将军、徐州刺史、假节，后在孙恩之乱中被杀害。