谢玄，字幼度。年少时便聪慧过人，与堂兄谢朗皆为叔父谢安所器重。谢安曾训诫约束子侄们，说：“你们怎样参与世事，而且做得让人满意？”众子侄都不知如何回答。谢玄答道：“譬如芝兰玉树，我会尽力使它们生长在自家的堂前阶下。”谢安十分高兴。谢玄年少时喜欢佩带紫罗香囊，谢安为此忧虑，而又不想伤害谢玄的心，便采用赌博的方式赢得香囊，立即焚毁，自此谢玄就戒掉了这一嗜好。
年长后，有治国才略，朝廷屡次征召而不应。后来与王王旬一同被桓温召为属官，并受到礼遇和器重。转任征西将军桓豁司马、领南郡相、监北征诸军事。当时前秦苻坚强大，多次侵犯东晋边境，东晋朝廷寻求可以镇守北方边境的文武良将，谢安便举荐了谢玄。中书郎郗超素来与谢玄不和，闻知此事却加以赞叹，说：“谢安不顾众人指责而举荐亲属，是明智的。谢玄必定不辜负举荐，因为他确有才干。”当时众人都不以为然。郗超说：“我曾与谢玄在桓公府里共事，见他施展才能，即使在穿着木屐时也能干大事，所以了解他。”于是谢玄被召回朝，任命为建武将军、兖州刺史、领广陵相、监江北诸军事。
其时苻坚派兵围攻襄阳，车骑将军桓冲率军抵抗。朝廷诏令谢玄征发三州人丁，派彭城内史何谦率兵在淮水、泗水间流动作战，以减轻襄阳的威胁。襄阳陷落后，苻坚部将彭超进攻据守彭城的龙骧将军戴逯。谢玄率东莞太守高衡、后军将军何谦驻扎在泗口，打算派使者伺机报知戴逯，好让他知道救兵已到，可是无法通过敌兵防线。小将田泓请求前往，于是田泓潜水而行，将至彭城时，被敌兵抓获。敌兵厚礼贿赂田泓，让他向城内喊话，说“援军已败”。田泓假意应许。不久来到彭城外，向城内大喊道：“救兵已到，我独自来送消息，被贼兵抓获，你们努力吧！”于是田泓遇害。当时彭超把辎重安置在留城，谢玄便扬言派何谦等人去攻打留城。彭超听说，急忙回留城保护辎重。何谦乘势猛攻，解除了彭城之围。
彭超又率部南侵，苻坚部将句难、毛当从襄阳赶来与彭超会合。彭超将幽州刺史田洛围困在三阿，兵力有六万。东晋朝廷诏令征虏将军谢石率水军进驻涂中，右卫将军毛安之、游击将军河间王司马昙之、淮南太守杨广、宣城内史丘准进驻堂邑。不久盱眙城陷落，高密内史毛藻战死，毛安之等大惊失色，便各自率部回撤，朝廷为之震动。谢玄于是从广陵向西进军讨伐句难等。
何谦解除田洛之围，进军占据白马，与贼军大战，击溃贼军，斩杀伪将都颜。又乘胜进攻，再次击败贼军，斩杀伪将邵保。彭超、句难率部溃退。谢玄率何谦、戴、田洛乘势追击，与贼军战于君川，又大败贼军。谢玄属下参军刘牢之破毁贼军浮桥及战船，督护诸葛侃、单父县令李都又破毁贼军运输船只。句难等相继率残部北逃，仅以只身逃脱。于是东晋完全解除了前秦军队对彭城、下邳二城的威胁。朝廷诏令殿中将军前往慰劳谢玄，封谢玄为冠军将军，兼徐州刺史，回镇广陵，论功封为东兴县侯。
后苻坚亲率大军进驻项城，号称百万，而凉州之师刚刚抵达咸阳，蜀汉之军顺流而下，幽州并州之军接踵而来。苻坚先派苻融、慕容日韦、张蚝、苻方等进至颍口，梁成、王显等驻扎洛涧。朝廷诏令谢玄为前锋、都督徐兖青三州扬州之晋陵幽州之燕国诸军事，与叔父征虏将军谢石、堂弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等迎战，共八万之众。
谢玄先派广陵相刘牢之率五千精兵直捣洛涧，临阵斩杀梁成及梁成之弟梁云，敌步兵骑兵全线崩溃，争渡淮水。刘牢之率兵猛追，活捉苻坚部将梁他、王显、梁悌、慕容屈氏等，缴获其军械粮草。苻坚进驻寿阳，面临淝水列阵，谢玄军马无法渡水。
谢玄派人对苻融说：“足下远道来我晋地，而临水列阵，这是不打算速战速决。请诸位稍稍后撤一步，好让我方将士有一块周旋之地，鄙人与诸君骑马缓步从容观赏士卒渡水，难道不快乐吗？”
苻坚的部从都说：“应当封锁淝水，不让晋军上岸。敌寡我众，一定要掌握万全之局势。”苻坚说：“只管后撤一步，让晋军渡水，我军可以乘机以数十万铁骑杀向淝水，一举歼灭晋军。”苻融也以为然，便命令士卒后撤，一后撤军心慌乱无法控制。于是谢玄与谢琰、桓伊等率八千精锐士卒渡过淝水。
谢石率兵抗击张蚝，稍有不利。谢玄、谢琰继续前进，与敌决战淝水之南。苻坚身中流矢，苻融阵前被斩。苻坚部众仓惶溃逃，自相践踏投水溺死者不可胜计，淝水为之阻塞不流。残余兵士弃甲夜逃，听到风声鹤唳，都以为晋军已到，行军露宿于荒野，加上饥寒交迫，死者达十之七八。谢玄等缴获了苻坚的乘舆云母车，仪服、器械、军资、珍宝堆积如山，牛马驴骡骆驼达十余万只。朝廷派遣殿中将军前往慰劳，晋封谢玄为前将军、假节，谢玄坚辞不受。朝廷又赐给谢玄钱百万、彩绢千匹。
不久谢安上奏朝廷，认为苻坚新近败丧，应乘有利时机，以谢玄为前锋都督，率冠军将军桓石虔直指涡、颍，经略旧都。于是谢玄又率部进驻彭城，遣参军刘袭攻打苻坚的兖州刺史张崇于鄄城，赶走张崇，派刘牢之据守鄄城。兖州平定后，谢玄忧患水道险阻不通，运粮艰难，便采纳下属的建议，筑土坝拦截吕梁之水，树立栅栏，合七埭为一支流，承接两岸的流水，以利于漕运，从此公私两便。又进军讨伐青州之敌，所以将这一工程称之为青州派。
他又派遣淮陵太守高素率三千人马出击广固，迫使苻坚的青州刺史苻朗投降归顺。又进军讨伐冀州之敌，遣龙骧将军刘牢之、济北太守丁匡据守确磝（今山东茌平西南），济阳太守郭满据守滑台，奋武将军颜雄渡过黄河建造营垒。苻坚之子苻丕遣部将桑据进驻黎阳。谢玄命刘袭夜袭桑据，桑据逃走。苻丕惶恐不安，打算降晋，谢玄答应请求。
苻丕告饥，谢玄送给苻丕二千斛军粮。又遣晋陵太守滕恬之渡过黄河据守黎阳，三魏之地皆归降东晋。朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。
谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专设总督，司州辽远，应归豫州统管。朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，并加封谢玩为豫宁伯。谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。
朝臣议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。诏令又让他移镇东阳城。谢玄便奉命上路，途中病重，上疏朝廷申述报国之忠心及壮志未酬的遗恨，并以病重恳求解职。
朝廷为谢玄派了一名医术高明的医士，并让他好自调养休息，又让他回京口治病。
谢玄奉诏回京口，病长期不见好转，又上疏道：“臣兄弟七人，都先后凋谢殒灭，惟有臣一人，孑然独存。经历的艰难困苦，谁可与臣相比！臣之所以含悲忍痛，希求继续苟活人世，是因为满怀无穷忠心，欲上报朝廷恩德，或许能恢复康健，便可以完成此志。况且臣家中遗孤甚多，想起他们，心中就不胜悲伤，为此求生之心，不能即刻付与尘土。臣一片勤恳之情，实可哀怜。恳求陛下怜悯臣的忠诉，霈然降恩，不使臣含恨九泉。”
奏疏不被朝廷批准。谢玄前后上了十余道奏疏，过了好久，朝廷才改任谢玄为散骑常侍、左将军、会稽内史。当时吴兴太守晋宁侯张玄之也以才学显名，从吏部尚书任上与谢玄同年到会稽郡做官，而张玄之的名望亚于谢玄，时人称为“南北二玄”，论者以此予以美誉。
谢玄抱病登车去会稽郡任职，十三年后，死于任职上，终年四十六岁。朝廷追赠为车骑将军、开府仪同三司，谥号为献武。
谢玄之子谢奂承袭封爵，官至秘书郎，早死。谢奂之子谢灵运承袭爵位。谢奂从小天资一般，而谢灵运文辞艳丽气势纵横，谢玄曾赞赏道：“我即生了愚笨的谢奂，愚笨的谢奂怎么会生出聪明的灵运呢！”