苻坚来到寿阳，和苻融经过一番计议，认为有可能使东晋不战而降，决定派朱序到晋军去劝降。朱序本是汉人，曾做过东晋的梁州刺使，在襄阳守卫战中战败被俘，他“身在秦营心在晋”，仍存报国之心。朱序来到晋营不但没有劝降，反而把他所知道的秦军的一切情况，都秘密地告诉了谢石、谢玄，并向两位将军提出破敌的建议。他说：“苻坚这次拼凑了全国兵力，共有90多万人。如果这些军队一齐到来，的确很难对付。但是目前秦军大部分人马还在行军途中，凉州的兵刚刚赶到成阳；秦军在前线的兵力并不怎么雄厚。晋军如果要发动进攻，现在正是大好机会。你们只要派一支精兵打败秦军的前锋，挫伤它的锐气，秦军就会全线崩溃。”朱序说完，就匆匆赶回寿阳去了。
起先，谢石以为苻坚的主力大军都已经来到寿阳，本想采取守势，疲劳秦军；后来和谢玄、谢琰等仔细研究了朱序的密报，决定乘苻坚的主力还没有到来，首先消灭梁成的部队，扫除前进障碍，解救硖石之围。于是，他派勇将刘牢之率领5000名北府兵，去袭击驻扎在洛涧的梁成部队。
刘牢之接到命令，就在当天夜里，带领5000名北府兵，借着星光，向洛涧出发。听说要向秦军发动攻击，北府兵人人摩拳擦掌，战斗情绪异常高昂。晋军来到离洛水10里路的地方，刘牢之接到前哨的报告说：梁成的部队，在洛水对岸扎下了营寨，黑压压的一大片，但是一点动静也没有，好像已经进入梦乡了。刘牢之立即向部队下了急行军的命令。北府兵5000人马涉水而过，像猛虎下山一样，勇猛地冲破了秦军的前沿阵地，呐喊着杀进了敌人的大营。正在酣睡的秦兵还没有来得及弄明情况，许多人就被晋军杀死了。梁成从梦中惊醒，听到帐外的厮杀声，吓呆了。他慌慌张张地爬起来，披上铠甲，翻身上马，正想抵抗，只见刘牢之一马当先，手执长枪，直向梁成的营帐冲来，正好和梁成相遇。两人大战了十几个回合，梁成胆怯手软，渐渐招架不住，被刘牢之一枪剌于马下。
秦军失去主将，更加无心抵抗，纷纷向后逃跑。晋军乘胜追击，一直追到淮河边上。刘牢之马上分兵截断秦兵退路。秦兵被追得走投无路，抢着跳进淮水里逃命，许多人都淹死在水里了。经过一夜的激烈战斗，秦军死伤达15000人，洛涧被刘牢之的北府兵收复了，前秦在淮河的封锁线被打破了。
谢石、谢玄听到洛涧大捷的消息，一面命令刘牢之继续沿淮河西进，解救硖石之围；一面亲自指挥各路兵马，乘胜进到淝水东岸，驻扎下来，和对岸苻坚的秦军隔河相望。在胜利的消息鼓舞下，晋军士气更加高涨。一场激烈的决战即将到来。
八公山上“草木皆兵”
苻坚听到梁成被杀和洛涧失守的消息，又接到晋军大队人马开到淝水东岸的报告，开始觉得情况有点不妙。他急忙和苻融登上寿阳城楼，观察对岸晋军的动静。他向东望去，只见晋军阵容严整，旗号鲜明，一座座营帐整齐地排列在淝水河畔。八公山的脚下，不时传来一阵阵的操练声。苻坚不由得暗暗吃了一惊。一阵北风呼啸掠过，苻坚顶着风向北远远望去，恍惚之间，只见八公山上，漫山遍野都是晋军。他感到十分意外，对苻融说：“你看，晋军这么多人马，明明是强敌，怎么能说他们是弱军呢？”其实，八公山上哪里有什么晋军呢！是北风把山上的草木刮得起伏摇摆。苻坚因为有点心虚，加上错觉，误以为是晋军在那里跳跃奔跑哩。后来，人们常常把过分的紧张害怕，比作“草木皆兵”。
苻坚不敢再那么看轻晋军了。他走下城来，传下军令，要将士们严密防守淝水防线，没有得到命令，谁也不许渡水出击。
秦兵沿河岸层层布阵，晋军要想渡河，困难很大。秦军虽然在洛涧吃了败仗，锐气受到一些挫折，但是人数仍然比晋军多好几倍。谢石和谢玄认为：晋军现在只要能够抓紧时间，争取主动，进行速决战，就有取得胜利的可能。要不然，如果苻坚的人马全部到齐，胜负就很难预料了。他们进一步制定了引诱秦军进行速决战，并且力争一举击溃秦军的作战计划。
谢玄派了一名使者到寿阳去，对苻融说：“将军领兵深入我国国境，却在淝水列阵不动，这是要作持久的打算，哪里是要同我们展开决战呢？你们如果能把阵地稍稍向后移动一点。腾出一块空地来作为战场，让我们的军队渡过淝水，双方决一胜负，这不是很好吗？”苻融把晋使的要求，立刻报告给苻坚。
苻坚心想：晋军虽然在洛涧打了一个胜仗，但是力量毕竟有限，难道我还怕和他们决战吗？如果不答应晋军的要求，倒显得自己胆怯了。于是他召集部下的将领来商议这件事。将领们都说：“我军人多，晋军人少，不如扼守住淝水防线，不让他们上岸来，然后再找机会消灭他们，这才是万全之策！”但是苻坚另有一番盘算，他想将计就计，等晋军渡到淝水中间的时候，出动奇兵，采取突然袭击，一举歼灭晋军，所以他不采纳将领们的意见。他叫苻融通知晋使，同意把部队后移，还约定好时间，让谢玄领兵渡水决战。
淝水大战
晋军得到对方的回信，立刻紧急行动起来。谢玄率领80000晋军，在淝水的东岸排好了阵势，前面是骑兵，后面是步兵，军容十分整齐。
决战的时刻来到了。
苻坚坐着装饰着云母的华丽战车，由几员战将簇拥着出了寿阳城。苻融和大将张蚝〔háo豪〕都披上了铠甲，骑着马到了阵前。苻坚向对岸看了一下，就叫苻融传下将令，命令全军后退，以便腾出战场，让晋军渡过河来决战。秦军大部分是被苻坚强迫征调来的，其中有汉人，也有被奴役的各族人民，他们厌恶战争，更不愿意替氐族贵族卖命。他们一听到苻融下令全军向后移动，就马上乘机奔逃，你推我挤，争先恐后，不可阻挡。这时候，朱序在阵后大喊：“秦兵败啦！秦兵败啦！”士兵们一听，两条腿跑得更快，整个秦军队伍溃散了。秦将想用杀人的办法制止士兵逃跑，可是哪里制止得住？就连他们自己也被人流拥着向后溃退。就在这个时候，谢玄马上同谢琰、桓伊等将领率领8000名骑兵，跳进淝水，后面的大队晋军也紧紧跟了上来，一起奋勇渡河，排山倒海地冲上岸去。苻坚看到形势不妙，叫苻融赶快命令秦军停止后退，掉转身来迎击晋军。可是正在溃退的秦军，就像决了堤的洪水，根本没法阻挡。
谢玄抓住这个有利时机，指挥晋军在后面紧紧追击。秦军主将苻融还想亲自压压阵，制止秦兵继续溃退。不想一支乱军冲过来，把他的坐骑冲倒，苻融从马上摔了下来，晋军士兵一阵乱刀把他砍死了。秦军失去了主将，更加混乱，人马自相践踏而死的，被晋军杀死的，不知有多少。真是尸横遍野，血流成河。
那些侥幸保住了性命的秦军将士，失魂落魄地向寿阳的西北方向逃命。他们怕晋军追赶，不敢走大路，只能在长满了荒草的小路上乱跑。晚上不敢上老百姓的屋里去住，只能露宿在野外。沿途的老百姓也纷纷拿起武器来打击秦军的残兵败将。秦兵更加害怕了，谁也不敢回头看看到底有没有晋军追赶他们，甚至听到风吹的声音和鹤叫的声音（风声鹤唳〔lì历〕），都认为是追兵到了。这时候正是十一月，天气严寒，这些逃出来的秦兵又冻又饿，最后竟死亡了十之七八。
再说骄傲狂妄的苻坚在寿阳城外看到前线这样大败，吓得丧魂落魄，慌忙跳下云母车，跨上一匹战马，混在乱军中慌慌张张地逃命。苻坚还没有跑出多远，他的肩膀就中了一箭，鲜血直流。他狼狈奔逃，侥幸过了淮河，这时候跟随他的只有几个人了。苻坚在淮北收拾残部，才聚集了1000多骑兵。他的部下只有鲜卑贵族慕容垂的30000人没有受到什么损失，他就带了1000多名骑兵到了慕容垂那里，一起往洛阳撤退。苻坚沿路又收集了一些溃兵，回到洛阳的时候，只剩下十几万人了。苻坚很是伤心，对他那个最宠爱的妃子说：“这次败得这样惨，我还有什么面目统治天下啊！”
淝水大战的胜利捷报，飞快地传到了建康。这天宰相谢安正在家里和朋友下棋。他看完了谢石送来的战报，知道秦军已经被打败，随手把它放在床上，照旧下棋，好像根本没有发生什么事一样。那个朋友忍耐不住，问谢安：“战场上的情况怎样了？”谢安这才从容回答说：“没什么，孩子们已经把苻坚打败了。”那个朋友听了，把棋盘一推，连忙跑出去向同僚们报告喜讯去了。过一会儿，谢安起身回到内宅去，这时候他再也抑制不住内心的狂喜心情，当他跨过门槛的时候，竟把脚上穿的木屐〔jī机〕的齿碰断了，可他自己还不知道。
淝水之战是东晋和十六国时期最大的一次战争。前秦从大举进攻到淝水决战，前后只有四个月的光景，就全线崩溃了。经过这一战，东晋相对稳定的局面得到了巩固，江南的经济、文化进一步发展。与此相反的是，由于苻坚的失败，前秦政权随之瓦解了，以前被苻坚灭亡的许多国家纷纷复国，本来没有建立国家的一些少数民族也纷纷立国，北方再度陷入割据混战的局面。
在这次战争中，前秦军队90多万，东晋军队只有八万，战争的结果，却是晋胜秦败。这里根本的原因，是由于苻坚所发动的战争是为了无限度地扩大他的统治范围、掠夺江南物产的非正义战争；东晋为了保卫国土，保卫家乡，反对掠夺和蹂躏而战，进行的是正义战争。前秦虽然在经济和军事上都占优势，但是内部矛盾重重，人民厌战，貌似强大，实际虚弱，当时并不具备统一南北的条件；东晋虽然经济不雄厚，军力也比较弱，但是内部比较团结，后方比较安定，人民积极支持，经过主观努力，终于能够打败强敌，取得辉煌的胜利。
东晋取得这次战争的胜利，主要应归功于东晋的广大士兵和人民；而宰相谢安能够镇静地进行决策和部署，谢玄等将领能够根据敌我实际情况运用灵活的战略战术，也是重要的原因。而苻坚骄傲轻敌，不顾客观形势，不听正确意见，一意孤行，一味蛮干，结果造成了秦军的惨败。