而且，四战四败也就罢了，由于秦军的前期攻势进展得太过顺利，主将彭超、俱难等人率大军推进至广陵附近时，竟只顾忙着设宴庆功，完全没有预料到谢玄会突然绝地反击；在北府军的接连打击下，近十万秦军几乎全军覆没（据史料记载，淮南之战，秦军伤亡人数不低于六万人），俱难、彭超等人孤身逃回长安。那些奉命为晋国君臣修建府邸的官员们为此特跑来询问苻坚：“谢安、谢玄叔侄的府邸，陛下还打算继续修建吗？”
“修，当然是继续修建了！”苻坚咬牙切齿地说道。
一向以仁义之君形象示人的苻坚，这次是真的动怒了。他下令：将彭超、俱难等人交付廷尉，从严审讯。不久彭超自尽于狱中，俱难则被贬作庶民。尽管如此，苻坚的怒气依然未能消除，毕竟淮南之战，是他执政以来前秦最惨痛的一场失利，其伤亡人数比之让桓温颜面扫地的枋头之战，有过之而无不及。接下来，他只有两个选择：一，听从王猛和苻融的，伐晋之事就此作罢，维持秦晋南北对峙局面；二，听从慕容垂和姚苌的，以更大的决心，更多的军队，继续向晋国宣战。
经过数年时间的反复权衡，公元382年十月，苻坚当着满朝文武的面，终于宣布他的决定：“自从朕继承大业以来，已三十年矣。现今四方之地，基本平定，只有东南一隅，尚未征服。朕打算从国内征召百万大军，由朕亲自担任主帅，南下征讨晋国！”
此言一出，举朝皆惊，苻融等人随即又站出来表示反对，并提出两点质疑：“即便陛下不打算听从王猛的谏言，那也必须考虑作战地利等因素—陛下别忘了，我大秦有百万大军，晋国同样有长江天堑，大战一旦打响，胜负犹未可知。”
苻坚傲慢地笑了：“长江天堑？那又怎样！晋国能够动员的军队，至多十余万，而我军足足有百万之众，且不说两军的兵力悬殊，届时我军只需将马鞭投入江中，足以截断其流，我心意已决，众卿家不必再劝了。”
加上慕容垂、姚苌等人也附和此议，于是，苻坚不顾一群氐人贵族仍在苦苦劝谏，颁下诏令：在前秦国内，不论地域、不论民族，展开全面总动员。大半年之后，公元383年秋季，前秦的军事动员工作基本完成，以百姓家中每十丁出一兵的比例，最终共征集到氐、汉、鲜卑、羌、匈奴等各族青壮士兵达八十七万人，另外，苻坚还征集了四十万老弱，负责运输辎重、钱粮。—这样算下来，此役秦国的实际参战人数，共计近一百三十万人。
八月，在苻坚的亲自带队下，以上近一百三十万秦军，分三个方向同时开赴南方，中国历史上最著名战役之一，淝水之战就此打响。
为了方便读者理解，在正式开战之前，我们先来分析一下前秦军队的兵力部署和作战计划。三路秦军之中，东路军主帅为阳平公苻融，部下另有张蚝、慕容垂等人，兵力约三十万，主攻晋国淮南；西路军统帅为龙骧将军姚苌，率同梓潼太守裴元略等人，率军十余万，拟先攻取晋国江州等地，然后动用水师沿着巴蜀顺江东下，与苻融会师；中路军则是由苻坚亲自统领的八十余万步、骑大军，负责总揽全局，以及运输、调配各路南征大军的军粮。由于中路军的人数实在太多，而且其中的半数士兵主要作用是押运粮草，非作战之用，苻坚下令他们先在河南的项城（在今河南沈丘县南）一带汇集，暂时未分配具体作战任务。
前秦军队的兵力部署大抵如此，若从空中俯瞰，一时间，秦军“东西万里，水陆并进，人如蚁聚，战船万艘”，北至大漠，东至辽东，西至凉州，都有密密麻麻的秦军士兵排成长队，在向南方靠拢，此等壮观场面，在中国战争史上还前所未有。至于秦国的敌对一方—东晋方面，该国的备战情况则简单明了多了。和之前一样，还是由桓冲率荆州军十万，把守长江中上游地区，谢玄率北府军十万，把守长江下游地区。这两大集团军，已是实力相对弱小的东晋唯有的仰仗。
十月，随着苻融的东路军三十万人抵达寿阳（在今安徽寿县），裴元略又率水军七万顺着巴蜀东下，秦国在东、西两线同时对晋国展开攻势，淝水之战全面爆发。战争爆发之初，显而易见，压力全在地处长江下游的谢安叔侄一方，因为北府兵的人数，不及苻融兵力的三分之一；而在长江中上游，因苻坚亲统八十余万大军，尚在项城一带陆续集合，桓冲以十万荆州军，迎战人数相当的姚苌、裴元略等人，还算坚持得住。为此，对东线战场忧心忡忡的桓冲，特派人入朝求见谢安，建议从本部士兵之中调拨一些人驰援东线，以缓解朝廷的压力。谢安果断推辞，答复桓冲道：“东方之事，我谢安自有分寸，将军谨守西方之地足矣。”然后，谢安就带了一群官员，驾车去京城附近的山林中游乐，每日下棋、钓鱼，全然不问前线各地的交战情况。
桓冲本还以为谢安有何破敌良策，待听说了他在山间游玩的轶事，又气又怕，对幕僚们叹息道：“谢安有宰相的气度，但缺乏名将的眼光。眼下大敌当前，他竟然还有闲情逸致外出游玩，所任用的人，又都是像谢玄、刘牢之这样缺乏沙场经验的年轻人。如此看来，此战尚未结束，但结局已提前注定—我等将要接受胡人的统治了。”
和桓冲一样已乱了方寸的，还有北府军统帅谢玄。谢玄虽然在几年前的淮南之战中表现出色，但那次他的兵力并不输于对方，又占了以逸待劳的便宜。这次他一看，秦国仅先锋部队，便一下子来了黑压压的三十万人，而且后面还跟着苻坚的八十多万大军，哪还敢轻举妄动。不得已，他只得抛下军队从前线赶回京城，想请示叔父，到底该怎么打赢这一仗。
谢玄到时，谢安正在其他官员、友人的陪同下，在山中下棋，见侄儿到了，谢安招招手示意他坐下，说道：“侄儿来得正好，陪我手谈一局，如何？”
谢玄哪还有心思下棋，急着询问谢安战策。谢安嘿嘿一笑，说道：“你是前线主将，怎的反倒跑来问我？—既然来了，就别急着回去了，陪叔父下几盘棋再走吧。”
谢玄推辞不得，只得一头雾水地坐下，与谢安展开对弈。平日里，谢玄的棋艺更高一筹，与谢安下棋十战九胜；但这一日，谢玄心中思绪万千，根本不在状态，即便谢安让他数子，谢玄还是一败涂地。谢安见状，不高兴了：“如果你不能做到临危不乱，心如止水，又如何能做到以弱胜强，战胜秦军呢？”
谢玄这才明白：谢安躲在山里下棋是假，借机谋划战策是真，遂又向他求教作战策略。谢安淡淡地说道：“朝廷不日便会有诏令下达，你既然无心下棋，那就先回去吧。”
谢玄走后，谢安也自回到京城。不日，蒙晋国皇帝司马曜下诏：任命谢安之弟谢石为征虏将军、征讨大都督，担任抗秦总指挥；任命谢安之侄谢玄为前锋都督，与谢安之子辅国将军谢琰等人，率北府精兵八万余人，克日开赴淮水一线抗击秦军；又命令龙骧将军胡彬，率五千水师，经水路倍道而行前往增援寿阳。以上诸事委任完毕，谢安便打道回府又下棋去了。