东晋王朝在强敌压境，面临生死存亡的危急关头，以丞相谢安为首的主战派决意奋起抵御。经谢安举荐，晋帝任命谢安之弟谢石为征讨大都督，谢安之侄谢玄为先锋，率领经过7年训练，有较强战斗力的“北府兵”8万沿淮河西上，迎击秦军主力。派胡彬率领水军5千增援战略要地寿阳（今安徽寿县）。又任命桓冲为江州刺史，率10万晋军控制长江中游，阻止秦巴蜀军顺江东下。
10月18日，苻坚之弟苻融率秦前锋部队攻占了寿阳（今寿县），俘虏晋军守将徐元喜。与此同时，秦军慕容垂部攻占了郧城（今湖北郧县）。奉命率水军驰援寿阳的胡彬在半路上得知寿阳已被苻融攻破，便退守硖石（今安徽凤台西南），等待与谢石、谢玄的大军会合。苻融又率军攻打硖石。苻融部将梁成率兵5万进攻洛涧（在今安徽淮南东），截断淮河交通，阻断了胡彬的退路。胡彬困守硖石，粮草用尽，难以支撑，写信向谢石告急，但送信的晋兵被秦兵捉住，此信落在苻融手里。苻融立刻向苻坚报告了晋军兵少，粮草缺乏的情况，建议迅速起兵，以防晋军逃遁。苻坚得报，把大军留在项城，亲率8千骑兵疾趋寿阳。
苻坚一到寿阳，立即派原东晋襄阳守将朱序到晋军大营去劝降。朱序到晋营后，不但没有劝降，反而向谢石提供了秦军的情况。他说：“秦军虽有百万之众，但还在进军中，如果兵力集中起来，晋军将难以抵御。现在情况不同，应趁秦军没能全部抵达的时机，迅速发动进攻，只要能击败其前锋部队，挫其锐气，就能击破秦百万大军。”谢石起初认为秦军兵强大，打算坚守不战，待敌疲惫再伺机反攻。听了朱序的话后，认为很有道理，便改变了作战方针，决定转守为攻，主动出击。
11月，谢玄派谴勇将刘牢之率精兵5千奔袭洛涧，揭开了淝水大战的序幕。秦将梁成率部5万在洛涧边上列阵迎击。刘牢之分兵一部迂回到秦军阵后，断其归路；自己率兵强渡洛水，猛攻秦阵。秦军惊慌失措，勉强抵挡一阵，就土崩瓦解，主将梁成和其弟梁云战死，官兵争先恐后渡过淮河逃命，1.5万余人丧生。洛涧大捷，极大鼓舞了晋军的士气。
