西晉末年的腐敗政治，引發了社會大動亂，中國曆史進入了分裂割據的南北朝時期。在南方，晉琅邪王司馬睿於公元317年在建康(今江蘇南京)稱帝，建立東晉，占據了漢水、淮河以南大部分地區。在北方，各少數民族政權紛爭迭起。由氐族人建立的前秦國先後滅掉前燕、代、前梁等割據國，統一了黃河流域。以後又於公元373年攻占了東晉的梁(今陝西漢中)、益(今四川成都)二州，將勢力擴展到長江和漢水上遊。前秦皇帝符堅因此躊躇滿誌，欲圖以“疾風之掃秋葉”之勢，一舉蕩平偏安江南的東晉，統一南北。
公元383年8月，符堅親率步兵60萬、騎兵27萬、羽林郎(禁衛軍)3萬，共90萬大軍從長安南下，同時，符堅又命梓潼太守裴元略率水師7萬從巴蜀順流東下，向建康進軍。近百萬行軍隊伍“前後千裏，旗鼓相望。東西萬裏，水陸齊進。”符堅驕狂地宣稱：“以我百萬大軍，即使將馬鞭扔到長江中，也足以讓長江斷流。”
東晉王朝在強敵壓境，麵臨生死存亡的危急關頭，以丞相謝安為首的主戰派決意奮起抵禦。經謝安舉薦，晉帝任命謝安之弟謝石為征討大都督，謝安之侄謝玄為先鋒，率領經過7年訓練，有較強戰鬥力的“北府兵”8萬沿淮河西上，迎擊前秦軍主力。派胡彬率領水軍5000增援戰略要地壽陽(今安徽壽縣)。又任名恒衝為江州刺史，率10萬晉軍控製長江中遊，阻止前秦巴蜀軍順江東下。
10月18日，符堅之弟符融率前秦前鋒部隊攻占了壽陽，俘虜晉軍守將徐元喜。與此同時，前秦軍慕容垂部攻占了鄖城(今湖北鄖縣)。奉命率水軍馳援壽陽的胡彬在半路上得知壽陽已被苻融攻破，便退守硤石(今安徽鳳台西南)，等待與謝石、謝玄的大軍會合。苻融又率軍攻打硤石。苻融部將梁成率兵5萬進攻洛澗(在今安徽淮南東)，截斷淮河交通，阻斷了胡彬的退路。胡彬困守硤石，糧草用盡，難以支撐，寫信向謝石告急，但送信的晉兵被前秦兵捉住，此信落在苻融手裏。苻融立刻向苻堅報告了晉軍兵少、糧草缺乏的情況，建議迅速進兵，以防晉軍逃遁。苻堅得報，把大軍留在項城，親率8000騎兵疾趨壽陽。
符堅一到壽陽，立即派原東晉襄陽守將朱序到晉軍大營去勸降。
朱序到晉營後，不但沒有勸降，反而向謝石提供了前秦軍的情況。他說：“前秦軍雖有百萬之眾，但還在進軍中，如果兵力集中起來，晉軍將難以抵禦。現在情況不同，應趁前秦軍沒能全部抵達的時機，迅速發動進攻，隻要能擊敗其前鋒部隊，挫其銳氣，就能擊破前秦百萬大軍。”謝石起初認為前秦軍兵力強大，打算堅守不戰，待敵疲憊再伺機反攻。聽了朱序的話後，認為很有道理，便改變了作戰方針，決定轉守為攻，主動出擊。
11月，謝玄派遣勇將劉牢之率精兵5000奔襲洛澗，揭開了淝水大戰的序幕。前秦將梁成率部5萬在洛澗邊上列陣迎擊。劉牢之分兵一部迂回到前秦軍陣後，斷其歸路；自己率兵強渡洛水，猛攻秦陣。前秦軍驚惶失措，勉強抵擋一陣，就土崩瓦解，主將梁成和其弟梁雲戰死，官兵爭先恐後渡過淮河逃命，1.5萬餘人喪生。洛澗大捷，極大鼓舞了晉軍的士氣。謝石揮軍水陸並進，直抵淝水(今淝河，在安徽壽縣南)東岸，在八公山邊紮下大營，與壽陽的前秦軍隔岸對峙。苻堅站在壽陽城樓上，一眼望去，隻見對岸晉軍布陣整齊，將士精銳。連八公山上的草木，他也感到類似人形，誤認為是晉兵，頗為驚慌，對苻融說：“這是勁敵！怎能說他們是弱敵呢？”