西晉末年，司馬氏皇室內部發生了多次爭權奪利的戰爭，邊防因此廢弛，住在北邊、西北邊、西南邊的少數民族乘機遷入內地，掠奪糧食和人口。漢族跟少數民族的矛盾又緊張起來了。當時力量比較強大的少數民族有匈奴、鮮卑、羯、氐、羌等5個。匈奴族的首領是漢代匈奴冒頓單於的後代，他聽說漢代曾經把公主嫁給匈奴單於，於是他就冒充是公主的後代，自稱姓劉名淵，起兵在平陽（今山西省臨汾市）稱帝，建立漢國，表示要繼承漢朝的統治，到中原奪取天下。
劉淵年輕的時候，拜上覺儒生崔遊為老師，學習《詩經》、《易經》、《尚書》這3部儒彖經典。他還別喜歡《春秋左氏傳》和《孫吳興法》，也讀過《史記》、《漢書》和諸子百家的書，是個十分通曉漢族文化的能文能武的匈奴貴族。他建立漢國以後不久，曾經和他的兒子劉聰3次派出重兵，攻破晉朝的首都洛陽，又攻破故都長妾，最後終於滅亡了西晉。
西晉滅亡後的第2年，晉朝的皇族司馬睿逃到江南，在建康（今南京市）做了皇帝，重新建立晉朝。曆史上把這重建的晉朝稱為東晉，司馬睿就是晉元帝。
司馬睿建立東晉以後，忙著鞏固在江南的地盤，隻求維持住半壁江山，並不打算出師北伐，收複中原。可是，統治集團中也有一些人不甘心忍受國家殘破的局麵，立誌要驅逐敵人，收複失地，祖逖就是其中的一個。
祖逖年輕的時候就懷有雄心壯誌，喜歡結交英雄好漢。他和好朋友劉琨談論天下大事，總是慷慨激昂，義憤碑懷。他們互相鼓勵，表示將來一定要為國苳幹一番大事業。
祖逖和劉琨同睡在一張床上，士夜裏雞叫頭遍，祖逖就叫醒劉琨，說：“你聽聽，這雄雞啼叫的聲音多麼激越昂揚，那是在叫人發憤圖強啊!”他們兩人興奮得再也睡不著了，就披衣起床，拔劍起舞，鍛煉身體，準備將來好為國出力。
在匈奴貴族劉淵、劉聰躍馬橫戈，馳騁中原，攻下洛陽，其他少數民族也都紛紛內遷的時候，祖逖也和別人一樣，帶著家屬、親戚、朋友，離開北方南下，到了江南。剛剛建立東晉政權的晉元帝，派祖逖祭酒。這種官職沒有軍事實權，隻能給朝廷提提建議。祖逖不滿足於這種不幹實事的工作，他住在建康的前哨京口（今江蘇省鎮江市八時時刻刻隔江遙望北方。為了準備恢複中原，他招集了許多勇敢而有膽識的壯士，練習武藝。過了一些時候，祖逖向晉元帝建議說：“前朝的大亂，是由於皇族內部爭權奪利，互相殘殺，這才使得胡人乘機興兵，擾亂中原，給北方人民帶來了深重的苦難。如今北方人民都在反抗胡人，假如陛下能下令出兵，派我北伐，必定會得到北方人民的響應，國家的恥辱也就能洗雪了晉元帝雖然沒有北伐的決心，但是祖逖這番義正詞嚴的要求是沒有理由拒絕的，他隻得派祖逖做奮威將軍，兼任豫州牧，給了1000人的給養和3000匹布，讓祖逖自己去招兵買馬，製造武器，出師北伐。
晉元帝給的給養雖然那麼少，並且軍隊也沒有經過訓練，可是祖逖並不灰心。他帶領親信部屬100多人毅然渡江，向北進發。那天，人們聽說祖逖渡江北伐，紛紛來看熱鬧；許多人熱情地趕來送行，祝他早日收複中原。祖逖一身戎裝，顯得雄赳赳氣昂昂，滿有信心。他率領壯士們乘船出發了，等船開到江心，祖逖用佩劍敲著船槳，當眾誓師說：“我祖逖如果不能肅清中原的敵人，決不再過這條大江！”祖逖這鏗鏘有力的誓言，在碧波浩淼的江麵上久久回蕩。
祖逖渡江以後，進駐淮陰，先在那裏起爐煉鐵，製造武器，又招募了2000多壯士，然後繼續向北進發。祖逖一刻也沒有忘記自己的誓言。勇敢地跟敵軍展開鬥爭。江北的人民聽說祖逖北伐，都十分歡迎。他們給祖逖送糧送信，配合著打擊敵人。在人民的支持下，幾年之間，祖逖就收複了長江以北黃河以南的大部分地方。