生活在西晉和東晉之交的祖逖，字士稚，範陽遒（今河北省定興縣）人。父親早逝，他的生活由幾個兄長照料。他為人豁落，講義氣，好打不平，常常以他兄長的名義，把家裏的穀米、布匹捐給受災的貧苦農民，深得鄰裏好評。但他的性格活潑貪玩，15歲時還沒讀進多少書，幾個哥哥為此都很憂慮。
到18歲時，祖逖像是突然開了竅，開始勵誌讀書，雞鳴之時便起床舞劍，天亮後學習經書，四五年內，便已博通今古，武藝高超。他常到京城洛陽去，向有學問的人求教。凡是見到過他的人，都不由讚歎說：“這個人將來一定是個人才！”
祖逖24歲時，擔任了司州（今河南洛陽一帶）主簿之職。他有一個同事，叫劉琨。劉琨是漢朝宗室中山靖王劉勝的後代，也是一個有誌氣的青年。兩個人因為意氣相投，成了好朋友。他們經常談論時事，談如果建功立業，報效國家，一談就是大半夜，於是同床抵足而臥，常常上剛剛入睡，雞便開始叫了起來，祖逖便叫醒劉琨說：“雞都叫了，不能安穩地睡覺嗎？”於是取過雙劍，就在庭院中舞起來。劉琨也趕緊起床取了雙劍，和祖逖對舞起來。
之後祖逖走上仕途之路，先為司州主薄，齊王冏大司馬掾，累官太子中舍人，東海王司馬越任為典兵參軍、濟陰太守等職。
這時的西晉皇帝是晉懷帝司馬熾，他是個傻子皇帝，他在位期間皇後賈南風專權，不久爆發了“八王之亂”，中原一帶經過多次戰爭的摧殘，變得人煙稀少，永嘉五年（公元311年），漢國劉聰又派大將王彌、劉曜攻陷洛陽，縱兵搶掠珍寶，焚燒宮室、廟宇，挖掘陵墓，殺晉太子銓及官吏、百姓3萬多人，晉懷帝被俘，西晉隨之滅亡。
這時，祖逖帶領親族、鄰裏幾百家人向南方逃難，幾經輾轉，來到淮泗（今安徽省境內）。一路上，他讓老人和病人坐在自家的馬車上，他自己則步行。所有的糧食、衣服、藥物都作為公用。遇到散兵遊勇搔擾，都是他帶人去和他們糾纏，遇到土匪槍劫，是他帶人去把他們打退。因此，他自然地成了這支逃難隊伍的“總領隊”，無論老少，都聽他指揮。
公元317年3月，司馬睿在建康（今江蘇南京）稱晉王，第二年稱帝，這就是東晉王朝。司馬睿聞知祖逖流亡到泗口（今江蘇銅山縣），便派人任命他為徐州刺史。不久，又任命他為軍諮祭酒，調他駐守丹徒之京口（今江蘇丹徒縣內）。
晉元帝司馬睿也是個平庸的人。當時北方中原地區大部已為漢國占領，司馬睿隻想偏安一隅，圖取眼前安樂，不思北伐。祖逖向晉元帝進諫，說：“中原大亂，兩京顛覆，都是因為藩王爭權奪利，自相殘殺，遂使戎狄有機可乘。現在中原百姓遭受異族擄掠，心懷激憤。大王如果能委派戰將北上，一定能得到中原百姓的響應，那時不僅失土可複，國恥可雪，大晉朝也能轉危為安了，請大王考慮。”
司馬睿采納了祖逖的建議，任命他為奮威將軍，豫州刺史，支給他1000人的糧食，3000匹布，卻不發給他鎧甲，要他自己去招募兵士。祖逖隻帶了跟隨他逃難而來的一百來個人家，租了幾隻大船，橫渡長江北上。船劃到中流，祖逖站在船頭，望著滔滔江水，不禁感慨萬千。這時他已年過50，回想起青年時代與劉琨聞雞起舞的情景，恍如昨日。而中原地區先是藩王混戰，後受匈奴鐵騎的蹂躪，山河一片破碎。現在雖受命去收拾舊山河，但豫州刺史是一紙空文，3000兵士是一個空諾，所有的就是眼前這三四十個青壯，一百來老少。但是，頭可斷，誌不可滅。隻要有當年的誌氣在，定能開辟一個新天地。祖逖拔出佩劍，敲著船槳，發誓說：“我祖逖如果不能廓清中原，決不返渡！”言辭壯烈，同行者都深受感動。
渡江後，祖逖帶人停留在淮陰。他在這裏鑄造兵器，招募壯士，很快招募到2000人。祖逖然後帶領這支2000多人的隊伍北進，首先占領了譙城（今安徽毫縣）。祖逖行兵打仗，除了善於謀略，還嚴於律己，生活也非常節儉。隻要有人立功，他便立即獎賞，不等明天。在駐防地區，他不僅督促、幫助百姓搞好農業生產，還督促自己的子弟參加生產勞動，自己打柴燒。中原久經戰亂，到處有無主屍骨，祖逖派人收葬，還進行祭奠。所有這些都使百姓深受感動。
當時北方主要的軍事勢力是石勒，他自稱趙王，建都襄國（今河北邢台縣）。祖逖連續攻破了石勒軍支持的堡、塢等割據勢力，擊敗了石勒的援軍，派部將韓潛進駐封丘（今河南封丘），自己則進駐雍丘（今河南杞縣）。這一來，整個黃河以南土地都被祖逖收複，重歸於晉朝管轄。