一次，祖逖設宴招待當地的父老，一些老人流著眼淚說：“吾等老矣！更得父母，死將何恨”！祖逖在座上歌曰：“幸哉遺黎免俘虜，三辰既朗遇慈父。玄酒忘勞甘瓠脯，何以詠恩歌且舞”。諸塢堡對祖逖十分感激、愛戴，常向祖逖密報石勒的活動。
他的老朋友劉琨在北方聽到這些傳聞，很高興地說：“我日夜讀兵書練武藝，就是一心要擊退匈奴，現在祖逖跑在我前麵去了。”
晉元帝建武元年（公元317年）六月，祖逖進駐蘆洲（今安徽亳州），當時，流民塢主張平、樊雅兩人在譙郡擁兵自重，表麵臣服於東晉。祖逖北屯蘆州後曾派參軍殷乂訪問二人，但因殷乂輕蔑張平而令張平和樊雅勒兵固守，祖逖進攻了一年多也不能成功，隻有利誘張平部將謝浮借機殺死張平，祖逖則進據太丘。但樊雅和張平餘眾仍據譙城對抗祖逖，更加派兵襲擊祖逖，相持不下。祖逖因得蓬陂塢主陳川派將領李頭和南中郎將王含派桓宣支援，成功擊敗並勸降樊雅，得以進據譙城（今安徽亳州譙城）。隨即又擊敗前來討伐的石虎。
晉元帝大興三年（公元320年），祖逖派韓潛鎮守蓬陂塢東台。相持40日後，祖逖派人用布囊盛滿砂土，假裝是食用的大米，派餘人運至東台；又派人挑著真正的大米，佯作累壞了躺在道旁喘氣歇息。趙軍派精兵來襲，擔夫棄擔而逃。趙軍見裏麵全是大米，以為晉軍糧食充足，士氣大挫。石勒遣大將以千頭壯驢運糧，祖逖在汴水設伏盡得其糧。趙軍無糧，退據東燕城。祖逖因而盡得二台，並派韓潛進占封丘壓逼桃豹，自己則進屯雍丘（今河南杞縣）。此後，祖逖多次出兵邀截趙軍，使石勒的力量迅速萎縮。
祖逖注重調和河南諸晉將和塢堡頭目之間的矛盾，示以禍福，最終使這些人都聽從他的節度，成功收複黃河以南中原地區的大部分土地。
大興三年（公元320年）七月，祖逖被加封為鎮西將軍。石勒見祖逖勢力強盛，不敢南侵，命人在成皋縣為其母修墓，又遣書請求通商。祖逖雖然沒回信，卻任憑通商貿易，更收利十倍，兵馬日益強壯。石勒又殺叛晉歸降的祖逖部將表示友好，祖逖亦與石勒修好，禁止邊將進侵後趙，邊境暫得和平。
祖逖看到大片山河在自己的奮鬥下回歸東晉，更加激奮，一麵日夜操練軍隊積蓄力量，一麵擴大兵馬，準備渡過黃河，去收複黃河以北的國土。
“點評”
祖逖是一個胸懷坦蕩、具有遠大抱負的人，北伐戰爭是中國戰爭史上第一次北伐。雖未有劉裕“金戈鐵馬，氣吞萬裏如虎”和嶽飛“直搗黃龍”的氣勢，但祖逖的北伐可以說是比較成功的，由於是白手起家，祖逖以戰養戰的策略是非常正確的。