從此，祖逖憂憤成疾，病倒了。那時候缺醫少藥，對這些病沒有有效的療法，隻能用中醫慢慢調養。然而，豫州的情況，仍然向好的方麵發展。
祖逖的軍隊紀律嚴明，秋毫無犯，深得當地百姓的擁戴。祖逖在黃河南岸，秣馬厲兵，時刻準備著，殺過河去。對於新歸隊的部眾，不論貴賤，祖逖都一視同仁。
麵對祖逖的強大壓力，石勒也十分忌憚，為了示好，命令幽州的官府重修祖逖的祖墳，並讓當地農民守護好祖逖家的墓園，護墓農民可以不向石勒政府繳稅，而是以賦稅作為祭祀和護墓的費用。
石勒還寫信給祖逖，要求在成皋通商。雖然祖逖怕叫人抓住把柄，沒有給石勒回信，但是在成皋通商已成為事實。這一舉措，使豫州的稅收超過了田賦的10倍，使北伐大軍獲得了大量的金錢和物資。
當然，葉楓的冀州也獲利頗豐。就算石勒的襄國，也占到了不少便宜。
有一次祖逖的牙門將軍童建殺了新蔡郡的太守周密，怯於受處分，向北投靠了石勒。石勒本來想重用童建，而張賓卻對他說：“現在祖逖的勢力忒大，剛把他維好，又把他得罪了。”
石勒想想也對，就把童建斬首，人頭送給了祖逖。還捎信說自己最痛恨的就是那些叛官和逃將，將軍所痛恨的就是石勒所痛恨的。
祖逖也想到西晉名將羊祜和陸抗的故事，那就是戰爭除了刀兵之外，還有懷柔政策。因此，對石勒所部叛逃的人，也沒有收留，並下令邊境的將領沒有命令不可隨意進攻，擄掠石勒境內的居民。
在雙方的努力下，邊境一帶百姓得到暫時的和平，穩定了南北的局勢，使石勒不敢南下。司馬睿看到祖逖的功績，封祖逖為鎮西將軍。
但是，人難抗天，祖逖在憂國憂民中，於321年終於病死，終年56歲。豫州的老百姓聽到祖逖病逝的消息，無不如喪考妣，痛哭流涕。譙郡、南中郡的百姓也自發地為祖逖建立祠堂祭祀。
司馬睿也下詔追贈祖逖為車騎將軍，並以祖逖的同母弟弟祖約為平西將軍，豫州刺史，代領祖逖之眾。
石勒死了這麼一個強硬的對手，絲毫沒有感到高興，反而暗暗有些悵然若失，焚香暗自祭祀，並呼：“這個敵人啊，不該，不該……”
祖逖死了誰高興呢？最高興的倒是王敦。原來王敦最忌諱的兩個人，一個是周訪，一個是祖逖，兩人都死了，怎不叫他興災樂禍。他認為，自己在江東一帶，已經是天下無敵，誰也不怕了。此時不弄出點動靜來，還待何時？
要想造反，先拿誰開刀呢，他就想到了劉隗，誰讓我看著你不順眼呢。明著是對劉隗，暗中刀劍所指，就是傻瓜也看出來了，那就是司馬睿的東晉王朝。
師出總得有名，王敦於永昌元年（322年），對元帝司馬睿奏本說：“劉隗是個奸邪小人，作威作福，勞擾百姓，賦役繁重，怨聲載道。臣下作為宰輔，不能坐視不管，我這就進軍討伐他，以清君側。隻要劉隗的頭早晨掛上，晚上諸軍就退兵。願陛下三思恩準，則四海安定，社稷永固。”