對於那些心存晉室的塢堡主，祖逖則做爭取團結的工作。如趙固、上官巳、李矩、郭默等，依附者眾多，都有相當勢力，但互相攻戰。經祖逖派人調解，說明利害禍福，他們彼此和解，都願意接受祖逖指揮。一些塢堡主原先歸附石勒，並送了人質，現在傾向於晉，但不便公開歸附。祖逖體諒他們的難處，聽隨他們私下保持“兩屬”關係，還不時派兵偽裝抄掠他們，造成他們未歸屬晉的假象，以掩護他們的“兩屬”關係。這些塢堡主對祖逖十分感戴，石勒方麵有什麼舉動，他們即秘密報告。正是由於利用這些情報，祖逖先後打了許多勝仗。
祖逖的北伐取得很大成果，收複黃河以南大片地方，“由是黃河以南盡為晉土”。祖逖“愛人下士，雖疏交賤隸，皆恩禮遇之”。“其有微功，賞不逾日。躬自儉約，勸督農桑，克己務施，不畜資產，子弟耕耘，負擔樵薪，又收葬枯骨，為之祭醊，百姓感悅。嚐置酒大會，耆老中坐流涕曰：‘吾等老矣！更得父母，死將何恨！’乃歌曰：‘幸哉遺黎免俘虜，三辰既朗遇慈父，玄酒忘勞甘瓠脯，何以詠恩且歌舞。’其得人心如此。”東晉朝廷為祖逖進位鎮西將軍。
石勒因祖逖日益強大，“不敢窺兵河南”，還命幽州修繕祖逖的祖父和父親的墓地，又給祖逖寫信，要求互通使者和開展貿易。祖逖不予回信，而聽任雙方互市。結果收利十倍，公私豐贍，兵馬日益發展壯大。
正當祖逖準備乘勢渡過黃河、掃清河北的時候，晉元帝司馬睿派廣陵人戴淵為都督兗、豫等六州諸軍事、司州刺史，出鎮合肥，祖逖也歸他指揮。祖逖認為他是吳人，雖有才學和聲望，但無宏圖遠見，且自己披荊斬棘收複河南地方，而戴淵毫不費力卻大搖大擺來管轄，心裏不平。他又得知王敦與劉隗、戴淵等爭權奪利，內戰即將爆發，統一的大業難以成就，於是憤激得病，但仍圖進取不輟。他將妻子兒女等安置在汝南大木山下。當時中原地區人士都認為他應當進據武牢，而反將家人安置於險要之地，有人曾加勸阻。祖逖沒有采納，以此表明繼續北進的決心。他還營繕武牢城。該城北臨黃河，西接成皋，四望甚遠。又恐其南無堅壘，必為敵人所攻襲，派其侄汝南太守祖濟率眾築壘。壘未築成，晉矢興四年（公元321）祖逖病死於雍丘，時年56歲。豫州百姓如喪考妣，十分悲痛，紛紛立祠紀念他。東晉朝廷追贈他為車騎將軍。
隨後，東晉以祖逖的弟弟祖約為平西將軍、豫州刺史，率領祖逖的部眾。祖約沒有安撫指揮的才能，得不到士卒擁護。祖逖原來的部眾有的開始離去，如範陽人李產因北方動亂，希望保全宗族，遠來依附祖逖，後來通過觀察祖約的所作所為，失去信心，便率領子弟十餘人返回鄉裏。石勒因祖逖死去，也無所顧忌，一再侵襲黃河以南地區，第二年冬，攻陷襄城、城父，包圍譙城。祖約不能抵禦，退屯壽春，石勒攻取陳留。許多原來歸附祖逖的塢堡主歸附了石勒。祖逖收複經營的黃河以南大片地方，又為石勒所據，當地百姓又陷於民族壓迫的苦難之中。
削弱王氏，鞏固專製
江南士族雖然支持和參加東晉政權，但他們與北方士族的矛盾還是很尖銳的，鬥爭還不時表麵化。東晉政權以北方士族為主體，他們“多居顯位，駕禦吳人，吳人頗怨”。北方士族之間以及他們與司馬氏之間的矛盾也日趨尖銳。王導、王敦權位日重，王敦更欲專製朝廷，有奪取帝位的野心，司馬睿肯定不希望身邊有王氏存在而威脅自己的統治，在隱忍一段時間之後，他開始出手了。
司馬睿繼續對王導、王敦加封了官職，但是態度上十分冷淡。凡是重要的軍國大計，他隻與尚書令刁協及調外任丹陽尹卻仍兼侍中的劉隗密議。在刁、劉二人的策劃之下，司馬睿製定了一係列限製大族勢力、加強皇權的所謂“刻碎之政”。公元318年一年之內，司馬睿兩次下詔整飭吏治。第一次的時間在3月，詔書一麵對清靜為政加以肯定，一麵卻又表示要懲辦不法官吏。第二次下詔在7月，司馬睿的語氣轉變為十分嚴厲，除命令各級官吏“祗奉舊憲，正身明法，抑齊豪強，存恤孤獨，隱實戶口，勸課農桑”外，還要求“州牧刺史當互相檢察，不得顧私虧公。長吏有誌在奉公而不見進用者，有貪婪穢濁而以財勢自安者，若有不舉，當受故縱蔽善之罪；有而不知，當受暗之責”。他還親自下令處決了桂陽太守程甫、徐州刺史蔡豹等幾個違製的官吏，其中程甫是王敦的親信。