祖逖的要求，代表了人民的願望，但無異於給司馬睿出了一個難題。司馬睿自移鎮建鄴，一心在拚湊江南小朝廷，他和擁戴他的門閥士族都無意北伐。從司馬睿來說，雖然國土淪喪，他仍不失為偏安之主；如果北伐成功，這皇帝的寶座還不知究竟屬誰呢？但麵對祖逖大義凜然的請求，他又不願落下阻止北伐的惡名，於是，便消極對待此事。為了敷衍天下人耳目，司馬睿乃任命祖逖為奮威將軍、豫州刺史、前鋒都督出師北伐，隻撥給他1000人糧餉，3000匹布，不給鎧甲兵器，不給一兵一卒，讓他自募士眾，自製刀槍。
麵對強大到足以令人窒息的壓力，祖逖沒有後退，而是做出了一個令人擊節歎賞的行動。而在今天能否有堅定的意誌力仍是體現領導者領導藝術的一項重要指標，也是維持領導者威望的重要環節。
李嘉誠說：“好景時，決不過分樂觀，不好時，也不過分悲觀”。這才是一個真正想贏，最後一定會贏的大家風範，有這樣的意誌力，領導者不會隻為了短期利益而“殺雞取卵”，也不會為了眼前的輸贏而“拔苗助長”，不管外界如何評價，如何追逼，如何壓力……領導者才會把注意力集中在做事的“根本態度”上，關注做這件事更長遠的價值。領導者應按事物發展的本身規律，按部就班地追求想要達成的結果，有這樣的“平常心”，領導者才會“不以物喜，不以己悲”，穩健地邁向目標。祖逖麵對強大的北伐壓力就憑借著堅定的意誌力做到了這一點。
司馬睿的冷漠態度並沒有動搖祖逖北伐中原的決心，他率領跟隨自己南下的流人隊伍百餘家，毅然從京口渡江北上。船到中流，祖逖眼望麵前滾滾東去的江水，感慨萬千。想到山河破碎和百姓塗炭的情景，想到困難的處境和壯誌難伸的憤懣，豪氣幹雲，熱血湧動，於是敲著船楫朗聲發誓：“祖逖不能清中原而複濟者，有如大江”（《晉書·祖逖傳》）！意思是“若不能平定中原，收複失地，決不重回江東！”祖逖“辭色壯烈”，部屬為之慨歎。
祖逖渡過長江後，暫駐淮陰，起爐冶鐵，鑄造兵器，同時又招募到二千多士兵。
建興四年（316年）十一月，晉湣帝被漢國俘虜，西晉滅亡。司馬睿 被迫移檄四方，約期北征，祖逖欣然應命。
當時北伐的形勢十分嚴峻。祖逖麵臨的對手不僅是割據冀、豫一帶，擁兵十多萬的羯族首領石勒，河南地區還盤踞著為數眾多的漢族地主豪強武裝，即所謂“塢主”。這些塢主修築塢堡，自稱刺史、太守，稱霸一方，依違於晉、趙之間，情況非常複雜。他們可能成為北伐軍的盟友，也可能成為北伐軍的敵人。這種形勢決定祖逖北伐的道路是一條充滿了艱難險阻的道路。
公元317年，祖逖進駐蘆洲（在今安徽亳縣），果然，北伐軍首先遭到流人塢主張平、樊雅的阻遏。張平、樊雅是兗、豫一帶的豪強，乘亂起兵，張自任豫州刺史，樊自任譙郡太守，各據一城，有眾數千人。張平部下還有董瞻、於武、謝浮等十多支小部隊，各有數百人。
張、樊名義上臣屬於司馬睿，接受司馬睿給予的四品將軍頭銜，實際上不受約束，自行其是。祖逖派遣參軍殷乂去聯絡張、樊，殷乂有些看不起張平，指著他的住房說這隻配作馬廄，又指張平的一口大鑊說這可以鑄鐵器。並說張平不能保住頭顱。張平大怒，殺死殷乂，勒兵固守。張平“阻兵固守”，殷乂誠然不能辭其咎，但根本原因恐怕還是這位自封的豫州刺史不能容忍朝廷派來的豫州刺史。這類豪強，雖然他們原來也經常受到敵人的攻擊，但當他們的既得利益稍許受到危害，他們則寧肯站到敵人的立場攻擊自己的同盟者。祖逖率軍進攻，仍不能下。於是祖逖便用離間計，從張平部下分化出謝浮，謝浮借與張平商討軍情之機，殺死張平，率眾歸降。
張平雖死，樊雅仍占據譙城，祖逖進據太丘（今永城縣西北），因軍中乏食，處境十分困難。樊雅派兵乘夜來襲，攻入營壘，拔戟大呼，直逼祖逖營帳，軍中大亂。祖逖臨危不亂，安排左右拒敵，督護董昭英勇殺敵，終於打退了樊雅的進攻。經過一年多的苦戰，祖逖終於攻占譙城，在豫州站住了腳跟，並打通了北伐的通道。