在後十六軍入浙時，鍾懷遠即留下了譚紹光的前營、李尚揚的右營，給後十六軍補充了5000新兵。又令鍾懷山、曾立昌在蘇州、常州、鬆江、鎮江一帶征召青壯，以後十六軍前營為主體重建後十八軍，殿左二十三指揮譚紹光代軍帥，駐常州府，以十六軍右營為主體重建後十九軍，炎七總製李尚揚代軍帥，駐鬆江府。鍾懷遠嚴令二人用心操練，以備大用。
鍾懷遠命烈殿吏部尚書孫幕宗在蘇州、常州、鬆江三處設招賢館，招納賢才以充實吏員，又命禮部在各府縣每三日即鳴鑼聚眾、宣講道理，以定民心。一個月後，入浙兩軍均傳來捷報，嘉興城、湖州城皆被攻下，嘉興府、湖州府聞風而定，清軍綠營、團練一擊即潰，各地官吏如喪家之犬倉皇而逃，兩府已入太平軍之手，兩軍前鋒已達杭州城下，唯清軍在那杭州城中囤積三萬兵勇，火炮淩厲，需派兵增援以破杭州。鍾懷遠大喜，正待調後十九軍入浙增援，以速下杭州，取浙江全境，此時燕王秦日綱所率的第二次北伐援軍戰敗，退回天京，秦日綱稟告東王“北路妖兵甚多，兵單難往。”鍾懷遠聞訊立命李世賢罷攻杭州，暫且領後十六軍鎮守嘉興府、湖州府，伺機再進取杭州，並從蘇州派出烈殿吏員赴兩地安置百姓、處理民事，以便李世賢專心軍事，抽調後十七軍回蘇州休整。又命鍾懷山率後十八軍全部、後十五軍中營劉昌林部馬隊北上進駐揚州，鍾懷山節製揚州諸軍。再度派人聯絡馬販購買戰馬，令劉達在蘇州組建後十五軍左營，在烈殿所屬各軍中挑選騎卒並招募兵士。
甲寅四年七月，鍾懷遠傳令鍾懷山整頓揚州兵馬，準備攻占淮安、徐州兩府。同時，種懷遠又寫了封長信派人送至東王府呈上東王，懇請從蘇北出兵前去營救林鳳祥、李開芳部，信中詳述北伐牽製北方清軍以減輕江南、湖廣等地各路聖軍壓力之重任，楊秀清遂同意鍾懷遠出兵北援。得到楊秀清的同意後，鍾懷遠即令陳廷香的後十七軍北上揚州，歸於鍾懷山節製，並令鍾懷山領軍北上救援林鳳祥、李開芳。八月三日，鍾懷山派出兩軍同時攻打淮安、徐州。僅二十日，後十七軍即輕取淮安、占寶應，後十八軍一路連捷已攻至徐州城下。
此時的林鳳祥、李開芳部已往南撤，四月間得聞陳仕保、許宗揚所率北伐援軍已到山東，林鳳祥命李開芳率馬隊前往迎接，未料剛到山東高唐州即聞援軍潰敗，已往南撤，李開芳正待率馬隊再與林鳳祥會合，周圍清軍四麵合圍，李開芳被困高唐，林鳳祥也被勝保領軍困在直隸東光，兩軍隔絕不通，皆苦守待援。
鍾懷山率後十七軍從淮安渡過黃河，迅速北上，下安東、取沐陽，直指山東。鹹豐震怒，嚴旨欽差大臣勝保急速剿滅林鳳祥、李開芳部，又令科爾沁郡王僧格林沁速帶馬隊南下阻擊太平軍援軍。鍾懷山率軍進入山東後轉道向北，急襲台莊、韓莊，兩地清軍未加防備，一擊即潰，太平軍輕鬆占領，徐州清軍得聞，害怕太平軍南北兩路夾擊，軍中恐慌四起。譚紹光趁機攻城，三日即克，鍾懷山傳令譚紹光鎮守徐州，安置地方。後十七軍揮師北上，兵鋒直指袞州，在鄒縣與僧格林沁兩萬馬隊遭遇，兩軍爆發激戰，大軍野戰時步卒未加準備畢竟難抵馬隊衝擊，且僧格林沁的蒙古馬隊飽經陣仗，不似那八旗綠營貪生怕死，各各死戰向前，後十七軍交戰失敗，鍾懷山率軍後撤，僧格林沁率馬隊一路追擊至滕縣，鍾懷山占滕縣固守，派人急報烈王鍾懷遠，僧格林沁隨後又調集山東、河南兩萬綠營圍困滕縣。