三軍既整，鍾懷遠開始著手安排東征事宜，按照先前所定策略，暫以揚州為大本營，兵分兩路，令鍾懷山的後十七軍從揚州出發，一路向東，取靖江而南下，曾立昌的後十六軍從揚州出發，經鎮江南下，兩路會合於蘇州，鍾懷遠自率後十五軍暫駐揚州調度，同時在揚州建烈殿各部、充實屬員，以治理地方，並令各軍沿途招賢納才。
鍾懷山、曾立昌接令後立即率軍出發。鍾懷山的後十七軍一路順風順水，高郵城一日即下，斬清兵數百，將知州斬首示眾，泰州、泰興官吏聞風而逃，當地百姓自發組織起來迎接太平軍，輕鬆而定。鍾懷山一路宣傳《天朝田畝製度》，鎮壓土豪劣紳，放糧分田，百姓眾相依附，後十七軍擴至近8000人，前營、後營得建，不到二十天就占據如皋、通州，靖江，與常熟隔水相望。
曾立昌的後十六軍卻遇到了麻煩，阻於常州城下。後十六軍過鎮江後剛開始也高歌猛進，克丹陽、占武進，前營僅七日就到達常州城下。譚紹光揮師攻城，江南提督鄧紹良帶清軍拚死頑抗，城不能下。第二日，從蘇州來的清軍援兵乘譚紹光攻城之際偷襲身後，譚紹光的前營在揚州從軍的新兵較多，抵擋不住旋即兵敗，死傷上千，後退十五裏，直到李尚揚的右營趕到才抵住了清軍的追兵。曾立昌聞訊，收攏各營齊聚常州城下，但此時常州清軍已達萬人，急切間未可立破。
鍾懷遠得報，急令鍾懷山迅速過江，立取常熟、江陰，威懾蘇州，令曾立昌對常州暫且圍困，分兵取無錫、金匱，又令鎮江羅大綱派兵徉作攻打金壇，斷清軍蘇州、江北大營救援之路，使常州成孤城之勢，親率後十五軍南下常州。三日後，鍾懷遠到達常州，不入軍營直達常州城下，揮軍攻城。鄧紹良得報太平軍連日動向，又見鍾懷遠親至，知常州勢不可守，為活得性命悄悄帶了幾個心腹棄城而逃。主將既逃，清軍兵丁全無鬥誌，常州一舉而下。鍾懷遠隨即遷東征大本營南下至常州，調羅大綱守揚州，以佐羅大綱之殿前左五檢點吳如孝守鎮江，各軍固守現有城池，安頓地方，整軍待發。
現在江蘇一省，原清廷之揚州府、鎮江府、常州府全境盡入太平軍之手，蘇州府也丟了個常熟。兩江總督怡良在蘇州城內慌恐萬分，這偽烈王一出，蘇南形勢立變，揚州破圍，江北大營告破，蘇南三府淪陷，長毛聲勢日隆，這蘇州城看來也是守不住了的，棄城而逃的事是做不出來也是不敢做的，皇上發怒那可是要殺頭的，長毛亂起以來多少大員因丟城問罪他還是很清楚的。怡良苦思了一夜，蘇州以北、以西城池盡喪，江南大營的兵是過不來了，南麵的浙江兵勇又遠水救不了近火，而且就算來了也抵不了用，惟東麵上海倒有些洋人兵勇，那西夷人高馬大又火器精良，道光年間幾萬綠營都被打敗，諒那長毛也不是對手，若是肯來襄助，退了長毛之後多酬謝些銀兩也就是了，最後決定一邊調兵來援，一邊求助洋人，當下派人去上海聯絡洋人來蘇州協助守城。
此時的太平軍正按鍾懷遠的吩咐，分田到戶弄得紅紅火火，蘇南三府的百姓都被發動起來，在烈殿屬員的努力和幫助下各級鄉官也慢慢選了出來，百姓興高采烈，此時的清軍若是想來奪這三府，別說太平軍，這些老百姓都要跟他們拚命。後十六軍在常州作戰造成的缺員早就補齊了，後十七軍的左營、右營也都建起來了，後十六軍、後十七軍一路作戰所繳獲的戰馬都送到了劉達手上，鍾懷遠又花錢買了一些，湊了2000匹讓後十五軍都又建了個前營。通過此次常州之戰，鍾懷遠也發覺到自己軍中的問題，擴充得太快，新兵太多，訓練的時間也不夠，一帆風順還好，若是敵人頑強一些就容易出問題，所以鍾懷遠倒也不急於進軍蘇州，邊處理民事鞏固蘇南三府的同時也督促三軍勤操苦練。