鍾懷遠身先士卒，率眾大批攻上，四十餘架雲梯，兩千太平軍前仆後繼，殺向城頭，餘眾在城下呐喊助威。
鍾懷遠、李開芳、林鳳祥一番撕殺，也登上城頭，清兵立時招架不住，一時間城頭太平軍已達四五百人，後續部隊立時跟上。再過得片刻，攻上城頭的太平軍已達上千人，清兵紛紛往後退去。韋昌輝見此情形，急令全軍大喊“城破了、城破了”，太平軍士氣大振。
鍾懷遠將登上城頭的千餘太平軍分作兩路，一路300人由鍾懷山帶領守住城頭，另一路700餘人由自己及李開芳、林鳳祥率領沿通道向城門殺去，殺退城門守軍後，奮力將城門打開，門外久候的太平軍大隊一湧而進，全州城就此破了。
此時馮雲山也因傷勢過重而亡，太平軍攻入城後將清軍頭目及州府官員盡皆斬首，以為南王報仇。在全州休整兩日後，太平軍撤出全州，全軍登船，順流而下軍鋒直指長沙。不料大軍剛離開全州十餘裏就中了清軍埋伏，傷亡慘重，戰船多被燒毀擊沉。
楊秀清見勢不對，令鍾懷遠率所部斷後，指揮全軍，丟掉所有輜重，放棄北上，改道東行。數萬清軍銜尾追來，鍾懷遠率部4000人拚死阻敵，傷亡慘重，待擺脫清軍趕上大隊，清點人數，僅剩1000餘人且人人帶傷，戰死3000餘眾。太平軍前鋒襲取道州，連克江華、永明等地，從陸路進入了湖南。
攻下道州後，太平軍休整兩月，當地會黨雲集來歸，又在各地開展“講道理”的宣傳，一時間轟動道州全境，百姓紛紛來投，擴軍近三萬。同時東王楊秀清與西王蕭朝貴會銜頒布《奉天討胡檄布四方》《奉天誅妖救世安民》《救一切天生天養中國人民諭》三篇文告，宣告天下，矛頭直指清廷，九州震動。
七月，太平軍離道州，繼續東進。十四日，旋克郴州，在郴州招納當地礦工及農民數萬，全軍擴充至十萬，因阻敵大功，鍾懷遠所部擴充至8000餘人。
八月，見長沙兵微將寡，楊秀清令西王蕭朝貴、翼王石達開率軍奔襲長沙，十餘日後，消息傳到郴州，太平軍攻城受挫，西王蕭朝貴在攻城過程中，被清兵的炮子打中身亡。楊秀清大怒，率大軍盡離郴州，直撲長沙，十萬大軍將長沙城團團圍住。剛剛到任的湖南巡撫張亮基發動長沙士紳拚死守城，太平軍雖圍困兩月，十數次激戰，傷亡過萬，仍未能攻下長沙。
在此期間，鹹豐嚴令各地馳援長沙，在此嚴令下，各路清軍援兵陸續雲集長沙，清軍兵勢日漸強盛，此時太平軍形勢萬分危急。楊秀清見此情形，隻得強忍悲痛，下令撤圍北上，渡湘水，克益陽。到益陽後，得船五六千艘，旋即順流而下，輕取嶽陽。
太平軍在嶽陽休整，並用所繳獲船隻組建水師，漁民、船夫及貧苦百姓紛紛投軍，擴軍數萬。數日後，太平軍分水陸兩路，齊頭並進，順流而下，直入湖北，鍾懷遠部為陸路先鋒。在嶽陽期間，劉達率鍾人傑舊部及交好豪傑三十餘人尋覓來投，眾人見麵自是歡欣鼓舞，徹夜傾談，原來劉達在鍾人泰被害兩月後才得知消息，當下帶二十餘人趕到柳州，一邊尋找找懷遠、懷山，一邊等待機會為鍾人泰複仇，始終卻無懷遠、懷山下落，終一日，覓得良機，錢大兄弟僅帶十餘人出城，在城外十餘裏地，劉達率眾圍住錢大兄弟，亂刀砍死，算是為鍾懷遠、鍾懷山二人報得大仇。直到鍾懷遠攻破全州，大名在江湖上傳播開來，劉達得聞，立即召集兄弟來投，一路曲折，直到這嶽陽才趕上。鍾懷遠當下稟過東王，將劉達等人安置在自己軍中，同時擴軍至萬人。