桂林是廣西省城，城牆高大，清軍重兵把守。太平軍圍攻月餘，傷亡慘重，但仍未能攻下桂林城。此時，清廷又調劑各處軍兵，前來圍剿。四月，洪秀全再次下詔，撤圍桂林繼續北上。太平軍向桂湘交界處進發，不一日大軍進入全州境內，一路上太平軍旗幟飄揚，聲勢震天，全軍首尾二三十裏，沿途清兵皆龜縮城內，緊閉城門，未敢絲毫動彈。這日，馮雲山正率軍經過全州城，突然傳來一聲炮響，馮雲山當即從馬上栽了下來，頭破血流，不省人事，原來這全州知守備見太平軍防範鬆懈，行軍隊伍靠近城牆，有機可乘，將城頭火炮對準太平軍轟去，竟擊中馮雲山。
洪秀全得知此事，大怒，傳令全軍止步，圍攻全州為南王報仇。洪秀全親點北王韋昌輝指揮大軍攻城，不料過得十來日，傷亡數千聖兵，全州城仍未攻破。洪秀全怒極，令人喊來鍾懷遠，對他道：“懷遠，我天朝南王被這全州清妖所傷，至今生死未卜，我誓報此仇以懾清妖，今北王攻城不利，我欲安排你率軍強攻，不知你敢否？”鍾懷遠大聲道：“天王，懷遠必不負所望，定當拿下此城，誅殺城內清妖，為南王報仇。若未能拿下此城，懷遠當戰死城頭。”
言畢，掉頭出門，召集所部來到全州城下。此時，韋昌輝正在城下督戰，太平軍今日攻城數次均被擊退，天王洪秀全已派人通知了他。鍾懷遠上前行禮見過北王，韋昌輝道：“懷遠，你有何妙策可下此城啊？”鍾懷遠應道：“無他，惟死而已！”
在城下觀察片刻，鍾懷遠手指城門左側向韋昌輝道：“北王，請撤此處聖兵，懷遠就從此處破城。”
待韋昌輝招回那處太平軍後，鍾懷遠對其部下厲聲道：“城中清妖傷我南王，我誓破此城為南王報仇。”其部高聲應道：“跟隨丞相，誓破此城！”
鍾懷遠拔刀出鞘，向前一揮，“跟我上”，率先向城頭衝去，部下緊隨其後。衝至離城牆有一百五十餘步，鍾懷遠停住，在此距離，城牆上的弓箭大多無法射到，少數能射到的業已力衰，用手上的兵刃可輕易格開，不足為害。
鍾懷遠下令部下拔出毛竹，命向前衝出二十餘步後對準城頭清兵擲出。頓時，城頭毛竹紛飛，清兵慘叫連連，清兵紛紛伏地，用盾牌遮掩，以避毛竹，但已傷亡近百人。
鍾懷遠令鍾懷山率其所轄1600人乘機扛起雲梯登城，鍾懷山率眾衝至距城牆一百步時，令眾人將身上毛竹盡數擲向城頭，然後全力向城牆衝去。衝至城下，每四人扶住一架雲梯，其餘人等手持兵刃，登上雲梯向城頭爬去。
鍾懷遠見鍾懷山已率兵接近城牆，忙令李開芳部上前接應，李開芳率部上前，也學鍾懷山令將身上所餘毛竹盡數擲向城頭。正逢城頭清兵紛紛探身，準備砍殺沿梯而上的太平軍，又是一陣慘叫，清兵此次卻是傷亡兩百多人。
牆梯之間激戰頓起，太平軍沿梯仰攻，自是不如清兵據牆而守，不斷被砍落下來，清兵或用木杆長槍頂住雲梯，用力向外推去，梯上太平軍從空中摔下，眼看是不活了，雲梯也被摔斷。片刻間，雲梯已折損過半，太平軍傷亡過百。
鍾懷山大怒，親自登梯攻城。隻見他口含鋼刀，雙手扶梯，攀爬直上，頃刻間，已近城頭。此處清兵忙挺槍來刺，鍾懷山擺頭避過，伸手抓住槍杆，用力一拽，將那清兵連人帶槍拉出牆頭，摔下城去。
鍾懷山攀住牆頭，雙臂用力翻了進去。隨即取下口中鋼刀，圍圈一掃，逼退周遭清兵，守住牆頭處。城下的太平軍見鍾懷山登上城頭，同時歡聲雷動，拚命向城頭登去。
鍾懷遠見隻剩下十餘架雲梯，立派部下至北王處領了三十架雲梯過來。下令所部全體登梯攻城。
此時鍾懷山身邊又爬上去七名太平軍，四十餘清兵在一個千總的帶領下死命圍攻。鍾懷山身上受創數處，鮮血已染紅了半邊身子，那七名太平軍已倒下三人，僅剩四人也個個帶傷。但他們仍牢牢地守住了牆頭通道。