呂易忠大怒，心想你個狂生不過是個秀才而已，一味持才放曠，指著鼻子斥責道：“你個狂悖之徒，再要胡言亂語，辦你個擾亂軍心之罪！”
“哼，軍心還要我擾亂麼？”錢太衝毫不買賬，正要反唇相譏，有人過來尋找他們。
“諸位先生，請速去大營會議！”
出城的時候，錢太衝發覺城門口的諸軍已經全部換成了鎮標的人馬，個個刀槍出鞘十分嚴整。滾滾
一行人的馬匹從城門洞滾滾而過，城門口的官兵在他們出去之後並不關閉城門，城門繼續打開著，方便人馬進出。
中軍營寨裏，雖然何如賓的家丁和鎮標還保持著相當的穩定，但是這一場火箭雨使得營中的士氣已經降低到最低。許多人都在竊竊私語，認為肯定要退兵了。
大帳之中，各營主將已經到了。他們現在已經深切知道髡賊火器的厲害，在這裏安營紮寨毫無安全感，而且牆造得再高，壕挖得再深也不抵用，髡賊的火箭能從十多裏外射過來，一射就是成百，這仗是沒法再打了。
眾將毫無戰意，主帥也覺得打不下去了。何如賓知道此時繼續堅持在澄邁安營與髡賊對峙已經毫無意義，現在軍中士氣已經瓦解，糧道又不能很快恢複。不如乘著兵力尚未受到毀滅性的打擊先行退到瓊山就糧，起碼還有能向上塞責的餘地。不過退兵這樣的決定他無權一個人做出，他把目光轉向趙汝義。
趙汝義早就想退兵了――這次討伐髡賊是明擺著必敗無疑了，剛才的火攻嚇得他差點靈魂出竅。這樣不論前線後方的無差別遠程攻擊他還是第一次遇到。他的一個仆人在火箭攻擊中被一枚火箭直接命中當場死去。他更希望早點脫離這樣的絕地，眼見諸將都持退兵之意。也就順水推舟的同意了。
接下來又討論各營退卻的順序和聯絡的旗號、方式，何如賓知道此次退兵回去自己恐怕很難向總督向朝廷交待了，不由得麵色晦暗，任由大家商議，自己不置一詞。趙汝義見他麵色不好，生怕他一時想不開瘋了或者自殺――主將一死，這二萬人馬頓時就要潰散。所以他大聲對眾將道：
“我兵伐賊連勝，現石山小挫，大軍且回瓊山就食再做計較！”
當下他又說了許多鼓舞諸將士氣的話，這才把大帳中的氣氛稍稍挽回一些。決定撤退的時間定在明天一早，以免夜間突圍各部看不清楚造成混亂和迷路。
規定由陳人傑帶著瓊崖參將的本部人馬和海南本地的操軍、鄉勇走在最前麵負責開路。五個參將中以湯允文的人馬最為完整，隊伍中又大多是本地人，地形熟悉。操軍和鄉勇家鄉營盤多在瓊山、文昌一帶，讓他們進攻臨高鬥誌不高，但是奪路而還的戰鬥意誌應該還是有得。
各部緊隨其後且戰且走。殿後的人馬由鎮標營中軍守備，遊擊孫昌祚率領。何如賓撥給他二千人馬，其中有何如賓的騎馬家丁一百人和宋銘的一百騎。孫昌祚知道這二百騎是鎮台大人給他保命用得。當下十分感激，表示自己將會率領人馬死戰殿後。
殿軍中還有李陌刀的火器營。這個失掉了大炮的火器營在大家看來已經毫無作用，於是李陌刀就隻能帶著火器營據守營寨，最後一個退出大營撤退了。何如賓給他的指示是若是道路被截斷撤不下去，就直接退入澄邁縣城中協守。
諸將辭出後，何如賓關照趙汝義：“大人且在本鎮老營休息，待天亮之後再隨老營撤退。”
趙汝義卻道：“學生還有些行李在城中沒有收拾……”
“本鎮即遣人去辦理。”
“不，不，”趙汝義連忙道，“其中有許多文稿書籍，學生不去，幾個下仆無知，恐怕理不清楚。”
“好，請老先生速去速回。”
趙汝義帶著奴仆飛馬趕回城內的宋宅，幕僚們也紛紛跟著回來了。這群人一回來，宋宅並幕僚們寄居的城中各家大戶院內就亂成了一團。趙汝義這次監軍，原是準備好好的沿路搜刮一番的，等到了臨高，又能取得許多髡賊的玩器寶物。所以帶了許多空箱和仆役。雖然這次兵敗得太快，欲壑未填，但是軍中將校的孝敬、沿途士紳的奉獻，這次進得澄邁之後他又得了澄邁縣令和縣內士紳們的許多禮物。宋宗會因為要求他庇護，也送他白銀五十兩，本朝名家字畫一幅。
他一回到宋宅，即命仆人們立刻就財貨全部裝箱捆紮，又著人即刻去征發民夫車輛，準備逃走。
幕僚們雖然不是官，但是沿路也得到了多少不等的饋贈，也要一一裝箱帶走，他們不比趙汝義，帶著七八十個仆役――顯赫如呂易忠的，帶著三四十個仆人，一般的如錢太衝這樣的窮秀才，隻有一個小僮仆而已。於是有的人隻揀細軟裝箱，有的卻連饋送的幾匹當地的棉布都要帶走。一時間亂七八糟，人聲鼎沸。各家的傭人乘著收拾行李之際，幹脆在宋宅的客院內隨意搬運財物，連桌上的擺設、牆上的字畫，乃至床上的帳幔一應全部包裹而走。宋家的傭人們一時都呼“這是遭了官賊了！”宋會宗見場麵如此混亂，一麵吩咐家人們將家眷老幼送到內院，一麵讓全家丁壯們準備好棍棒刀槍，準備萬一的時候抵擋亂兵搶劫，自己趕緊去找常青雲。