迫使在前線作戰的一線將士失去統一指揮，陷入各自為戰，被明軍打退，好在在撤退途中，並沒有多大損失，這才讓小林秀臉色好看一些。
他下令全軍撤退，全軍趕到山本上彬指揮部，和主力部隊回合，不給明軍突襲機會，等他趕到指揮部，山本上彬也下達軍令，將在外作戰的各支部隊全部召回。
看見小林秀也撤回來，山本上彬和他說道：“小林君，明人太狡猾，南寧府並沒有明人皇帝，也沒有明人主力部隊。”
小林秀點點頭，和山本上彬說道：“山本君，明人皇帝不在這，我軍在這裏無沒有多大必要，應該立即撤回去，不給明人偷襲我軍的機會。”
隨後，他告訴指揮部所有人，昨天晚上，一個聯隊和明軍主力遭遇戰，聯隊長和參謀長被狙殺，聯隊被打散，等他帶領援軍趕到，把被打散的聯隊重新聚集起來，想去追擊明軍，明軍早就消失得無影無蹤。
山本上彬忙問道：“是哪一個聯隊？”
下屬第六旅團旅團長青木十三看著下屬八個聯隊長，隻有第三十九聯隊長沒有回來，他說道：“師團長閣下，是下屬第三十九聯隊。”
山本上彬已經沒有登陸澳門後的意氣風華，在華南數月，他已經領略到明軍實力，並不是有更好武器，就能夠橫掃華夏大地的武裝力量。
他和小林秀說道：“三天後撤兵，把能夠搶回去的東西全部帶走，還有明人百姓，能殺的都殺了，讓明人皇帝哭去。”
得到屠殺令的東瀛軍隊，當天晚上在軍營附近大肆燒殺，方圓五十裏幾乎無人生還，三天以後，山本上彬下令撤退，但是撤退路線卻產生分歧。
小林秀認為可以從潯州府南部往北撤退，打穿潯州府城池，消滅明軍守衛力量，和在梧州度渡邊武旅團彙合，這個建議被山本上和青木十三抵製，他們早就和渡邊武形同陌路，怎麼會去梧州府和渡邊武會師呢？
隻有第三師團參謀長不說話，自從阿部大臣來了以後，他就這個參謀長，成為沉默的軍官，不管是軍事會議，還是阿部大臣組織的私下宴會，他都是沉默寡言，山本上彬也巴不得他這樣，讓他成為一個可有可無的參謀長。
山本上彬咋出征以前，被阿部忠秋任命為這一次作戰總指揮，小林秀要接受他的指揮，他見山本上彬不同意，隻好聽從山本上彬的軍令。
山本上彬撤退計劃，是帶上搶來的物資，順著進攻南寧府的路線撤退，這條道路是東瀛人軍隊最熟悉道路，小林秀因為不同意山本上彬計劃，被山本上彬任命為開路前鋒，帶領第四師團將士在全軍最前頭，山本上彬心想，遇到明軍突襲，也有第四師團在前麵頂著。