下屬聯隊長請求渡邊武追擊明軍，渡邊武搖搖頭，下令全軍撤退到蒼梧城，在蒼梧城固守待援，這和阿部大臣製定的計劃完全不同，雖然阿部命令渡邊武佯攻廣西，可是渡邊武此番下令放棄進攻，全軍退守蒼梧城，阿部大臣知道以後，會不會撤掉渡邊武的旅團長。
渡邊武毫不客氣在下屬麵前，大罵阿部大臣狂妄自大，以為有新式武器就可以橫行？
之前三個聯隊被明軍殲滅，他認識到明軍陣中也有戰術高手，可以看到帝國軍隊的缺陷和命門，阿布大臣和師團長仍舊像個瘋子一樣，以他的第五旅團為誘餌進攻梧州府，主力部隊卻偷襲南寧府，這樣的戰術不是不可以，而是根本沒有必要。
他認為以第三師團和第四師團集結在一起，完全可以橫掃廣西，將永曆朝廷殲滅，隻要殲滅明人有生力量，明人就組織不起更多的軍隊，帝國就可以在事實上統治廣東，廣西兩個省份，而不是兵分兩路，和明人玩起聲東擊西的戰術。
他非常擔心明軍中會有人看出阿部大臣的戰術，在進攻南寧府的要道上設下伏擊，雖然帝國軍隊有強大的武力，但是每死掉一個士兵，就少一個士兵，等到下一次補給還要很長時間。
渡邊武帶著部下垂頭喪氣回到蒼梧城，一路上沒有敢和他說話，劉武元等偽軍將領也一言不發，和他一起撤退到蒼梧城。
撤退到城中以後，渡邊武下令在蒼梧城修築要塞，他有想把蒼梧城打造成一座大型要塞的計劃，劉武元不明白他為什麼要這麼做，渡邊武也不好和劉武元說起他的擔心，他擔心在福建的阿部大臣和第四師團會遭到福建明軍突襲，而進攻南寧府的第三師團也會折戟南寧府，到時候，蒼梧城將會成為帝國在華夏最後一個堡壘。
他下令一半士兵撤回到廣東，將在廣東東部州府糧草全部帶到蒼梧城，爭取城內的糧草，可以支撐一萬餘人軍隊至少三年，渡邊武頗具眼光，可是下屬劉武元等為軍將領卻有些看不懂，既然看不懂，偽軍將領就有些嘀咕，莫非東瀛人要敗了？
劉武元和胡有升兩人也是精明，明麵上從來不說這些，暗地裏卻通過部下傳話，將渡邊武在暫二師團中的教官蒙在鼓裏。
渡邊武部固守蒼梧城，秦楚得到這個消息以後，也做了一件讓部下看不懂的事情，秦楚放棄增援古江口，而是帶領第一梯隊追擊馬吉翔和王化澄的部隊，這兩路兵馬已成驚弓之鳥，一日數驚，在撤退到潯州府途中，大量將士逃亡，逃亡的將士被第四師和第五師收編，等他們撤退到潯州府邊境，馬吉翔部還剩下兩千餘人，王化澄部還有三千餘人。