高建勳道：“兄長，不要再多說了，宋軍偷裘大理城，人馬一定不會多，我們趕快集合人馬，明天就趕回去複奪大理城，一定還來得及。”
高繼能也道：“父親，二叔說得對，我們應該馬上回軍，明天都晚了，應該今天連夜就回兵。”
他們二人的妻兒老小都在大理城中，高建勳是目前高氏的二號人物，家裏也是妻妾成群，兒孫滿堂，就連高繼能年級輕輕，以經娶了四房夫人，生有一男一女。因此一聽說大理城被宋軍拿下，兩個人都惦記大理城中的家人，因此都急著要回軍去複奪大理城。
這時李全成也道：“高候爺，我看高將軍和少君候說得沒有錯，恁還是趕快領軍回去複奪大理城吧，這裏就交給我們交趾軍，來抵抗宋軍。”
但高建銘沉默了半響，終於搖搖頭，道：“不行，我們不能回軍。”
這話一說，在場的人不禁都有些愕然，高繼能猛地站了起身，道：“父親，你這是怎麼了，為什麼不能回軍。”他的第四房夫人才娶回家不足一年時間，嬌媚動人，兩人正是打得火熱的時候，一聽宋軍占了大理城，他從裏就向著了火一樣，恨不能馬上飛回大理城去趕走宋軍，奪回妻兒。因此聽高建銘說不能回軍，立刻就忽不往了。
高建銘向他搖了搖手，示意他稍安勿燥。道：“你們想過沒有，我們這次出兵並沒有帶多少攻城的器具，而大理城有大理最堅固的城牆，就算我們回軍去救大理城，在短期內恐怕也無法攻下大理城。而且這些士兵的家小大都在大理城中，如果宋軍在城上押著他們的家小在城上，誰還肯用心去攻城。”
其實高建銘在大理城裏也有十幾房妻妾,還有三個兒子和六個女兒,他心裏又何償不掂念他們，還有他多年積攢下來的財產。但高建銘畢竟也有幾分嫋雄之姿，知道在這個時候千萬不能感情用事，否則絕對是一敗塗地。頓了一頓，又道：“何況宋軍也絕不會任由我們去進攻大理城，就算有太子殿下在這裏和宋軍對持，以楊炎的用兵，一定會用騎軍去襲擊我們，一但我們在大理城下久攻不下，再遭到宋軍的偷襲隻怕就有全軍覆沒的危險。”
“可是……”高繼能也不是不懂事的人, 聽父親這麼一說心裏也明白了，知道現在回兵大理城也隻能是死路一條,但心裏總是有些舍不得。
這時高建勳道：“繼能，你不用多說了，兄長說的沒有錯，現在絕對不能回軍，不是我們不回去救他們，而是回兵也是死路一條，到還不如留下來將來為他們報仇。”然後又對高建銘道：“大哥，成大事者不能拘泥於小節，留得青山在，不怕沒柴燒，我們絕不能回軍大理城，不過下一步該怎麼辦？”
高建銘緩緩道：“現在宋軍勢大，楊炎又善於用兵，我們不易和宋軍硬拚，我看先退守景朧保存實力，如果實在不行，還可以退到支趾去暫避一時。宋軍遠路而來,不可能留在大理不走，一但宋軍離開了大理，我們還可以在卷土重來。”
其他人聽了也覺得高建銘說的有理, 然後又看向李全成, 顯然是等他表態, 因為撤到交趾去不是由高建銘說了算, 還要看交趾是否願意接納他們。
李全成道:“這樣也好，我們交趾與高候爺一向關係良好，歡迎高候爺到交趾去暫免一時。”
高建銘點點頭，道：“笫一，現在大理城被宋軍占領的消息絕對不能公布，否則軍心就會大亂，笫二，事不遲疑，我們收拾一下，明天就走。”
第二天，高建銘立刻叫來自已手下的兩員大將陳覽和丁昌文，假意說自己要返回大理城去招集人馬，讓他們領人馬在禮社江與宋軍對持，最多隻要十天，自己就會領援軍回來。這兩人當然不知道大理城以經被宋軍攻取了，還信以為真，雖然覺得招集援兵的事情似乎不該高候爺親自去做，但也沒有多想，隻是尊令行事。
到了當天晚上，高建銘、高建勳、高繼能以及交趾的李全成和眾將一齊連夜出營，向交趾方向逃去。
交趾和高氏聯軍一共出動七萬多人馬，前幾天雖然打了一場敗戰，象軍雖然傷亡較大，但人馬到沒有多少損失。不過高建銘知道，自已人馬雖多，但大多都是新兵，這一次逃亡交趾應該盡量少帶人馬，而且這裏也不能少留人馬，引起宋軍的懷疑。因此隻挑選了一萬五千精銳後人馬，連同交趾的一萬五千人馬，還有剩佘的二百多頭大象，一齊上路了。