大敗之後的盧循一路南逃，沿途收拾殘兵敗將，勉強又湊起數千人，趕往始興。到始興見到從番禺逃來的父親盧嘏和長史孫建之等人，才知道廣州已經丟了，氣急攻心的盧循隻帶著老父，拉上隊伍去反攻番禺。稍後，與盧循跑散了的徐道覆也帶千餘殘兵逃到始興，閉城據守，正好給盧循斷後。
在他們身後，劉藩與孟懷玉的追兵正沿贛江南下，一路追來，於義熙七年（公元411年）正月越過南嶺，圍攻始興。隨後，已平定廣州各郡的振武將軍沈田子聽到消息，率部趕來與劉藩、孟懷玉會師，共攻始興。說來也巧，他在路上與正南下的盧循擦肩而過，竟彼此都未發現對方。盡管兵力懸殊、士氣低落、外援斷絕，但徐道覆不失為名將，仍咬牙堅持了近一個月，直到二月五日，始興城才被攻克，徐道覆被斬，不過他也為盧循贏得了一個月的逃命時間。
假如盧循把這一個月時間用來逃命，像後來的明朝海盜們常幹的那樣，泛舟東南亞，去欺負當地土著居民，說不定還有一線生機，可他偏偏還想要奪回廣州。因為當初劉裕派孫處、沈田子渡海遠攻時，隻給了他們三千人馬，打下番禺後又分了一大半給沈田子去攻取各郡，所以此時番禺的守軍實力非常薄弱。盧循部雖然是殘敗之師，但還是比守城的孫處部強大不少，而且五鬥米道畢竟在這裏經營六年了，再加上是宗教組織，還是有點根基的。所以盧循圍城後，又有不少當地教徒響應，連同原有敗兵，竟然又湊起萬餘人，雖是烏合之眾，但也可壯聲勢。因而就在始興城中的徐道覆即將覆滅之際，番禺城中的孫處也處境艱難。
攻下始興後，劉藩等人得知了盧循正在圍攻番禺的消息，在沈田子建議下，劉藩將兵力交付沈田子，讓他率軍南下救援番禺。晉軍援兵到達番禺郊外，盧循聞訊，忙統軍前來交戰。沈田子學韓信的戰術，背水列陣，大敗盧循。盧天師隻得率殘部沿鬱水（今珠江及其上遊西江、邕江、潯江）向西逃命。孫處與沈田子合兵一處，繼續追擊盧循，先後在蒼梧（今廣西梧州市）、鬱林（今廣西貴平縣西南）、寧浦（今廣西橫縣）三次打敗盧循。盧循部眼看要全被消滅了，不想孫處突發重病，晉軍返回番禺。得到這個喘息的機會，盧循又死裏逃走，南下襲占合浦（今廣西合浦縣東北），並從這裏乘船下海，進襲交州。
此時交州的當家人是還未接到正式委任狀的交州代理刺史杜慧度，一個才兼文武的厲害人物。
杜慧度的祖上原本是長安人，後移居交趾，到父親杜瑗這一代，平定地方叛亂，又打敗南方林邑國（統治今天越南南方的古國，又稱占城或占婆）的入侵，之後世代統治交州，成為半獨立的地方實力派。盧循占據廣州時，以為杜瑗可作為援手，曾遣使通好，結果杜瑗斬殺其使者，從此雙方結仇。