留下這三人之後，袁方於啟三年五月十二日，帶著他的人馬離開了香山澳，前來送行的有番禺知縣張國維和香山縣的李氏兄弟，袁方每人送了三百兩銀子，以感謝他們的幫助。
袁方第一站來到了陽江，此時，鄧士亮已經在陽江等候著，據盧象升介紹，鄧士亮打撈紅夷大炮實屬不易，在這個時代，還沒有潛水設備，鄧士亮完全依靠人力探測出了沉船的具體方位。一開始想把整條船都打撈上來，由於“獨角獸”號實在是太大了，他們試了好幾次都沒有能力把船打撈上來，後來拋棄了整船打撈的想法，派人下水去把船上的紅夷大炮一門一門地打撈上來。
就是打撈紅夷大炮也很不容易，鄧士亮先在船上裝滿了巨石並設置車絞裝置，裝巨石是防止打撈船側翻，然後再將長繩一端係在車絞裝置上，另一端係住水下的紅夷大炮，利用浮力慢慢把大炮打撈出水。
當時海上打撈經驗極少，鄧士亮仿照曹衝稱象的辦法打撈大炮，非常機智。
袁方大大地稱讚了鄧士亮一番，並獎賞了他五千兩銀子。
得到了紅夷大炮，現在可以啟程了，袁方把運送紅夷大炮的具體任務交給了高世寧，因為高世寧是兵部車駕司的官員，他有權調動沿途的地方車馬和人力。
這個時代的道路是十分不好走的，不像後世那樣有高速公路，所以備足幹糧是必須的，籌糧的任務就交給了太監劉榮去辦，劉榮也早做了準備，所以在出發前，劉榮就在陽江籌足了一個月的糧草。
因為袁方是公差，所以糧草也不用自己掏錢，而是由地方上免費供給。
三十六門紅夷大炮，雖然在海底浸泡了兩年，經過火炮專家方斯穀和安尼的查驗，依然還能使用。
高世寧在陽江調集了四十輛大車來裝運紅夷大炮，原本三十六輛大車就夠了，高世寧不放心，所以多要了四輛大車以備不時之需。
兩廣總督何士晉雖然去了梧州督戰，他也沒有忘記給袁方派一隊衛兵，這一次袁方走陸路回京，負責警衛的是韶州府的五百精壯，這隊人馬接到命令星夜兼程從韶州府趕來陽江。
袁方心想，這位總督大人也不怕折騰，命令五百人從韶州府過來，再把他們接過去，還不如讓陽江的守軍護送去韶州簡單得多，不過這是何士晉的一番心意，袁方也就不好什麼。
此地去韶州府大約四五百裏地，馬車拉著沉重的紅夷大炮走不快，雖然行走的是官道，他們在路上也花去了十多。
這一，他們終於看到了一座寺廟，這座寺廟就是距離韶州府還有二十裏地的南華寺。
這座寺廟在南朝的監三年建成，在元末，這座寺廟三遭兵火，頹敗不堪，眾僧日散，祖庭衰落。萬曆二十八年寺廟主持憨山禪師大力中興，使得這座寺廟僧風日盛。