1977年5月初，由海軍J101號、J503號打撈船，交通部上海救撈局滬救3號打撈船組成的打撈作業船隊正式進駐牛山島以東作業海域，交通部與海軍共同成立了打撈作業現場指揮部，統一實施對打撈作業的指揮，雙方還進行分段打撈分工。海軍派出的艦艇巡邏編隊隨即也抵達了作業區現場，並展開了對作業區的巡邏警戒。中國政府有關部門對外發布消息和航行警告，宣布在牛山海域打撈阿波丸沉船。
這一消息驚動了世界，因為許多國家認為中國根本沒有能力進行打撈阿波丸，
但中國人有信心有誌氣，實踐證明，不僅圓滿完成了打撈阿波丸的任務，而且實際作業時間比美國計劃的所需有效工作日還少。
打撈阿波丸沉船開始後，先是清理纏在沉船上的魚網，僅清理出來的魚網就有2噸多重，這個龐然大物長期躺在海底，對過往拖網漁船生產作業帶來了嚴重危害。然後進行了淤泥清除，共除泥12291.5立方米。
打撈的進展和結果，每天晚上20時由海軍東海艦隊作戰值班室上報海軍作戰值班室，由海軍作戰值班室報總參作戰值班室，逐級上報到guowuyuan和zhongyangjunwu首長。
海軍將打撈阿波丸工作作為大事來抓，有關涉及到打撈阿波丸的兵力組織和巡邏警戒等工作都由海司作戰部負責，作戰值班員在每日的作戰交班時，將打撈阿波丸的情況專項向參加交接班的海軍、海司首長彙報。
交通部、海軍、福州軍區、福建省各級領導對打撈阿波丸工程十分重視，各級領導紛紛深入平潭縣慰問打撈的海軍官兵和救撈局職工。福建省平潭縣委、縣政府大力做好支前工作，部隊需要什麼，他們就解決什麼，打撈現場作業和擔負巡邏任務的幾千名官兵和工人同誌的主副食品和蔬菜供應，住宿、道路交通等問題都在平潭縣委、縣政府的協調下得到了很好的解決。
後方大力支援前方不畏艱險！
進入打撈作業的第二年，即1978年9月中旬，牛山現場打撈作業停止，打撈部隊撤至平潭娘宮休整，準備返回駐地歸建。
1978年9月16日，海軍第一副司令員劉道生中將親自到平潭縣慰問打撈和護航海軍官兵及上海救撈局職工、平潭縣委、縣政府，同時遵照劉道生副司令員的指示，海軍文工團抽調舞蹈、歌劇、話劇以及海軍一些著名歌唱、相聲演員組成慰問團，於9月15日乘海軍安—26型飛機飛抵福州，赴平潭進行慰問演出。
作為劉道生副司令員的隨行人員之一，於9月16日隨劉副司令員到達福州，專機於早晨7時由北京良鄉機場起飛，約12時到達福州。當日下午福州軍區楊成武司令員、李誌民政委在梅峰賓館會見了劉道生副司令員，並與劉副司令員進行了座談。9月17日，福州軍區何雲峰副政委，軍區司令部副參謀長王建行陪同劉副司令員到平潭。海軍文工團在平潭連續進行了3天的慰問演出，受到了部隊和地方人民群眾的熱烈歡迎和好評。
中國各省市有關部門大力支持打撈阿波丸船工作，組織進行科研攻關，海軍醫學研究所研製的潛水減壓表超過了世界先進水平，並完成了11次氮氧飽和潛水模擬實驗，填補了中國氮氧飽和潛水的空白，培養了第一批飽和潛水員。
上海市有關部門研製的20種救撈設備，變水下人工撈貨為水麵機械撈貨，在打撈中發揮了很大的作用。阿波丸號船沉沒海域水深都在45米左右，打撈海域處於台灣海峽，風大浪高、流急，海況非常惡劣，每年隻有當年的5月份至9月初的4個月可成為作業時間，因此“搶時間，爭速度”成了打撈隊主要戰鬥口號。
海軍司令部的防救部工程師鄧光泉提出運用深水截體分段打撈沉船船首的吊船起吊方案，為以後利用吊船打撈沉船提供了經驗。
9月上旬東北季風起，牛山海域惡浪滔天，打撈船隊隻得撤回，待次年5月份重新進場。同時福建海域5月至9月，又屬台風高發生期，每一次台風來襲，打撈船隊隻得撤回港內避風，台風過後重新回到牛山海域布場打撈，因此打撈作業非常辛苦，許多同誌生病，甚至有的同誌犧牲在打撈現場。
“阿波丸”現身5噸黃金，其餘下落不明！
四年來，參加打撈工程的海軍官兵和救撈局職工勇闖潛水禁區，取得了令人鼓舞的成績，海軍J101號，J503號船，上海救撈局滬救3號船，共有600多名潛水員參加了水下作業，各船平均作業332天，共潛水3604人次，水下切割2379.1平方米，水下爆破650次，撈起錫錠、橡膠、水銀、铌鉭、雲母、光化玻璃等物資共5418噸，總價值5000多萬元人民幣。另外還打撈起日本人的屍骨368具，由中國上海市紅十字會交還給日本紅十字會。