9月27日，日本政府派出了由外務省，公安調查局等官員和法醫，DNA鑒定專業的專家11人組成的調查團，到朝鮮進行實地調查，其中包括與生存者見麵、驗明正身、調查死亡者的死因和察看他們的埋葬地點等。對於在朝鮮死亡的5名日本人，應日方的要求，朝方提供了包括骨灰在內的遺留品的調查結果。誰知日方竟稱朝方提供的調查結果中存在諸多疑點，如數名被綁架者死亡日期和地點相同，朝方提供的死難者遺骨經不起DNA檢測等。
為了協調政府內部的行動，日本政府內閣成立了關於解決綁架問題的專門幹事會，由安倍晉三任議長。從此，日本政府有關綁架事件的決定大權就落入安倍晉三官房副長官手中。我們可以明顯看到，從那以後朝日關係江河日下，原有的一些關係改善勢頭也全部都被扼殺了。
在越來越高的反朝聲浪中，10月15日，按照朝日會談的約定，日本政府專機又一次直飛平壤，迎回了5名“被綁架”生存者。安倍晉三雖然沒有搭專機到平壤去迎接，但是他與綁架家屬一起，在東京羽田機場停機坪等候專機返回。
這是朝日雙方政府協議確定的項目，這5名“被綁架者”是短期回日本探親的，日本政府也明確說是回國探親10天左右。日本外務省《關於被朝鮮綁架日本人問題》的小冊子上至今還明確寫著：“綁架受害者5人回國探親”。在這5人來日本的前一天，安倍晉三還和家屬見麵，告訴他們“5個人在日本大約住兩星期，27日再用專機將5個人一起送回朝鮮，頂多延長1天。”至少可以說明日本政府，或者說是安倍晉三在邀請綁架受害者回日本之時，還是願意遵守日朝政府間協議的。但是，5個人回到日本後，有人擔心國民會覺得綁架事件就此解決了，安倍晉三也在當天的記者會上強調“綁架事件沒有落下帷幕，這隻是第一步，還有第二步，第三步。”在以“家屬會”，“救援會”為代表的政治勢力和以安倍晉三為代表的強硬派勢力的主導下，日本政府開始謀劃留住這5個人。關於當時的情形，安倍晉三在他的《美麗的日本》一書中是這麼描寫的：“10月23、24日，在我的官邸辦公室裏連續商討了兩天，大家討論了很多問題……最後是我做出決斷，作為國家意誌，不讓這5個人返回。這一方針立即得到了小泉總理的讚同，成了政府的決定。”這裏他隱瞞了一個重要情節，圍繞這一問題，他與自己的頂頭上司官房長官福田康夫發生了正麵衝突。10月24日，當福田康夫得知安倍晉三準備以政府名義對外宣布不讓這5個名探親者返回時，就急忙把他叫來，當麵質問他：“你有什麼權力這麼做？”但是，安倍晉三告訴他說，小泉首相已經同意了。福田康夫隻得認輸。
安倍晉三安排由“家屬會”首先發難，向政府要求：“不把這5個人送回朝鮮，”理由是：“一旦返回平壤，什麼時候再能來日本就沒有保證了。”政府再次以尊重民意為借口，正式宣布將這5人留下。然後，安倍晉三和專門負責綁架問題的內閣參事中山恭子一起，對歸國者進行挨家挨戶的走訪，做工作，名為聽取他們的意見，實際上是施加壓力，迫使他們自己說出不願返回朝鮮。這5個人都是有家的人，孩子還都留在朝鮮，有的出來時連到哪去都沒有告訴孩子，他們當然希望能按計劃回去與孩子團聚。看到這一情況，安倍晉三又提出如果回日本永住，政府將為他們解決就業、就學、住房問題，還提供包括厚額生活援助金在內的援助，進行進一步說服。在家屬和政府的說服和動員下，5名受害者終於被打動了，同意將孩子接到日本來團聚。