忽必烈欣然同意了趙良弼的要求，而且還十分慷慨地對他說道：“我給你三千兵馬路上當保鏢吧。”
“三千兵馬就算了，免得把人家嚇著。”趙良弼想了想說道，“我隻帶幾個隨從就行了。”
趙良弼清楚，憑三千兵馬能幹成什麼？詔諭不成的話這三千兵馬就能把人家日本給打下來？趙良弼是去搞外交的，搞外交帶多少人合適？照我說，要麼帶三十萬人去，要麼就帶三十個人好了。考慮到那個年代跨國旅行可坐不了飛機，乘不了火車，加之旅程漫長，還得有人在路上背糧食，扛行李，還得有幾個保鏢對付對付沿途的小毛賊，三十個人應該差不多了。
數日之後，趙良弼僅僅帶著24個隨從就出發了。加上後來高麗跟著去的陪臣、譯員、水手等等也僅百十來號人。
趙良弼一行抵達日本的時間各方記載都不相同。根據《元史》的記載，趙良弼使團於至元八年（1271）九月十九日抵達日本的金津岸邊，提前得到消息的當地武士在岸上列隊歡迎，咦，怎麼不太像是前來歡迎的隊列，每個人都扛著刀槍呢！趙良弼連忙登岸表明身份——休要動手，我們是來搞外交的。
這個金津是什麼地方呢？現在在日本倒是有一個叫金津的地方，不過在福井縣，也就是當時的越前國。顯然，趙良弼一行人所乘坐的船是在北九州靠岸的，並沒有到越前，所以我推測《元史》所記的“金津”應為築前博多附近的今津才對。
他們上岸的時候正好是晚上，既然是來搞外交的，那麼就請先到賓館休息一宿，等天亮了再說吧。日本人把他們引到一間館舍裏住下。
住是住下了，可房子周圍整夜都有日本人大呼小叫，還夾雜著金屬碰撞的聲音，像是有人在舞刀弄槍。到底還讓不讓人睡覺了？隨從們都很慌張，這些野蠻人什麼事情都幹得出來，他們不會是要放火燒房子吧？眾人之中，唯獨趙良弼很淡定，“凝然自若”。
天亮了，使團一行驚恐地發現他們已經被全副武裝的日本人團團圍住了。
“你們就是這樣對待大國使者的嗎？日本不是自稱素知禮儀的小中華嗎？”趙良弼雖是文臣，但他的血管裏流淌著的是武將世家的血液！
其實他不是第一次麵對這樣的死亡威脅。那年他還是陝西參議，有個叫費寅的四川人誣陷陝西四川宣撫司的宣撫使廉希憲和宣撫副使商挺蓄謀反叛，還把趙良弼拉出來說他可以作證。忽必烈把趙良弼喊去問話，趙良弼一聽這事，眼淚就下來了，說道：“我和廉希憲、商挺共事多年，兩人都是久經考驗的好同誌啊，絕對沒有這種想法，你不信我可以把心挖出來給你看。”忽必烈沒有殺他，可也沒有完全相信他的話。到後來，益都行省李璮暗通南宋反叛失敗被殺，從其嶽父王文統家中搜出與廉希憲、商挺的往來書信以後，忽必烈更對廉、商二人有心反叛深信不疑。趙良弼卻還是“不識時務”地幫二人說話，正在氣頭上的忽必烈真想割掉他的舌頭。趙良弼到這份兒上了還是不改口，哪怕是死也一口咬定廉、商二人是大大的忠臣。忽必烈不信任廉、商二人，但絕對相信趙良弼的忠誠。一個對自己如此忠誠的人哪怕豁出性命都要保護的人會背叛自己嗎？至此，忽必烈終於相信了他的話，殺掉了誣告者。
那一次如果被忽必烈殺掉顯然是屬於冤死，冤死尚且不怕，難道還會怕你日本人搞這樣的小動作？我是抱著必死的決心來的，要殺要剮就來吧，雖死無憾，死得其所！
“既然是通使，那麼請把國書給我吧。”掌握大宰府實權的少弍資能說道。
“必須要見到你們國王以後我才會拿出來。”趙良弼的態度很堅決。
“自古以來，所有的外國使者就從來沒有一個人到過大宰府以東，現在你們來了不把國書拿出來，我憑什麼相信你能夠代表皇帝？”少弍資能也很堅決。
“隋文帝派裴世清來，你們國王曾經親自到郊外迎接，唐太宗、唐高宗的使臣也見過國王，你們單單不見我朝的使臣嗎？”顯然，趙良弼來之前沒少做功課。
大宰府始終不放趙良弼一行東行上京，隻是三番五次地到使團住地索要國書正本，甚至不惜以武力相威脅，還放出狠話說：“大將軍派兵十萬來求書如何？”對此，趙良弼仍然很堅決：“不見你們國王，就是把我頭砍了，國書也不會給你們。”少弍資能說不過趙良弼，也沒有別的辦法，而且隨著接觸次數的增多，反而越發地敬重起趙良弼的為人來，用《元史》的話來說是“太宰官愧服”。
另一方麵，日本方麵對趙良弼這種趕不走、殺不得，還拒不交出國書，執意要見國王的人也頗為頭痛。如何處置他們？意見分歧非常大。有人說，你們瞧趙良弼那一夥人每日徘徊於築紫沿海偵察軍事要地，船舶港灣、海岸險易、紮營地點、進退路線等等，可謂無微不至，又常刺探當地軍政情況，活躍得很啊，如果不想予以答複的話，逐回使節等於是放虎歸山，幹脆把他們全砍了，一了百了。