十月十六日一大早。鑒真突然對大家說：“昨夜我夢見三個官人，一個穿紅衣服，兩個穿綠衣服，站在岸上向我們拜別。這一定是國神與我們告別，我們的行動國家已允許了，今天肯定可以東渡了。”
說來也巧，一會兒，果然刮起了順風。於是，等待一月之久的木船再次起錨開航，向頂岸山進發。到中午時，東南方向出現了高山，大家以為頂岸山到了，水手們揚帆直駛而去。可是，忽然間眼前那鬱鬱蒼蒼的高山卻不見了。原來，那隻是一種積聚的蜃氣，它預兆著一場大颶風即將來臨。但鑒真一行不了解這種情況，所以繼續航行，船離暑風山越來越遠，慢慢地漂向大洋之中。
一會兒，海上便刮起大風。黑雲遮天，狂風怒號，浪高波峻，濤聲如雷。傍晚時分，風浪更大，船像一片樹葉，一會兒被拋向浪巔，一會兒被埋入波穀。船上的人都被顛得昏昏暈暈，力不能支，大家齊聲念誦觀音聖號。可水手們卻大聲喊道：“船就要沉了，快把貨物扔下海去！”於是幾個水手拿起棧香籠就要向海中扔去。
這時忽聽空中傳來聲音：“不許扔！不許扔！”水手大吃一驚，立即放下手中的棧香籠，其他水手也不敢向海中扔東西了。
又過了一會兒，水手突然驚喜地對大家說：“大家都不要再擔心了，有四位神王，身穿鎧甲，手持長杖，其中兩位在船頭，兩位在船側，他們全力守護著我們！”
眾人一聽，心中頓時安穩下來，再看鑒真，此刻依然靜坐在船頭，雙手合掌，口裏念念有詞。
第三天，船漂到蛇群出沒的蛇海，各色各樣的蛇，身長一丈多，小的也有五尺左右，在海麵上遊來遊去。
接著，船又駛進飛魚海，銀白色的魚都有一尺多長，不停地飛出海麵，在空中舞動。水手們不知船開到了什麼地方，隻好隨波逐流，在茫茫大海中漂蕩。
這一天，船開到一處海麵，飛鳥極多，這種鳥與人一般大小，許多鳥爬到船上，使得船的重量急劇增加，人們隻好用手去推，飛鳥就用嘴啄咬人們的雙手，幾經搏鬥才終於脫離了飛鳥海。
此後幾天中，除了狂風巨浪之外，再見不到任何東西。後來，船上又斷了水，人們疲憊不堪，飯無法去做，日僧普照便在每天的吃飯時候，給大家分發一些生米充饑。可是口幹舌燥，無法下咽，飲了海水之後，腹部又脹疼難忍。他們自出世以來，誰也沒有受過這樣的罪。
如此又熬了好幾天。這一日，海中出現了四隻金魚，船上人好像見到親人一樣，十分高興，因為好長時間，他們沒有看到過任何活著的東西了。又過了一天，風平浪靜，船穩了下來。可依然無水，人們都快要渴死了。一天早晨，榮睿突然興奮地對大家說：“我夢見一位官人請我為他受戒。我對他說，貧僧甚渴，想要水喝。那位官人便倒水給我。那水就像乳汁一樣，十分甘甜醇美。我又對那官人說，船上三十餘人已好多天沒喝過水了，他們極其饑渴，請施主盡早拿水給他們。於是，那位官人就叫來‘雨令老人’，請他火速給船上人送水。這個夢相說明，雨水就要來了，您們趕緊準備用碗來接。”
第二天下午，西南上空出現了一塊烏雲，當漂到船的上空時，忽然下起雨來。人們用碗接水，痛飲一場，頓時精神振作起來。次日又下了一場雨，人們才吃飽喝足，但水並沒有收集多少。又過了一天，船終於靠近一個海島。
至此，他們已在海上漂泊了整整十四天。
那時，已是冬季十一月份，揚州及日本一帶已是萬木凋零了。可這島上卻鮮花競豔，草木清新，完全是夏日的景象。他們感到十分奇怪。不久遇到了四位當地的商人，一打聽，才知道他們並未抵達日本，而是到了中國最南端的一個大島即今天的海南島。
第五次渡海又失敗了。
七 北上揚州屢遭不幸
鑒真萬萬沒有想到，在海上漂泊了十四天之久，他的船隻又回到了大唐的國土。
東渡沒有成功，他們卻陷入了荒夷蠻野之地。那時，海南島荒林遍野，雜草叢生，野獸出沒，人口稀少。更可怕的是各類海盜與陸上的土匪很多。這些人燒殺搶掠，無惡不作，使海南成為一個恐怖之地。他們在四位當地人的引導下，來到一個相對安全的港口，準備明日啟航。
誰知夜幕剛一降臨，便有一個披頭散發、手持利刃的強盜到船上來搶劫，大家趕緊送給他許多食物，他才走了。
鑒真一看這裏不是停泊之地，就叫船夫連夜起錨開船。
那四位當地商人正好想去振州（今海南省崖縣）作生意，便同船引路，往南而去。