原來鑒真乘坐的軍船行到桑石山附近，由於風力太大，船員欲靠岸稍等，可岸邊有許多礁石，無法停靠，剛要離開岸邊，還是撞上了礁石。軍船被礁石撞破，海水滲入船艙，船身迅速下沉。船員一看無法搶修，隻好呼喊大家迅速撤離。於是思托等人扶著鑒真，乘著備用的小木伐漂到附近的一座荒島上。
軍船和船上大量物品被無情的海水卷走。鑒真
痛惜萬分，慨歎不已。眼下雖然暫時擺脫了危險，可一百八十多人赤手空拳，沒有糧食，沒有淡水，在這小小的荒島上還不得渴死餓死。
一天過去了，大家在饑寒交迫中苦熬。兩天過去了，狂風依舊，海上依然沒有漁船的影子，三天過去了，一行人仍然困守孤島。
“南無觀世音菩薩！南無觀世音菩薩！”一聲高過一聲的呼喚，使每一顆冰冷的心重新溫暖起來，極大地增強了他們擺脫絕境的信心。
第四天，狂風終於停了下來，海麵上出現了漁船。
眾人如獲救星，齊聲呼叫。漁民發現島上有遇難災民，便前來相救。可漁船狹小，一百八十多位災民如何營救，於是漁民們一方麵用小船運來淡水和糧食，一方麵將此情況報告給當地巡海官兵，巡海官兵探明情況後又報告給明州（今寧波）太守。
如此輾轉拖延，又過了五天，明州太守派人駕大船把鑒真等人從荒島上救出，十七位僧人被安置在明州東五十裏處的阿育王寺，而其他人員大部分被遣送回鄉。
第二次東渡失敗了。
阿育王寺是明州最大的一座寺院。因寺內有一座阿育王塔而得名。傳說佛祖滅度之後，印度護法名王阿育王為弘揚佛法，派人在世界各地建造了八萬四千座塔，均名阿育王塔。明州能有這麼一座寶塔，自然吸引了四方信眾前來禮拜，所以，這裏香火一直很旺。
鑒真與日僧榮睿、普照及隨行弟子們商定，以阿育王寺為基地.繼續籌備東渡事宜。
鑒真住進阿育王寺的消息很快便傳開了。附近各寺院紛紛請他前去講經弘法。天寶三年（744）春，鑒真受聘到明州附近的越州（治所在今浙江紹興）龍光寺講律受戒。接著，杭州、湖州（今浙江吳興）、宣州（今安徽宣城）等地的佛寺紛紛邀請鑒真前去講經弘法，傳律受戒。鑒真一方麵認為這是弘法之必要，另一方麵也私下籌集東渡的費用和物資用品並進一步搜選各類工匠等東渡人員，所以他便欣然接受邀請，依次巡遊各地，最後又南下明州阿育王寺，準備第一三次東渡。
鑒真準備東渡的消息首先在越州走失了。當地僧侶不忍心讓如此德高望重、學識淵博的高僧遠赴日本，便紛紛前來勸阻。然鑒真心意已決，榮睿、普照兩位日僧又一再懇請，眼看阻擋不住，當地僧人便上告州官，說日本僧人榮睿誘騙鑒真大和尚偷渡日本。州官認為這是違法的事，便立即派人捉拿日僧榮睿和普照。
消息傳到鑒真那裏，鑒真深感意外，匆忙派人通知日僧隱藏。普照聞風後藏在野外的一處小廟，榮睿躲在一位居民家裏。官府挨家挨戶地搜查，榮睿終於被抓住了。由於此事涉及外國事務，州官不敢擅作處理，他們便給榮睿戴上枷鎖，準備押往京師。鑒真因為是名揚四海的高僧，州官隻好囑其不要再聽信日僧誘騙就行了，手下弟子們也被允許與鑒真繼續住在阿育王寺。
榮睿再次被捕，鑒真心裏十分難過。榮睿被押往京師這天，鑒真率弟子前來送行。榮睿身著枷鎖，麵色憔悴，看見鑒真，禁不住滾下兩行熱淚。鑒真緊緊地握住榮睿的手，小聲而非常堅定地說：“我們一定等你回來！你一定會回來的！”榮睿悲喜交加，含淚點頭，默默地告別了鑒真大師。
第三次東渡就這樣又失敗了。
六 四渡受阻五渡漂迷
天寶三年深秋，冷風習習，落葉蕭蕭。明州阿育王寺籠罩在灰蒙蒙的雲霧之中。
清晨，鑒真早早起來，誦佛禮佛之後，獨自一人走出山門之外。群山如黛，陰雲迷漫，隻有山間那溪水依然嘩嘩地流淌著，為這凝重的秋色注入了一絲活氣。
大海早消失在視線之外，可鑒真心裏清楚，他離大海不遠。身邊的溪水不就是流向大海去了嗎！草木土石均擋不住它的去路，可自己的出海卻為何這般難呢？回想起三次東渡的挫折，鑒真不禁感到陣陣酸楚。一月前，榮睿披枷帶鎖被捕役押走的情景又浮現在眼前。“榮睿啊，你早點回來吧！”
過了一會兒，思托、祥彥、法進等弟子來到鑒真身邊：“師父，天這麼冷，您穿得如此單薄，快點回去吧。”
鑒真長歎一聲道：“榮睿為請我們東渡弘法，屢遭牢獄之災，如今他被押北上京師，那裏天氣更冷，不知是否增添了禦寒的衣衫？”說著，鑒真又舉目凝望遙遠的北方，可淚水已模糊了他的視線。