船剛駛離舟山群島進入東海，不幸又遇到東北風，“風急波峻，水黑如墨”，又把他們吹向西南，全船隻有高念觀音（原譯觀世音菩薩，因避唐太宗李世民“世”字之諱，省稱“觀音”），大家紛紛把所帶之物拋向大海減輕船的重量，有的僧人把用一生心血抄寫的經文也投入大海後，痛不欲生，也隨之躍入大海同葬。船隻失去控製，在海上隨浪大起大落三天，“眾僧惱臥”，都暈船嘔吐不能起身。但是普照師父每日吃飯時，必拿出少許生米與眾僧充饑。船上已無淡水，嚼米，口、喉很幹，無法咽入，吐也吐不出，飲用少許海水就腹脹。
直到第七天，風暴小了些，又下了兩天雨，在船上接了些雨水，大家才稍微好過些。到第九天，船靠近一個小島，大家趕快登岸，找到了淡水，儲滿了水，繼續上船前進。在海上漂流14天，靠了岸，隻見到處樹木茂盛，鮮花盛開，原來風暴把他們從東海吹到了南海，他們已來到海南島最南端。接著抵達振州（今海南島崖縣——三亞），被地方官派兵把鑒真一行迎住城內大雲寺，在那裏住了一年。
以後，經萬安州（今萬寧）、崖州（今瓊山），過瓊州海峽，以後又在桂州（今廣西桂林）、海南郡（今廣州）等地停留，途中日僧榮睿因勞累過度不幸病逝於端州（今廣東高要），鑒真由於悲痛過度、辛勞、酷暑而眼睛發炎，最後雙目失明。始終追隨著他的忠實大弟子祥彥也因長年積勞成疾不幸逝於江西，這對鑒真來說實在是極為沉重的打擊。曆經三年的苦難艱辛旅程後，鑒真等最後經九江、南京回到了揚州。第五次東渡失敗了，這也是鑒真東渡過程中最慘痛的一次失敗。然而，鑒真並沒有灰心，困難不能征服他的意誌，隻能將他磨練得更加堅強，不達目的誓不罷休。
第六次東渡（公元753年十月至754年二月）鑒真東渡的意誌彌堅，他從海南島回到揚州後，不顧雙目失明的困難，繼續籌集文物準備東渡。
唐天寶十二年（公元753年）十月十五日，日本第10次遣唐使歸國前夕，遣唐大使藤原清河、副使吉備真備、大伴古麻呂和仕唐多年、曆任唐光祿大夫、禦史中丞、秘書監等職的日本留學生阿倍仲麻呂（漢名晁衡）等也準備回國，他們同到揚州延光寺參謁鑒真。
藤原大使說：“早聞大和尚曾五次東渡日本欲去傳教，今日得見，萬分榮幸，若大和尚仍有此願，弟子等有船四艘返日，應用物品俱備，不知肯同行否？”鑒真雖已66歲高齡，且雙目失明，但為了傳教授戒，為了中日人民的友好及文化交流，便應允了日方懇請。
鑒真欲再度赴日的消息在揚州傳開後，有關寺院為阻撓此行，嚴密防範。這時正好鑒真弟子仁幹從婺州（今浙江金華市）來揚州，密知師父將要遠行，遂暗中約定由他備船在江頭接候。十月二十九日晚，鑒真及弟子工匠等24人從揚州龍興寺潛行至江頭，迅即登船啟程，出大運河入長江，直趨蘇州黃泗浦（今江蘇省常熟縣黃泗，即黃歇浦）與日本遣唐使船隊會合。
鑒真帶去的物品有如來、觀世音等佛像8尊，舍利子、菩提子等佛具7種、華嚴經等佛經84部300多卷，還有王羲之、王獻之真跡行書等字帖三種。
在真人元開《唐大和上東征傳》中，對鑒真第六次東渡的航線、航期有如下記載：“天寶十二載十月二十九日戌時，從（揚州）龍興寺出至江頭……乘船下至蘇州黃恤浦（黃歇浦）。十五日壬子，四舟同發，有一雉飛第一舟前，仍下碇留。十六日發。二十一日戊午，第一、二兩舟同到阿兒奈波島（衝繩島），在多彌島（種子島）西南。第三舟昨夜已泊同處。十二月六日，南風起，一舟著石不動，第二舟發向多彌處，七日至益救島（屋久島）。十八日自益救發，十九日風雨大發，不知四方。午時，浪上見山頂。二十一日乙酉午時，第二舟著薩摩國阿多郡秋妻屋浦（川邊郡秋目）。”
臨行前，恐官府發覺，經卷有失，於十一月十五日鑒真一行分乘第二、三、四船。直到十一月十六日船隊啟航前鑒真才上了大伴古麻呂的第二船。駛入東海後，船隊被強勁的東北風吹散，第四船杳無蹤影，剩下的三隻船隻有奮力拚搏向前航行。十一月二十一日，第一、二兩船同到衝繩島，已在多彌島（今日本種子島）的西南。