大化革新後，日本政府不斷地派出使臣，到中國的唐朝來。起初每次是百人左右，到公元8世紀初，人數大大擴展，達到好幾百人之多。其中有大使、副使、留學生、僧人、醫生、商人以及水手等。因為是派遣到中國唐朝去的使臣，所以稱“遣唐使”。
一千二百年前，要橫渡波濤洶湧的大海並非易事。風暴經常使航船傾覆，或者把它們吹到台灣甚至越南等地。遣唐使的船隊先沿著日本海岸航行，最後在九州北部開始橫渡大海。早期的路線是向北到朝鮮半島附近，經渤海在中國山東北部上岸。後來就直接西渡東海，在中國大陸的揚州和寧波登陸。
公元717年3月，滿載遣唐使的“四舶”（日本詩歌中四艘航海大船的簡稱）大船從日本難波港揚帆出航了。這是日本派出的第八次遣唐使，包括水手在內有550多人。他們取道南路航線，征服了東中國海的萬頃波濤，平安到達長江口，然後輾轉西行。當他們被迎入長安城的時候，已經是九月以後了。
在這次遣唐使中，有許多日本留學生。16歲的阿倍仲麻呂，由於勤奮好學，才華橫溢，被選為留學生，來到了長安城。這時作為東亞中心的唐朝，經濟繁榮，文化發達，被視為世界的中心。年輕的仲麻呂走在長安大街上，看到那輝煌的宮殿，喧鬧的店鋪，整潔的書坊，心中有說不出的高興。很快，他進了“太學”（中國古代的高等學府），開始了學習生活。先識字，後學詩作文，同時閱讀儒學經典。
經過五六年的苦學，仲麻呂完成學業，參加考試。參加考試的不僅有中國人，還有很多從“太學”畢業的東方和西方留學生。考試題目很難，想不到這位年輕的日本留學生競能捷足高登，以優異的成績考中了進士。
從此，仲麻呂開始擔任起官職，為唐朝政府工作。他先是在皇太子李瑛的書房裏任司經局校書（圖書管理員），並陪同皇太子研習學問。此後，又擔任了左拾遺（諫官），並被破格提升為左補闕。左補闕是皇帝的侍從官，因此，他可以經常見到皇帝唐玄宗。
唐玄宗很欣賞仲麻呂的才學，給他起了個中國名字：晁衡。
一個名叫真備的日本留學生來看望仲麻呂，一見麵就說：“你真是官運亨通啊！升了左補闕，又蒙皇上賜名。不過，我勸你還要研究研究文學。不懂文學，在長安吃不開。聽說皇上就酷愛音樂，還會做詩呢。”
“是的，”晁衡沉思了一下說，“我過去喜歡和歌，來唐以後，對漢詩也喜歡起來了。”說著，他便津津有味地談起和當時的大詩人李白、王維、儲光儀交往的情形，還拿出一大疊和他們唱和的詩篇來請教真備。
“啊，你真了不起，我應當拜你為師！”真備一邊欣賞，一邊讚不絕口。
後來，真備刻苦學習，虛心請教，也身通六藝（五經，三史，明法，算術，音韻，書法）；他的勤奮好學，在長安城中同樣被人們交口稱頌。
歲月易逝，晁衡在中國不覺度過了40年。他的學友真備回國以後，又隨日本第十次遣唐使來到中國。這時，晁衡已經升任秘書監的高官。當真備來到的消息傳到他耳朵裏的時候，他再也控製不住長期深藏在內心的思鄉之情。以往，他多次提出回國的要求，但唐玄宗沒同意。因此，每當花好月圓的時節，他總是獨自吟誦這樣兩句話：“舉頭望長天，明月可在三笠山（日本山名）。”