大化革新后，日本政府不断地派出使臣，到中国的唐朝来。起初每次是百人左右，到公元8世纪初，人数大大扩展，达到好几百人之多。其中有大使、副使、留学生、僧人、医生、商人以及水手等。因为是派遣到中国唐朝去的使臣，所以称“遣唐使”。
一千二百年前，要横渡波涛汹涌的大海并非易事。风暴经常使航船倾覆，或者把它们吹到台湾甚至越南等地。遣唐使的船队先沿着日本海岸航行，最后在九州北部开始横渡大海。早期的路线是向北到朝鲜半岛附近，经渤海在中国山东北部上岸。后来就直接西渡东海，在中国大陆的扬州和宁波登陆。
公元717年3月，满载遣唐使的“四舶”（日本诗歌中四艘航海大船的简称）大船从日本难波港扬帆出航了。这是日本派出的第八次遣唐使，包括水手在内有550多人。他们取道南路航线，征服了东中国海的万顷波涛，平安到达长江口，然后辗转西行。当他们被迎入长安城的时候，已经是九月以后了。
在这次遣唐使中，有许多日本留学生。16岁的阿倍仲麻吕，由于勤奋好学，才华横溢，被选为留学生，来到了长安城。这时作为东亚中心的唐朝，经济繁荣，文化发达，被视为世界的中心。年轻的仲麻吕走在长安大街上，看到那辉煌的宫殿，喧闹的店铺，整洁的书坊，心中有说不出的高兴。很快，他进了“太学”（中国古代的高等学府），开始了学习生活。先识字，后学诗作文，同时阅读儒学经典。
经过五六年的苦学，仲麻吕完成学业，参加考试。参加考试的不仅有中国人，还有很多从“太学”毕业的东方和西方留学生。考试题目很难，想不到这位年轻的日本留学生竞能捷足高登，以优异的成绩考中了进士。
从此，仲麻吕开始担任起官职，为唐朝政府工作。他先是在皇太子李瑛的书房里任司经局校书（图书管理员），并陪同皇太子研习学问。此后，又担任了左拾遗（谏官），并被破格提升为左补阙。左补阙是皇帝的侍从官，因此，他可以经常见到皇帝唐玄宗。
唐玄宗很欣赏仲麻吕的才学，给他起了个中国名字：晁衡。
一个名叫真备的日本留学生来看望仲麻吕，一见面就说：“你真是官运亨通啊！升了左补阙，又蒙皇上赐名。不过，我劝你还要研究研究文学。不懂文学，在长安吃不开。听说皇上就酷爱音乐，还会做诗呢。”
“是的，”晁衡沉思了一下说，“我过去喜欢和歌，来唐以后，对汉诗也喜欢起来了。”说着，他便津津有味地谈起和当时的大诗人李白、王维、储光仪交往的情形，还拿出一大叠和他们唱和的诗篇来请教真备。
“啊，你真了不起，我应当拜你为师！”真备一边欣赏，一边赞不绝口。
后来，真备刻苦学习，虚心请教，也身通六艺（五经，三史，明法，算术，音韵，书法）；他的勤奋好学，在长安城中同样被人们交口称颂。
岁月易逝，晁衡在中国不觉度过了40年。他的学友真备回国以后，又随日本第十次遣唐使来到中国。这时，晁衡已经升任秘书监的高官。当真备来到的消息传到他耳朵里的时候，他再也控制不住长期深藏在内心的思乡之情。以往，他多次提出回国的要求，但唐玄宗没同意。因此，每当花好月圆的时节，他总是独自吟诵这样两句话：“举头望长天，明月可在三笠山（日本山名）。”
第10次遣唐使快要回国了。晁衡再次恳切地向唐玄宗提出回国请求。他说，他回到日本去，是为了对年迈的双亲尽一点孝道，同时也是为了把学到的知识带到日本去。
唐玄宗见晁衡情真意切，终于批准了他回国的请求。
唐玄宗答应他作护送第十次日本遣唐使回国的使节返回日本。
公元753年10月，仲麻吕就要启程了。长安的诗友们举行了盛大的告别宴会。著名大诗人李白这时已去南方巡游，没能赴宴。王维、储光仪以及各国使节都来欢聚一堂。王维即席挥毫，写了一首《送秘书监还日本国》的诗篇。56岁的晁衡，把自己心爱的宝剑从身上摘下，赠给中国诗友，同时也挥笔写道：“衔命将辞国，非才忝侍臣，天中恋明主，海外忆慈亲……西望怀思日，东归感义辰。平生一宝剑，留赠结交人。”
10月15日，仲麻吕随第十次遣唐使告别长安，经扬州来到苏州黄泗浦。中国诗人们依依不舍地一直送他到那里。值得一提的是，扬州延光寺的著名高僧鉴真这次和他同行。
四艘回日本的大木船，迎风破浪，驶入大海。但航行到冲绳岛时，不幸遭遇了风暴。除了鉴真所坐的那条船同其他两条船各自开到日本外，仲麻吕等人所乘的那条船却杳无消息。直到第二年3月，日本朝廷得到的仍旧是下落不明的报告。仲麻吕遇难的传闻传到唐朝以后，漫游在苏州的李白，深信好友仲麻吕已葬身海底，心情极为悲痛，便写下了《哭晁卿行》一诗：“日本晁卿辞帝都，征帆一片绕蓬壶。明月不归沉碧海，白云愁色满苍梧。”这句话诗的大意是：日本的晁卿辞别了长安，一片远征的船帆绕蓬莱海岛回转。明亮的月儿沉入碧色的大海永不归来，只看见白云带着愁容笼罩着海中的仙山。
李白和晁衡相处仅仅三年时间，但从这首诗里，可以看出他们之间息息相通，心心相印。
然而，值得庆幸的是，仲麻吕并没有死。他乘的那只船漂流到了现在的越南海岸，遭到当地人的袭击。180多人中，只有仲麻吕等10多人活了下来。公元755年6月，他们历尽艰险，回到了长安。
这年11月，唐朝发生了叛乱，京都长安落到了叛军手中。唐玄宗逃到蜀地，他的儿子肃宗在甘肃灵武即位。仲麻吕也随着唐玄宗辗转奔波，直到公元757年10月，才再度回到长安。尽管平定了叛乱，但唐朝的黄金时代已经一去不复返了。后来，仲麻吕又担任左散骑常侍（在皇帝左右规谏过失的官员）等职。仲麻吕70岁那年，被任命为安南节度使，所辖区域就是现在越南的河内等地。但他因多年劳累，上任不久，便得了重病。公元770年1月，73岁的仲麻吕在长安与世长辞。为了表彰他的功绩，代宗皇帝追赠他“璐州大都督”的称号。
阿倍仲麻吕，是八世纪时日本人民如饥似渴地摄取唐朝文化的缩影，也是中日人民源远流长的友谊的象征。