1270年年底，忽必烈又第五次派遣秘书监赵良弼持书往使。1271年八月，赵良弼一行二十四人抵筑前今津，日兵包围了他们，查问他们的来由，然后又想得到国书。赵良弼说：“一定要面见你们的国王，才能给你们。”于是将国书的抄本交给太宰官过目，太宰官经镰仓转至京都。因为这次国书与前次大意相同，尽管朝廷想回信，但幕府借口国书词语不逊，置之不答，只派了弥四郎等十二人跟随赵良弼入朝，乘机窥视元朝的强弱。
1271年十一月，忽必烈建国号大元。1273年遂命赵良弼再次出使日本。赵良弼至太宰府多时，仍不得消息，后被驱逐出境。
至此，忽必烈前后共六次遣使欲与日本通好，都未能成功，大为恼火，于是决定诉诸武力来迫使其就范。战争终于不可避免地爆发了。
1274年三月，忽必烈成立征东都元帅府，命凤州经略使忻都为都元帅，高丽军民总管洪茶丘为右都副元帅，制造千料舟、拔都鲁轻疾舟、汲水小舟各三百，共九百艘，载士卒一万五千，计划用七个月的时间征服日本。
十月，忻都、洪茶丘率领由蒙、汉军二万五千、高丽军八千、梢工水手六千七百人，组成东征大军，从高丽合浦港出发，首先进攻对马岛。日守护代宗助国率族人奋起抵抗，均战死。元兵转攻壹岐，守护代平景隆亦战死。元军占领二岛后，接着又向肥前沿海袭击，于博多湾强行登陆。此时镰仓幕府已动员征集了九州之兵，号称十万三千人，会于博多，以抗元兵的进犯。元兵用毒箭、铁炮进行袭击，加之以集团战术进攻，使日军死伤惨重，溃不成军。元军很快占领了今津、佐原、白道原、赤坂等地，这时元左都副元帅刘复享负伤，大军仍不停止进攻，所到之处，焚毁掳掠，愈加凶狠。在强悍善战的元军打击下，日军大败，伏尸如麻，只得退守水城。此时天色将晚，高丽将金方庆请求继续战斗，但忻都却认为应该回军，于是下令大军回船休息，准备第二天再继续进攻。刘复享因伤势太重，带着自己的部队已先回国。这天晚上风雨大作，突然来临的台风使夜宿于战舰上的元军束手无策，狂风卷着巨浪，似排山倒海，战船大部分被抛到海边岸石上摔得粉碎，高丽将领金侥也落水而死。兀军无奈只得乘夜集合残部仓促撤归，第一次东征之役遂以失败而告终。这一年是日本龟山天皇文水十一年，日本历史上称为“文水之役”。
1275年二月，忽必烈又派遣礼部侍郎杜世忠、兵部侍郎何文着、计议官撒都鲁丁，以高丽徐赞等为向导，持国书去日本说降。四月到达长门的宝津。八月幕府派人将杜世忠等五人送至镰仓。九月七日斩杜世忠等五人于龙口，并枭其首。
同时，动员全国做好准备，抵御元军来袭，并在九州设置探候所。十一月命北条实攻至镇西，任九州探题，督率军事。十二月又令西海的将士于次年三月，征集兵旅，以备征元。同时还令山阴、山阳、南海诸道修船舶，备军械。当时的镰仓幕府尚无力量向外征伐，这些举动都是为了鼓舞士气，加强防备。
忽必烈原以为可以用武力征服日本，不料第一次出征失败，使者又杳无音讯，因而不得不再次发兵。1279年二月，下令扬州、湖南、赣州、泉州四省造战船六百艘。八月，范文虎建议再派周福、栾忠同日本僧人一道往谕其国，预计来年四月还报，根据他们是否服从，然后决定派兵之事。1280年三月，传来国信使杜世忠等在日本被杀的消息，征东都元帅忻都、洪茶丘等立即要求率兵再征日本，朝廷讨论决定稍微延缓，想再等周福的消息，但周福等亦于博多被北条时宗所斩。忽必烈遂再置征东行中书省，并召中书省右丞范文虎，商议征伐方略。八月招募士卒，粮一十万石，出征日本。
1281年忽必烈决定兵分两路：东路军由忻都、洪茶丘、高丽将金方庆、朴球、金固鼎等率领，辖蒙、汉、高丽军四万，从陆路至合浦，再乘战舰九百艘出海；南路军由阿剌罕、范文虎、李庭、张禧等率领，辖江南十万新附军，乘战舰三千五百艘从庆元、定海出发，于六月十五日在日本壹岐岛会合，同征日本。范文虎建议请马二千给秃失忽思军队及回回炮匠以同行，但忽必烈没有同意。
五月，东路军从合浦出发，先攻占了对马、壹岐两岛。六月，进至博多湾，欲攻太宰府，在筑前志贺岛遭到日本军民的有力抵抗。元军以锁连舟，设弩而守，日船进攻者，多为机石所击破。由于南路军尚未到，东路军仅余一月之粮，箭矢也将用尽，又毙于疫者三十余人，士气受挫，终不能上岸，退于鹰岛。
七月，范文虎南路军才到，阿剌罕病死，忽必烈命阿塔海为征东行省丞相前往接替，可是范文虎未等阿塔海到达，即命进攻。肥前海上，旌旗蔽天，舳舻相衔。日本第一次面临着这么强大的外敌，情势十分危急，元军先占平户岛，后移至鹰岛。此时正值西南太平洋的台风季节，元军的舰艘为了防止日军偷袭，都是并靠连在一起的。八月一日台风突然到达，刹那间海上狂风巨浪，暴雨倾盆，四千四百艘战舰，有的如枯落的柳叶，四散飘零；有的则被互相撞击粉碎，瞬间即被怒涛吞噬。军士号呼着溺死海中，尸体随湖汐进入浦口，浦口因此阻塞，以致行人可以从上面踏过。这次台风历时四天之久，八月五日才风停雨住。平章政事张禧因舍舟筑垒于平户，战舰亦采取了避风的措施，各相去五十步止泊，故所部独幸免。大风过后，范文虎见残局无法收拾，决意北还。于是选择坚实的船只，乘坐回国，弃下残部士卒十余万于五龙山下。一时间群龙无首，只好商议提选一名百户为主帅，称为张总管，听从他的指挥，伐木作舟，准备逃回。但已为时太晚，八月七日，日本人反攻，奋战两昼夜，箭尽粮绝，七八万人被杀，“伏尸蔽海，海可步行”。余二三万人于八月九日被日军掳至八角岛，凡蒙古人、高丽、汉人全部处斩，只留下新附军（指日本称之为“唐人”的中国南方人）免死，充作奴隶，十万大军中仅三人归还。这次全军覆没的真相直到败卒于闾脱归，方才大白，忽必烈勃然大怒，将尽罢大小将校，召刘国杰为征东行省左丞。
后经劝说，方才全部恢复他们的官职。就这样，忽必烈苦心策划准备的第二次东征日本之役又归于失败。这一年是日本后宇多天皇弘安四年，日本史上称之为“弘安之役”。
两次大规模的东征之役遭到惨重失败，仍未使忽必烈清醒过来。1283年九月，诏命平滦、高丽、耽罗及扬州、隆兴、泉州共造大小船只三千艘。次年复立征东行中书省，阿塔海为中书省丞相。同时，积极募军备粮，命舟师习水战，准备秋季再次大举征日。
但是长年的战争，国力已经衰弱，人民再也无法承担这种沉重负担。受害最大的江南各地人民揭竿而起，仅1283年就有二百多处地方发生了反抗元朝统治者的武装斗争。这种情况迫使忽必烈于1286年下令停征，并撤销征东行中书省。江浙一带军民久苦于是役，消息传来，欢声如雷。后来虽又有几次复征之议，但都遭到左右大臣们的反对，加上连年征讨安南、缅甸、爪哇，兵力不足，才又延缓下来。1294年忽必烈死，成宗即位，元朝对海外的大规模战争才停止下来。
1283年，忽必烈曾遣提举官王君治与补陀寺和尚如智出使日本，遇风不达。
1284年，再遣江南行省参政王积翁与如智出使，从庆元出发，经由高丽合浦，至对马岛附近时，船夫不愿前行，杀掉王积翁。两次遣使都没有成功。1299年，元成宗又遣补陀寺和尚宁一山附商船出使日本。宁一山到达日本后，虽然很受敬重，但镰仓幕府仍然拒绝了与元朝通使的要求。
元世祖忽必烈两次对日本的征讨都是一种侵略的行为，而日本政府屡次怠慢、杀害来使，又催促了战争的早日来临。由于负责指挥的将领不力，将领之间不和，军中发生瘟疫，缺乏科学知识以及日本军民的英勇抵抗，占据优势的忽必烈东征大军却遭到惨败。大规模的战争给国内人民和高丽人民都带来了深重的灾难，而日本镰仓政府的日子也越来越不好过，镰仓幕府由此而衰败下去。同时东征还导致了后来为害元末以致整个有明一代的倭患。
但是，忽必烈对日本的东征并没有中断中日两国的贸易往来和文化交往，中日传统的经济、文化交流在元代得到进一步的发展。这证明作为一衣带水的近邻，两国人民无论在什么时候，或什么样的特殊情况下，都始终保持着密切交往和文化的联系。
名家回眸
元初东侵日本的战争，是13世纪后期中日关系史上的重大事件。
元朝政府为这场战争前后共投入20万兵力，动用5500余艘船。但是由于日本政府与人民的奋勇抗击，元军遭到惨败。这场残酷的战争使中日两国以及高丽人民都蒙受了巨大的痛苦，经济上遭到了极大的损失，影响深远。