1971年7月的第一次“尼克松冲击”之后，日本政府在对华政策上受到巨大的内外压力。在日本国内，20世纪50年代以来中日之间开展的民间外交的长期积累已经培育出了大批对华友好的人士，日本的一些在野党以及社会舆论也强烈要求日本政府改变对华政策、恢复日中邦交，甚至出现大规模的示威游行，要求日本首相佐藤下台。在中国问题上，长期以来日本政府在国际场合一直同美国一道反对中华人民共和国，并将中国视为所谓远东地区的主要威胁。然而，到了20世纪70年代初中国的国际地位却不断提高，迫使美国政府改变对华政策并实现了中美关系的正常化，而且在1971年10月中国成功恢复在联合国的席位并取代台湾成为联合国安理会的五大常任理事国之一。面对如此的形势变化，日本佐藤政府也试图改变对华政策，不但在公开演说中对中国释放善意，而且在1971年11月又以日本自民党干事长保利茂的名义向中国总理周恩来写了一封信，即所谓“保利书简”，但这封信被周恩来拒绝，也即意味着中国政府拒绝将佐藤政府作为改善关系的外交对手。在这种强大的压力之下，佐藤不得不宣布辞职，提前结束了自己的政治生命。随后上台的田中政府迅速展开积极的对华外交，仅仅在其成立两个多月后即访问中国并实现了中日邦交的正常化。
一、中日邦交正常化的准备
进入20世纪70年代之后，在日本国内出现了要求实现日中友好和日中邦交正常化的呼声和潮流，甚至在执政的自民党内部也有越来越多的人主张改变对华政策。1970年12月，379名日本国会议员组成了超党派的“恢复日中邦交议员联盟”，这一联盟包括了国会议员总数的一半以上，其中就有很多议员是自民党的议员。此后不久，分别在公明党和社会党的倡议下又成立了由日本社会各界人士组成的“日中邦交正常化国民协议会”和“恢复日中邦交国民会议”。这些团体和各党派以及对华友好团体不但通过各种途径积极推动日本政府改变对华政策，而且派出代表相继访问中国，想要促成尽快恢复日中邦交。
1971年6月，日本公明党代表团访问中国，并且同中日友好协会共同发表了联合声明。其中，提出了中国方面实现中日邦交正常化的一些基本原则，即（1）中华人民共和国是代表中国的唯一合法政府；（2）台湾是中国的一个省，是中国领土不可分割的一部分；（3）日台条约是非法的，必须废弃；（4）美国必须从台湾地区撤出全部武装力量；（5）必须恢复中华人民共和国在联合国的合法权利。这些原则被提出之后不久，1971年10月中国恢复了在联合国的合法席位，1972年2月又实现了美国总统尼克松的访华和中美关系正常化，因此这些原则中的第四和第五项原则基本上已经实现，前三项原则则形成了后来被称为“复交三原则”的原则。
1971年10月之后，日本社会党代表团、日中友好协会代表团、恢复日中邦交议员联盟代表团、恢复日中邦交国民会议代表团相继访问中国，并且都在同中日友好协会发表的联合声明中，明确表示反对敌视中国的政策，主张承认复交三原则。1972年4月，日本执政党自民党内五大派系之一的三木派首领三木武夫也访问了中国，在其与中国总理周恩来的会见中也表示承认复交三原则，并且回国后在众议院外交委员会的发言中再次表示承认复交三原则。
在这些要求恢复日中邦交的政治压力之下，日本首相佐藤也想要改善同中国的关系，但是却遭到中国拒绝，致使佐藤在日本国内遭到了更激烈的反对，于是在1972年6月17日，佐藤被迫宣布辞职，提前结束了自己的政治生命。
在其后的自民党总裁选举中，对华政策也成为候选人之间最重要的争论焦点。候选人之一的田中派首领田中角荣主张尽快恢复日中邦交，并且联合自民党内的大平、三木、中曾根派形成统一战线，在选举中以绝对优势击败了另一候选人福田赳夫。1972年7月7日，田中当选日本首相，组成新内阁，任命同样主张恢复日中邦交的大平为外相。在就任首相后的记者招待会上，田中即表示：恢复日中两国正常关系的时机已经成熟了。对此，中国方面也给予积极回应，就在田中当选首相的第三天，中国总理周恩来公开表示：“长期以来敌视中国的佐藤政府终于被迫提前下台。田中内阁7日成立，在外交方面，声明要加紧实现中日邦交正常化，这是值得欢迎的。”
在中日双方对外界释放出改善彼此关系的意向之后，中日邦交正常化遂进入了实际的准备阶段。7月12日，日本社会党前委员长佐佐木更三带着田中和大平想要访问中国的口信来到中国，试探田中访问中国的可能性，周恩来随即表示欢迎。7月25日，日本公明党委员长竹入义胜同样带着田中和大平有关实现两国邦交的一些主要问题访问中国，同周恩来总理进行了三次共长达十几个小时的会谈，最后形成了“周恩来竹入会谈要点”，即著名的“竹入备忘录”。其内容主要有：（1）自联合声明公布之日起结束两国的战争状态；（2）日本政府充分理解中国提出的复交三原则，在此基础上两国建交和互派大使；（3）中日建交符合两国和世界人民的利益；（4）双方同意在和平共处五项原则基础之上处理两国关系；（5）双方声明不在亚太地区称霸，也反对其他国家的霸权；（6）两国在建交后缔结和平友好条约；（7）中国政府对日本放弃要求战争赔偿权；（8）双方缔结通商、航海、航空、渔业、科技等协定。
8月3日，竹人将备忘录交给了田中和大平，随即被送往外务省进行研究。与此同时，田中内阁发表了关于实现日中邦交的基本方针，即（1）日本政府对中国提出的复交三原则表示理解；（2）在实现邦交时，努力争取执政党及各界的广泛支持；（3）在取得与日本友好国家理解的基础上实现两国邦交。一个月后，日本政府制定出了“日中联合声明纲要日方基本方针要点”，基本上同意中国提出的方案，但是在如何表述“结束战争状态”、“废除日台条约”及“反对霸权”等问题上还有不同意见。不过，当田中派遣自民党国会议员和外务省官员携这一方针要点赴北京征求中方的意见时，周恩来决定双方的遗留问题可以通过田中和大平的访华来最终解决。
在此之前，田中已经完成了执政党内部的协调，8月22日自民党总务会议通过决议，决定通过田中访华来实现日中邦交正常化。8月31日至9月1日，田中赴夏威夷同美国总统尼克松会谈，求得美国对日中邦交正常化的理解与支持。9月17日，田中又派遣自民党副总裁椎名悦三郎作为政府特使赴台湾进行解释，以此来安抚台湾和日本国内的亲台派议员。
一切准备就绪后，9月21日中日两国政府发表公告，宣布田中将于9月25日至30日访问中国。9月25日，田中、大平一行启程访华，除自民党要员外，社会党、公明党、民社党等在野党领导人也前往机场送行，形成了少有的跨党派欢送的盛大场面。在北京机场，田中、大平一行也受到了中国总理周恩来等人的热烈欢迎。
二、中日邦交正常化的谈判与实现
中日两国虽然在恢复邦交这一大问题上所持观点一致，但是在一些具体问题上仍然存在分歧，所以在田中等日本领导人访问中国的短短五天时间里，两国首脑和外长举行了一系列会谈，展开了艰苦的谈判。中日双方争论的主要问题有：（1）中日之间结束战争状态的问题，即日方不同意中方草案中提出的“从声明公布之日起结束两国的战争状态”，而认为两国的战争状态早已在1952年的日台条约中就已经结束；（2）反霸权条款的问题，即日本为了不刺激苏联而不愿意在声明中写入有关反对霸权的条款，而中国却坚持一定要写入；（3）中国放弃战争赔偿要求权的问题，即日本不同意在这一问题上写上权利的字样，认为这样与日台条约相互矛盾；（4）日台条约的有效性问题，即日本不同意日台条约是非法和无效的。
从9月25日下午开始，直至9月28日下午，中日双方共举行了四次首脑会谈和三次外长会谈，围绕上述问题不断地进行了讨价还价，最后终于达成了一致。关于结束战争状态的问题，双方各自妥协，联合声明的前言中保留了“战争状态的结束”的说法，但其表述方法却使得双方都可以做出符合自己立场的解释，而在正文第一条中使用了“自本声明公布之日起，中华人民共和国和日本国之间迄今为止的不正常状态宣告结束”的说法。关于反霸权条款的问题，同样双方都做出妥协，虽然按照中国的要求写入了反对彼此以及其他国家在亚太地区谋求霸权的内容，但是却加入了“中日邦交正常化，不是针对第三国的”限制性条件。关于放弃战争赔偿要求权的问题，在日本的坚持下中国做出妥协，放弃了“权利”的字眼，最后文本中的表述是：“中华人民共和国政府宣布：为了中日两国人民的友好，放弃对日本的战争赔偿要求。”关于日台条约的有效性问题，最后决定在联合声明中不涉及这一问题，而是通过日本外相谈话的方式宣布废除。
1972年9月29日上午，《中日联合声明》的签字仪式在北京人民大会堂举行，两国政府总理和外长在声明上签了字，最后完成了邦交正常化的所有法律程序，双方“决定自1972年9月29日起建立外交关系。两国政府决定，按照国际法和国际惯例，在各自的首都为对方大使馆的建立和履行职务采取一切必要的措施，并尽快互换大使”。随后，日本外相大平正芳和官房长官二阶堂进在北京民族文化宫新闻中心举行了记者招待会，介绍了《中日联合声明》的内容，并宣布：“作为日中邦交正常化的结果，‘日华和平条约’已失去了存在的意义，并宣告结束。”
至此，田中、大平等日本领导人和中国领导人一道完成了中日邦交正常化这一具有历史意义的大事。从此，中日两国关系翻开了新的一页。
三、中日关系的全面发展
《中日联合声明》的签订与中日邦交正常化的实现，为中日两国关系的发展确立了基本框架，使两国关系由以民间关系为主转向了以官方关系为主的轨道。在两国政府的推动下，中日关系在政治、经济、文化等各个领域都得到了全面发展。
根据《中日联合声明》第八条和第九条的规定，中日两国政府先后就签订两国贸易、海运、航空、渔业协定及缔结和平友好条约开始进行谈判。1973年6月，中日贸易协定谈判开始举行，经过半年多的谈判，1974年1月5日两国外长在北京签署了这一协定。协定的主要内容有：双方相互给予最惠国待遇，规定了相互支付的货币，促进产业技术交流，相互举办商品展览会，设立由两国政府代表组成的委员会以研究协定的执行情况等。1973年年初，中日航空协定谈判开始举行，但是由于在这一问题上涉及了如何对待原有日台航线的问题，所以遭到了日本自民党内亲台势力的反对，致使这一谈判多次陷入僵局。直到1974年年初，在田中和大平不顾国内反对声音的积极推动下，谈判才又重新启动，而且大平外相亲赴北京参与谈判，经过同中国总理周恩来和外长姬鹏飞四天的谈判，双方终于达成协议并由大平召开记者招待会表明：“日本国和中华人民共和国之间的航空运输协定是国家间的协定，日台之间是地区性的民间航空往来。日本国政府根据日中两国政府的联合声明，自该声明发表之日起，就不承认台湾飞机上的旗帜标志是表示所谓国旗；不承认台湾的中华航空公司是代表国家的航空公司。”中国则不反对台湾的飞机继续飞往日本，并且仍然可以使用原来的标志。4月20日，《中日航空运输协定》在北京签字，在中日建交两周年的9月29日，中日两国实现了正式通航，双方都派遣了近百人的友好代表团乘坐首航班机访问了对方。1974年11月13日和1975年8月14日，中日两国又先后在东京签订了《中日海运协定》和《中日渔业协定》。
以上四大协定的签订，极大地促进了中日两国经济贸易关系的发展和人员往来的增多。据统计，中日建交十周年时同建交时进行比较，两国的贸易额增长了10倍，人员往来的数量更是增长了近20倍。
从1974年11月起，中日开始就缔结《中日和平友好条约》进行谈判。但是，在条约中是否写入反霸权条款的问题上，双方产生了分歧。1975年1月23日，日本媒体将中日之间的这一分歧进行了公开报道。对此，苏联做出了激烈反应，向日本施加外交压力，反对日本向中国妥协。此时，日本国内正值田中政府下台，对华关系上的亲台派也利用苏联的反对向日本三木政府施加压力，中国国内则受到极“左”路线干扰，在对外关系上变得更为强硬。在这种情况之下，中日两国各不让步，谈判陷入僵局，到1975年4月终于停止了谈判。直到1978年7月，随着苏联在世界各地大规模扩张给日本带来威胁感，美国也催促日本尽快与中国签订条约，并认为反霸权条款不应该成为谈判的障碍，加之中日两国经济关系的更加密切和中国国内政治状况的变化，中日两国又重开谈判。8月12日，中日两国终于完成谈判，签署了《中日和平友好条约》，将中日和平与友好的关系以法律的形式固定了下来。这一条约的主要内容有：双方在和平共处五项原则基础上发展持久的和平友好关系，在相互关系中承诺不诉诸武力和武力威胁；双方反对彼此和其他国家在亚太地区谋求霸权；按照友好和平等的原则进一步发展两国的经济和文化关系；不影响彼此同第三国之间的关系。同年10月22日至29日，中国副总理邓小平作为战后第一位中国高级领导人访问日本，参加了《中日和平友好条约》批准书的互换仪式，并会见了日本天皇和首相。这一访问将中日政治关系重新推向高潮，中日友好成为当时两国关系的主旋律。
《中日和平友好条约》签订之后，中日关系有了进一步的发展，尤其是1979年12月大平正芳成为首相组成新政府后，两国关系更趋紧密。1979年12月，大平以首相的身份访问中国，这是继1972年9月田中访华后日本首相对中国的第二次访问。在这次访问期间，中日两国政府发表了联合公报，再次肯定根据《中日联合声明》与《中日和平友好条约》发展两国持久和平与友好关系的原则。同时，两国还决定建立外交事务当局的年度定期协商制度，并签订了《中日文化交流协定》，以促进两国教育、学术、文艺、体育等文化领域的交流与合作。此外，这次访问中对中日关系和中国本身的发展而言意义重大的另外一项内容，就是中国政府第一次开始接受非社会主义国家的资金援助和资金贷款，大平政府决定向中国大规模提供日元贷款，即政府开发援助（ODA），并表示愿意同中国在技术方面进行合作。从1980年开始，中国使用日本政府开发援助的资金进行了大规模的经济建设，对当时刚刚实行开放但又缺乏建设资金的中国而言，ODA确实发挥了雪中送炭的效果，对当时的中国的经济建设起到了积极的推动作用。日本对中国的政府开发援助，截止到2008年结束，共计实施29年，共向中国提供300多亿美元的长期低息贷款，此外还有30多亿美元用于无偿援助和技术合作。
20世纪80年代，中日关系进入了全面发展的新时期，即两国的政治关系提升，高层频繁互访，经济关系越来越密切，文化交流也开始大规模展开。1980年5月，中国总理华国锋访问日本，两国签订了《中日科技合作协定》。仅仅一个月之后，日本首相大平在任内突然因病去世，华国锋再次代表中国政府赴日参加了大平的葬礼。1982年5月31日至6月5日，中国总理访问日本，在其同日本首相铃木善幸的会谈中提出了发展中日关系的三项原则，即“和平友好、平等互利、长期稳定”，得到了日方的同意。同年9月，铃木回访中国，同中国领导人进行会谈，双方除继续强调发展两国关系的三项原则之外，还就提供年度日元贷款签订了换文。
1982年11月，日本政府更迭，中曾根康弘组阁建立新政府。1983年1月，中曾根在日本国会的首次施政演说中，提出了要进行所谓“战后政治总决算”的口号，在其后不久访问美国期间又提出日本是美国在亚洲的一艘“不沉的航母”。而此时的中国正在进行大规模的外交政策调整，即将过去联合西方国家反对苏联霸权的政策转变为独立自主和不结盟的大国平衡政策。因此，中曾根对内对外的政策表述，引起了中国的警觉，中国政府通过媒体对中曾根的政策提出了疑问和批评。为了消除中国的忧虑，中曾根很快在日本国会的演讲中明确承认日本过去的对华战争是侵略战争，并派遣自民党干事长作为政府特使赴华进行解释，同时邀请中国共产党总书记胡耀邦访问日本。1983年11月，胡耀邦访问日本，在两国首脑举行的会谈中，中曾根建议在发展中日关系的三项原则中再加入一条“互相信赖”，于是就形成了“和平友好、平等互利、互相信赖、长期稳定”的中日关系四原则。此外，两国领导人还一致同意在两国分别建立由社会各界人士组成的“中日友好21世纪委员会”和“日中友好21世纪委员会”。访问期间，胡耀邦参观了日本六个城市，并在日本国会发表演说，这是共产党国家的领导人首次在日本国会发表演说，而且受到了日本执政党和各在野党派的欢迎。在一次青年集会上的演说中，胡耀邦强调中日友好要寄希望于两国青年，并代表中国政府邀请3000名日本青年访问中国。1984年秋天，3000名日本青年成功访问中国，参观访问了中国各地，此举对当时日本青年了解中国提供了良好的机会，也培养了一批知华人士，其中就包括了后来成为首相的菅直人和野田佳彦。
1983年3月，中曾根访问中国，同中国领导人举行会谈，承诺继续向中国提供政府开发援助，并且在北京大学进行了讲演，表示决不允许在日本恢复军国主义。中国领导人除了表示赞赏与理解之外，更多地强调中国的改革开放政策，希望日本增加对中国的投资。同时，双方还分别成立了“中日友好21世纪委员会”和“日中友好21世纪委员会”。后来，中曾根在担任首相期间还多次访问中国。1988年8月，在《中日和平友好条约》签订十周年之际，日本首相竹下登访问中国，同中国领导人举行了会谈，承诺继续向中国提供政府开发援助，双方还签订了《中日投资保护协定》。1989年4月，中国总理李鹏访问日本，会见了日本天皇和首相，两国互换了投资保护协定，并同意建立两国的“投资促进机构”和“技术交流会议”，日本还决定以无偿援助的方式在北京建立“中日友好环境保护中心”等。
当然，从20世纪80年代开始，中日两国关系也出现了一些摩擦，比如1981年中止宝山钢铁公司二期工程问题、1982年和1986年的两次历史教科书事件、1985年的日本首相参拜靖国神社问题、1987年的光华寮事件等。不过，这些摩擦并没有从根本上阻碍中日关系的全面发展。直至冷战结束之后的一段时间，中日关系都处于一种相对友好与合作的状态中。