在新的国际环境下，日本各界要求恢复中日邦交的呼声迅速高涨，外务省官员们深感在这个问题上再也不能落在美国后面。在这一背景下，佐藤内阁开始在有限范围内探讨调整对华政策的路子。外务省条约局开始就有关日中复交的法律问题进行研究。自民党干事长保利茂也试图开辟独自渠道，通过东京都知事美浓部亮吉向中方转达了所谓“保利书简”气但其内容基本上仍未脱离“两个中国”的立场，遭到中方的拒绝。中方看了“保利书简”，觉得信里有两个有关中国的提法不好接受，周总理向美浓部表示不能接受。
1971年6月16日-7月4日，公明党第一批代表团访华，在此期间发表了五点声明（1)中国只有一个，中华人民共和国是代表中国的唯一合法政府；(2)台湾是中国的一个省，是中国领土的不可分割的组成部分；（3)日蒋“条约”是非法的，必须废除；（4)美国必须从台湾和台湾海峡地区撤走它的一切武装力量；（5)必须恢复中华人民共和国在联合国的合法席位，把蒋介石集团和“代表”驱逐出联合国。周总理表示，如果按照公明党的五条，日中邦交就可恢复。由于其中第四条不是中日双边关系问题，第五条随着中国恢复联合国合法席位而失去意义，所以，从1971年11月起，中国政府把前三条作为“复交三原则”。
1972年初，佐藤内阁的对华政策开始发生变化。2月28日，佐藤首相在众议院预算委员会答辩时承认“中国是一个，中华人民共和国是代表中国的政府”，还承认台湾是中华人民共和国的领土；但福田外相在答辩时却认为，在日中邦交正常化实现之前，日本还没有承认台湾是中国的领土。3月1日，在参议院总会上，佐藤首相和福田外相都称：“日中关系正常化后台湾会成为中华人民共和国的领土。届时也对日美安全条约进行相应修改。”
1972年3月6日，日本政府就日中复交问题提出了正式见解：(1)日本在《旧金山和约》中放弃了对台湾的一切权利和权利根据，因此不能对台湾归属发表意见；（2)但日本根据历史经炜、中华人民共和国已在联合国代表中国等，完全可以理解中华人民共和国关于“台湾是中华人民共和国的领土”的主张；（3)政府基于上述认识积极推动日中复交。在6月7日众议院外交委员会上樽崎议员提出是否可以认为1969年“佐藤一尼克松联合声明”中的“台湾条款”已经消灭？福田外相对此予以肯定1972年7月5日，以“如自己取得政权，就立即解决日中关系问题”为执政公约的田中角荣当选自民党总裁。在此之后，他在会见记者时说“战后1/4世纪的日中关系，在长达2000年的历史中，不过是短暂的一瞬。为了不再发生纠纷，要以认真的态度着手（日中）关系正常化的工作。以往我们单方面地给中国添了麻烦。但是，我认为关系正常化的时机已经成熟。”7月6日，田中当选首相后，在当天傍晚发表的讲话中再次表示“在外交上，要尽快实现同中华人民共和国的邦交正常化。”7月7日田中组阁后，出任外相的大平正芳在会见记者时表示“为了实现（日中）邦交正常化，我想，到了一定时候，由首相或外相访问中国，将是必要的。”在谈到台湾问题时，他表示“就日中邦交正常化进行谈判，并到结束这一谈判时，我认为，日台条约的存在是不可想象的”并说“我们下定决心，要实现（日中)邦交正常化。”田中、大平的发言明确地表达了在结束日台关系的前提下实现日中复交的决心-。对此，7月9日晚，周总理在招待也门代表团的宴会上做出了如下积极反应“长期以来敌视中国的佐藤政府终于被迫提前下台。田中内阁7日成立，在外交方面，表明要加紧实现中日邦交正常化，这是值得欢迎的。”7月中旬，田中内阁表示理解中方的“复交三原则”，认为中日恢复邦交的“时机已经十分成熟”，应在这个时机解决“台湾问题”
在美国放弃敌视中国政策的情况下，田中首相为推动日中复交而对如下三方面关系做了协调：（1)国内协调，即取得国内舆论和自民党内的有力支持，尤其是要在自民党内的“亲中派”与“亲台派”之殷燕军间达成妥协；（2)对华协调，即需事先就关系正常化的条件与中方达成基本协议；（3)对美、台协调，即需避免美国作梗及妥善安抚台湾。
在国内协调方面，美国的对华“越顶外交”后，日本舆论中要求实现日中邦交正常化的呼声空前高涨；在自民党内，田中在推动日中复交方面得到大平派、三木派、中曾根派的支持。这也是他在自民党总裁选举中得以一举击败福田赳夫的重要原因。这些状况为田中提供了推动中日复交的最佳条件，难怪他组阁前就表示：趁自己具备的条件最好时以“速决”方式实现日中复交-。鉴于当时自民党和政府内大多数意见是在保持对台关系的同时考虑对华关系，田中首相决定采取果断措施，先与中国复交，再说服反对派h1972年7月24日，田中成立了以小坂善太郎为会长、由249名议员组成的“日中邦交正常化协议会”。9月8日，该协议会进行了60小时以上的激烈争论，亲台派总体上处于劣势。最终，协议会做出了题为“日中邦交正常化基本方针”的五项决议，在自民党总务会上予以决定，并把对华谈判权限授予田中首相。该方针的前言部分就日台关系提到“在日中邦交正常化谈判时，我国政府应注意到以下几点。特别是鉴于我国与中华民国的深厚关系，应充分加以照顾以便使历来关系得以继续下去。”其中“历来关系”一语是否包含“外交关系”？对此，协议会做了模糊处理，“亲台派”和“日中复交派”则都做了有利于己方的“各自解释-。
在对华协调方面，由于中日间尚不存在官方关系，日本又长期执行了反华政策，致使两国政府间沟通尚有困难，所以先由自民党议员古井喜实和田川诚一、原外交官松本俊一、社会党前委员长佐佐木更三、公明党委员长竹入义胜等政界人士各自在中日间发挥了传递信息、消除误解、形成建交文件草案等桥梁作用。
1972年7月14日，来华访问的日本社会党前委员长佐佐木更三向周总理转达了田中首相准备接受中国“复交三原则”的意向。周总理委托他转达欢迎田中首相访华的意向。由此，中日双方决策层已就恢复邦交做出了政治决断。1972年7月27-29日，周总理同来访的“和式（日本式)基辛格”公明党委员长竹入义胜举行了三次会谈，共近20个小时-。据正木良一回忆，竹入向周总理谈了日方的见解，其要点是：（1)由于已有日台条约，中日间再缔结和平条约很难办；（2)田中首相会在事前与美国商量，请中方默认；（3)如果中方触及日美安全条约，自民党内阁就很难办在7月29日的第三次会谈时，周总理提出了经过毛主席批准签名拟写入《中日联合声明》的八条内容和三项默契。竹入详细记录下来，认为这一方案充分照顾了日方的立场，回国后于8月4日把“竹入笔记”交给田中首相和大平外相，田中、大平二人都认为中方的方案可行。7月17日，周总理通过作为农业访日团副团长赴日的陈抗向已从7月10日起率上海芭蕾舞团正在日本访问的孙平化和7月3日赴任的中国驻东京联络处首席代表肖向前发出指示，让他们积极推动田中访华气7月22日和8月11日，大平夕卜相会见孙平化、肖向前，在后一次会见时，大平外相转达了田中首相的访华决定。8月15日，田中接见孙、肖及其他中方人员，孙平化转达了周总理对田中的邀请。
1997年8月27日《朝日新闻》刊载的访谈录中，竹入义胜却否认自己是田中首相派遣的“和式基辛格”，称当时他访华不是田中的代理人，而且田中在自民党内台湾派面前出现了动摇。竹入称自己硬着头皮由自己准备了日方方案，其内容甚至与公明党的主张大相径庭。但他带回的中方方案却促使田中下了访华的决断。
在这期间，田中在四个方面紧锣密鼓地推动了前期准备工作：(1)通过“协议会”推动执政党——自民党内的共识，安抚其中的“台湾帮”；(2)田中首相本人于8月31日和9月1日赴夏威夷同尼克松总统举行了会谈，取得了美方的谅解；（3)于9月17日派自民党副总裁椎名悦三郎以特使身份赴台湾进行安抚工作；（4)于9月14日派出由小坂善太郎任团长的日中邦交正常化协议会代表团访华，有意让自民党也搭上那之前由在野党人士唱主角戏的日中复交准备的最后一班车。而在此之前的9月9日，自民党议员古井喜实、田川诚一和原外交官松本俊一受大平外相的委托，携带日方的《日中联合声明》方案来华，翌日向中方做了说明。
从田中、大平的对华复交准备的外交布局看，小坂善太郎等人的“协议会”访华团显然只是个安抚自民党的“摆设”，而由古井喜实、田川诚一等人组成的“秘密使者”才是负责与中方进行前期磋商的直接代表。另外，日本外务省在日中邦交正常化的前期过程中也被排除在外，以致当年的《外交蓝皮书》中竟然很难写入外务省的功绩-。日方先遣人员坚持主张“中日结束战争状态”的问题已在1952年的《日台条约》中得到解决，还反对把“废除《日台条约》”的表述写入中日联合声明，日本政府的想法是以其他适当的形式对此加以表述。9月12日和20日，周总理两次会见了古井，着重就“结束政治状态”的表述和是否把复交三原则一揽子写入联合声明的问题说明了中方的见解。
由小坂善太郎率领的自民党“协议会”访华团与以廖承志为团长的中方代表团举行了会谈，充分领教了中方在台湾问题上的坚定的原则立场，并表示日中建交后日本不会再同台湾发展外交关系。9月19日，日方举行完答谢宴会正准备翌日回国时，紧急会见了他们。因为中方在外电中获悉，被派赴台湾的椎名悦三郎表示，日本与中华人民共和国建交后，仍将同台湾维持包括外交关系在内的各种关系，而日本政府只发表了一条“官方讯”对此表示否认。小坂对周恩来表示，“椎名谈话”有悖于日中邦交正常化协议会的正式意见，这也绝不是田中首相和大平外相的意见。
以上述一系列准备为铺垫，9月25-30日，田中首相率团访华，同周总理进行了四次会谈。9月29日，中日双方发表《中日联合声明》，宣告从即日起建立外交关系。
在中日复交谈判中，双方在结束战争状态、台湾归属、《日台条约》等问题上发生了分歧。姬鹏飞曾在《纪念我的朋友大平正芳先生》一文中回忆道：“两国总理……将起草两国政府声明的重任交给了大平正芳先生和我。在联合声明的起草过程中，如何就两国战争状态的结束、台湾问题、《日台条约》的处理等问题找出适当的措辞，使其既能体现复交三原则精神，又能兼顾双方的不同立场，确实动了不少脑筋。但中日双方最终在这些分歧上逐一达成了妥协。
第一，结束战争状态问题。日方带来的《联合声明》草案写道：两国在此“确认”战争状态结束，言外之意是该问题在《日台条约》中已经解决，如今只是再次予以确认而已。这显然是中方难以接受的。根据周椎名悦三郎于1972年9月17日飞抵台湾松山机场，遭到台方示威队伍的鸡蛋和馒头的袭击，其车窗也被击碎。椎名未能见到蒋介石，因而把所带的田中首相亲笔信交给严家淦“副总统”。该信由外务省中国课的桥本恕课长和小仓和夫首席事务官起草，由曾对裕仁天皇《终战诏书》进行修改的安冈正驾做了修改。该信以安冈式的暧昧、模糊、委婉的措辞传达了要与北京政府建交、与台湾当局断交的意思。
却在9月18日与台湾各界座谈会上称“鉴于与贵国、中华民国历来的深厚关系，（自民党决定)继续与贵国的历来关系……历来关系包括外交关系……”见总理的提议，双方最终接受了中日间“不正常状态宣告结束”这一表述。
第二，台湾归属问题。《联合声明》采取了双方都能接受的如下说法“日本国承认中华人民共和国是中国的唯一合法政府”，“中华人民共和国重申：台湾是中华人民共和国领土不可分割的一部分。日本国政府充分理解和尊重中国政府的这一立场，并坚持遵循波茨坦公告第八条的立场。”此条文的前半段是根据日方意见，采取了与荷兰建交时相雷同的提法。“坚持遵循波茨坦公告第八条”一语是根据中方要求加入，旨在驳倒“台湾归属未定论”。
日本外务省条约局长高岛益郎在1972年9月26日第一次中日外长会谈上的下述发言陈述了日方基本立场“由于旧金山和约，我国放弃了对台湾的一切权利，不能对台湾现在的法律地位做出独自的判断。我们十分清楚中国对旧金山和约的见解与日本不同S但我国作为该条约的当事国不能放弃上述立场。然而与此同时，如果按照开罗、波茨坦两个宣言的精神，台湾依照这些宣言的规定应该归还中国，这是日本政府不变的见解。我国还全面尊重‘一个中国’的中国的一贯立场，当然毫无再把台湾变成日本的领土或支援台湾独立的意图。所以，日本也不设想将来台湾具有中华人民共和国领土以外的任何法律地位。从这一见解出发，日本政府认为，台湾现在处于与中华人民共和国不同的另一个政权的统治下，由此产生的问题应由中国人自己即作为中国的国内问题来解决。……美中间的军事对抗应予避免，……台湾问题最终应和平解决。这是日本政府的基本见解。”在9月28日举行的第四次中日首脑会谈上，大平外相重申“日本政府今后当然也不会采取‘两个中国’的立场，连日本外务省条约局条约课长栗山尚一在中日复交后为时事通信社撰写的解说中指出“基于上述第二次世界大战的原委，中华人民共和国的一贯见解是，台湾归还中国是在旧金山和约之前就已确定完全没有支持‘台湾独立运动’的想法，对台湾不抱任何野心。
大平外相在《中日联合声明》发表后的记者招待会上指出“开罗宣言规定台湾归还中国，而日本接受了继承上述宣言的波茨坦公告，其中第八条有‘开罗宣言之条件必将实施’的明文规定，按照我国承诺了波茨坦公告这一原委，日本政府坚持遵循波茨坦公告的立场是理所当然的。