在日本侵华战争中来中国的日本平民很多，但随着战争的结束大部分被迅速遣返回国，而此后的遣返工作由于中国发生内战而中断，留在中国大陆的日本侨民大约有35000名。新中国成立后，尽管中日两国虽未正式建立外交关系，但从人道主义与区别对待日本军国主义和日本人民的角度出发，希望妥善并早日解决战争遗留下来的日侨归国问题。1950年夏天，中国红十字会会长李德全出席在摩纳哥召开的国际红十字会会议时，主动和出席会议的日本赤十字社社长岛津忠承接触，商谈在华日侨的归国问题。当时岛津忠承社长向中国红十字会表示，希望中国方面告知在华的日侨，红十字会会援助他们回国。1952年12月1日，中国政府有关方面就在华日侨的人数、生活状况等问题答新华社记者问时，明确表示：中国政府愿意协助自愿回国的日侨回国。关于具体事宜，日本的适当的民间团体代表可与中国红十字会协会进行协商解决。这一消息的发表被日本人称之为“渡船”。（［日］《战后日中关系50年》，第120页。）日本有关方面对此消息表示积极反映，12月25日日本在华同胞回国协商代表团派遣协议会决定组成以日本赤十字社社长岛津忠承为团长、日中友好协会的内山完造、平野义一太郎，和平联络会的田中政春等代表组成三团体代表团访问中国，就日侨归国问题进行协商。1953年1月26日，三团体代表团启程访华，这是第一个持有“中华人民共和国”国名护照的日本代表团。以廖承志为团长的中国红十字会代表团接待了日本三团体代表团的代表。双方进行了长达一个多月的谈判，于3月5日双方签署了《关于商洽协助日侨归国问题的公报》，商定由日本政府派船接运日侨回国，中方负担日侨到达港口以前的一切费用，并为归国日侨在携带物品和兑换外币方面提供方便。3月23日，日侨归国的第一船“兴安丸”满载1000多名日侨到达舞鹤港。此后，一直到1958年止，共分21次遣送了约35000名日侨归国。随着欢迎这些归国者的活动的展开，从1953年到1954年日本全国掀起了中国热。这些归国者以自己的亲身体验讲述了中国的实际情况，歌颂了无产阶级的人道主义，并和日本军队在中国进行了“三光政策”相比，唤醒了日本民众对日本军国主义在中国犯下的滔天罪行的深刻反省。
日本方面为了对中国人民为在华日侨归国问题所提供的帮助表示感谢，日本三团体经过努力，使一批在日华侨551人乘坐“兴安丸”于1953年7月2日到达天津塘沽港。同时还成立了“中国殉难者慰灵执行委员会”，调查和收集了从1943年到1945年被日本军国主义者强制劫往日本充当劳工、因受折磨而死的中国殉难者的遗骨3000多具，并于1953年7月2日开始，分10批从日本运往中国。
另外，在日本投降后，当时的远东国际军事法庭和国民党政府设立的法庭对大部分的日本战犯作了处理。关押在我国的日本战犯主要包括：被人民解放军俘虏的140名和1945年被苏联军队在我国东北俘虏并于1950年移交给我国政府的960名战犯。在几年中死亡347名，到1956年在华在押战犯共1092名。这些战犯绝大多数在侵华战争中罪行较轻，并且在关押期间有不同程度的悔罪表现，因此1956年4月25日，全国人民代表大会常委会作出了关于处理在押日本侵华战争中战争犯罪分子的决定。决定中明确表示：鉴于日本投降后10年来的情况的变化和现代的处境，鉴于近年来中日两国人民友好关系的处境，鉴于这些战犯在关押期间绝大多数有不同程度的悔罪表现，因此，决定对于这些战犯按照宽大政策分别予以处理。对于次要的或者悔罪表现较好的战犯，可以从宽处理，免予起诉；对于罪行严重的战犯按照其所犯的罪行和在关押期间的表现分别从宽处理；在日本投降后又在中国领土上犯有其他罪行的战犯，对于他们所犯的罪行，合并论处。
根据全国人民代表大会常委会的决定，最高人民法院特别军事法庭于1956年6月9日至20日，对17名罪行特别重大的日本战犯进行了审判，按照他们所犯罪行和在押期间的表现，分别从宽判刑。6月21日，最高人民检察院对335名次要的和悔罪表现较好的日本战犯，宣布免予起诉，立即释放，遣送回国。到8月21日，最高人民检察院在抚顺对在押的354名日本战犯宣布免予起诉，并立即释放。这是中国政府释放的第三批日本战犯。至此，在押的1062名战犯已经全部处理完毕。
中国政府对日本战犯的处理方式既明确了日本军国主义者在侵略中国时所犯的罪行，又体现了中国人民宽大为怀的气度，（吴学文：《战后中日关系》，第44页。）赢得了日本广大社会阶层的称道，为恢复和发展中日两国关系奠定了深厚的群众基础。
随着中日民间往来逐渐升温，1954年国庆节前夕，日本两个超党派国会议员代表团来北京访问。一个是出席斯德哥尔摩世界和平大会和访问苏联后来到中国的议员团，它们是由自民党的西村直己、改进党的中曾根康弘、樱内义雄、园田直等以及共产党的须藤五郎等。另一个是日本方面派来中国参加中国国庆节的大型代表团，他们是自民党的山口喜久一郎、小川平二、宇都宫德马，左派社会党的铃木茂三郎、佐佐木更三等。这两个超党派议员代表团共有40多名成员，其中包括各党派的实力人物和有影响人士。
10月11日，周恩来总理在中南海紫光阁会见了代表团，并就中日关系当前存在的问题发表了谈话。谈话重申了中国对日政策基本方针，并强调和平共处五项原则将成为以后中日两国关系正常化的重要指导方针，大致可归纳为以下几点：一、日本可以拥有用于自卫的军备，但不是美国指挥下的军队。二、希望日本人民团结自立，赢得独立。三、中日两国人民要加强友好往来，阻止日本军国主义复活的危险。四、妨碍中日关系正常化的主要原因是日本对美与对台关系问题。五、和平共处五项原则是处理中日关系的根本原则。六、只有两国共同实现工业化才能和平共处。（“农业中国、工业日本”是错误的。）七、中国即使强大了也不会威胁日本的发展。以上七个要点对日本各代表具有充分的说服力，给议员代表们留下很深的印象。
1954年10月30日，以李德全为团长、廖承志为副团长的中国红十字会代表团由香港乘英国航空公司的飞机到达东京羽田机场。日本各界人士对新中国第一个访日代表团给了热烈而盛大的欢迎。
1955年3月29日，由外贸部副部长雷任民率领的中日贸易代表团到达东京。这是新中国派往日本的第一个贸易代表团。以村田省藏为首的日本国际贸易促进会和以池田正之辅为首的国会议员促进日中贸易联盟组成了有各大党派议员和工商界的代表参加的代表团，同中方代表团就缔结新的中日贸易协议进行了为期一个多月的谈判，于5月4日在东京签订了第三次中日民间贸易协议。
进一步发展和扩大对华贸易是鸠山内阁的既定政策，因此这次贸易协议是得到两国政府支持的。尤其是协议规定同意在对方境内举办商品展览会，双方同意在对方设置常驻贸易代表机构，其代表享有外交官待遇的权利等。这就使协议具有了明显的半官半民的性质，体现了“民间贸易、官方挂钩”的特点。这种进步与鸠山内阁为促进中日官方接触而作的努力是分不开的。当这次协议签订之际，鸠山内阁表示为实现协议内容要给予支持和协助，显示了他希望发展中日关系的积极态度。但是由于受到来自美国的干涉，鸠山内阁并未在官方挂钩的方式下取得进一步的突破，其对华政策仍受到很大限制。
三、岸信介内阁破坏中日民间关系
1957年2月25日岸信介内阁代替了执政仅两个月、对华态度较为积极的石桥内阁。岸信介内阁上台后在外交方面碰到的大课题就是对华关系问题。因为作为当时中日之间交往主要窗口的中日第三次贸易协定，在协定期满延长一年后将于1957年6月到期。
岸信介上台后表现出比前两届政府更亲美的倾向。日本评论家岩村三千夫指出：“岸内阁比鸠山内阁更接近美国是事实。”然而岸信介还用讨好台湾当局的办法来取媚于美国。1957年6月初，岸信介做了前几届首相都不敢做的事：访问台湾，干涉中国内政。
中国政府的对日政策是：一方面，批评日本政府追随美国反华、不承认中国的政策；一方面，发展中国人民和日本人民的友好关系。以民间关系推动官方关系。周总理指出：“中国政府主张撤除人为的障碍，打开中日两国之间的贸易”。“先从民间的频繁来往并且达成协议开始。把两国的关系大大发展，最后就剩下在外交上宣布结束战争状态，恢复正常关系”。但是日本岸信介政府并不愿意和中国发展友好关系，一再拖延中日贸易协定的谈判，在既怕得罪美国又怕失掉和中国扩大贸易机会的两端徘徊着。对此，中国政府一直希望岸信介政府能从日本民族利益出发，作出明智的决定。但对岸信介访台、访美时的一系列反华言行，中国政府当然要予以驳斥。1957年7月25日周总理声明：“岸信介支持蒋介石‘收复大陆’，这就是岸信介不惜公开敌视六万万中国人民的表现”。“日本同美国友好我们并不反对。我们主张一切国家都应该互相友好而不应该互相敌视。问题在于岸信介跑到美国去拿诬蔑新中国来讨美国主人的欢心”。同时表示对中日新的贸易协定的谈判，中方的原则立场是：“我们甚至考虑同日方有关方面签订长期贸易合同，为了中日两国经济的发展，中日贸易应该发展得更好。但要我们的代表打手印，使通商代表团变成非正式的。这是对我国的侮辱，实际上是破坏通商代表团的设立。至于我国，我们从未设想过对日本通商代表团的设立附加任何条件。”
在日本人民发展中日贸易的愿望的推动下，9月14日，拖延了四个月的日本第四次贸易协定谈判代表团终于起程来华。在香港，团长池田正之辅说：“迟延并不是由于协定本身的原因，而是因为‘内部的纠纷’。”
“中日双方对国旗达成了谅解：日中双方关于国旗问题，在两国互相不承认的今天，给予悬挂国旗的权利和承认没有任何关系是当然的。”但池田想以收回修改要求换取中国方面同意改变原来协议的关于“双方商务代表机构”人数不加限制和双方可以根据工作需要选派人员的原则规定。对此，中国方面未予接受。尽管谈判进行得很困难，但中国方面力促谈判能够成功。日本代表团十名成员（自民党、社会党、共产党、日本国际贸易促进协会、日本输出入组合各两位代表）经过讨论，绝大多数人认为不应受自民党修改意见的限制，从国内贸易要求来看应达成协议；最后决定维持去年草签的协定，同意签字。3月5日，第四次中日贸易协定终于成立了。
由于美、台对日本政府施加的压力，促使岸信介政府对协定的态度起了重大变化，从拖延表态发展到公开破坏协定。岸信介当时的考虑是：“作为中共以此为手段，进一步发展在事实上的承认，由此使日本和国府的关系，进而使日本和美国的关系恶化；另一方面也使日本国内发生分裂混乱”。遂决定：“由于和中共贸易的比重还不大，将来再做各种各样的考虑吧”。
5月2日，在日本长崎中国邮票、剪纸展览会上，两名日本暴徒把中国国旗扯下来。长崎警察署简单调查后，叫两人行使沉默权，当晚9点40分释放，在此之前，对会场悬挂中国国旗，台湾驻长崎“领事”常家铠曾向长崎市政府提出抗议。另外在开幕时，台湾大使馆提出从会上撤去中华人民共和国的展品遭到拒绝。一连串的迹象显示长崎国旗事件不是偶然事件。
事件发生后，日本外务省说刑法第九十二条不适用于此一事件，换句话说，那两个日本青年将不致按“妨害外国国旗罪”处罚。这是日本政府公开纵容包庇罪犯。岸信介5月6日说：“日本的国内法不能保护中共的国旗。”日本政府很清楚中国对这次事件的重视，也知道应该如何解决。但是日本政府首先摆出对抗的架势，决心把中日关系恶化下去。日本政府决定：延缓缔结包裹及通邮、交换气象预告等协定，拒绝日本渔业界所提支持订立新渔业协定的要求。并扬言这次采取强硬态度。