1920年，胡适曾有赴日计划，亦未实现。倒是日本方面，因为注意新文化运动而主动与胡适联系。发端者便是后来以研究中国近世戏剧史而闻名的青木正儿。1920年，他在京都和小岛祐马等人创刊《支那学》杂志，并于第1—3号发表长篇论文《胡适を中心に涡いてある文学革命》，这是迄今所知国际学术界最早正面报道研究中国文学革命的论文。（青木正儿于1919年大阪《大正日日新闻》发刊时即受友人怂恿想撰文介绍中国现代文学，因该报不久停刊，未能如愿。当时在日本无人对中国现代文学感兴趣，青木正儿描述自己好像“孤影孑然旷野独行”。（［日］青木正儿：《文宛腐谈》，见《江南春》，63页，东京，平凡社，1972）或谓日本最早介绍中国新文化运动动向的为《朝日新闻》的大西齐。（参见《学问の思い出——桥川时雄の先生围をんで》，载《东方学》，第35辑，1968年1月）美国传媒到1921年注意中国的文学革新，据称5月的《世纪》（Century）杂志就此发表专论。（参见《胡适的日记》，99页））青木正儿随即致函胡适，并寄上《支那学》第1号。以后两人多次通信，互赠书刊。胡适在欣赏明清艺术及新诗创作等方面引青木正儿为同调，并介绍周氏兄弟（树人、作人）、吴虞、沈尹默等与之结识，同时托请青木正儿代访章学诚遗书及各种版本的《水浒传》，由此与京都学派的领袖内藤虎次郎和狩野直喜沟通联系。胡适后来写成《章实斋年谱》及《〈水浒传〉后考》，除表示因内藤虎次郎是外国学者却率先作章学诚年谱而自觉惭愧以及与狩野直喜关于《水浒传》的见解不谋而合而高兴外，还特别感激“我的朋友”青木正儿热心搜求《水浒传》材料如同自己的事。（参见《〈水浒传〉后考》，见《胡适文存》，第1集，570页；第2集，109～110页。）1925年青木正儿作为文部省在外研究员来华留学，曾在北京与胡适会面。（此事青木正儿在日记中记载。参见唐振常：《吴虞与青木正儿》，载《中华文史论丛》，1981年第3辑。）
不过，胡适似乎有些误解《支那学》杂志代表京都学派的意见。其实这并非京都大学支那学会的机关刊物，也不代表京都学派。其中起主要作用的小岛祐马、青木正儿、本田成之甚至武内义雄，都有超越内藤虎次郎、狩野直喜藩篱的意向，而引起后者的批评。如武内义雄在该刊撰文认为清代考据方法已达穷极，内藤虎次郎则称应注意好的方面。青木正儿听取胡适的意见，发表《本邦支那学革新第一步》，要求日本中国学者改用中国音读法，也遭内藤虎次郎指责。（参见《学问の思い出——青木正儿博士を围んで》，载《东方学》，第31辑（1965年11月）；《学问の思い出——仓石武四郎博士を围んで》，载《东方学》，第40辑（1970年9月）；《先学を语る：内藤湖南博士》，载《东方学》，第47辑（1974年1月）。青木正儿与王国维不大投缘，某种程度上也反映了前者与京都学派不一致的地方。尽管京都学者一再解释，至今仍有误解《支那学》杂志代表京都学派者。）
明治以后，日本一度倡行欧化，后来国粹主义抬头，中国研究随之复苏。因此，日本的中国学者，大都主张保持和发扬东方固有文化，与胡适的倾向很不一致。青木正儿反儒学，实属罕见。鲁迅从在京都研究文学的沈尹默处听说“青木派亦似有点谬”（《鲁迅全集》，第11卷，391页。），当反映京都学派主将们的意见。即使这样的新派，也自称有“乾隆文化的讴歌癖”（［日］青木正儿：《杭州花信》，见《江南春》，4页。），其论文不仅指出文学革命重形式而忽视内容的不足，来函还声称“很爱中国旧世纪的艺术，而且遗憾的事情不鲜少”，希望倡导新文艺者发扬中国之长，而以西洋文艺的优点翼补所短，以“做一大新新的真文艺”（《胡适年谱》，88页。）。
来华登门拜访者，更直接表达了对胡适主张的怀疑。1920年至1921年间留学中国的诸桥辙次来访，笔谈中除称赞胡适赠阅的《中国哲学史大纲》及请教关于中国家族制度研究的参考书外，提出两大问题，其一，宋代自由思想郁兴，学术发达的主因为何。其二，“近年敝国人之研究经学者，多以欧米哲学研究法为基，条分缕析，虽极巧致，遂莫补于穿凿。弟私以为东洋经术、西洋哲学既不一，其起原体系研究之方法Method，亦宜有殊途。然而弟至今未得其方法，又未闻有讲其方法者。请问高见如何？”
对于前者，胡适的回答是印度思想输入融化。精于宋学的诸桥辙次怀疑单纯外因的力量，强调内部思想发展及相互影响作用。对后者胡适可以说答非所问，他说：“鄙意清代经学大师治经方法最精密。若能以清代汉学家之精密方法，加以近代哲学与科学的眼光与识力，定可有所成就。”并举所著《中国哲学史大纲》的导言和《清代汉学家之科学方法》以供参考。（参见《胡适和诸桥辙次的笔谈》，见《学术集林》，第10卷，上海，上海远东出版社，1997。）其实，胡适的中国哲学史著作，同样有诸桥辙次所指之弊病。而诸桥辙次的问题，至今仍然困扰东方学术，实在是20世纪国际学术发展的根本难题。以胡适的世界主义观念及其对西洋科学方法的崇拜，很难虑及于此。在他看来，治世上一切学问皆可以一种科学方法。
此外，诸桥辙次还来函提问：“一、中国领土广大，南北各异，语言以白话代文言，宁不招国语紊乱而致人心乖离吗？二、文言有固定性质，白话有进化性质，若以白话代文言，则朝变暮改，还可期系统的发达吗？三、学童所修专是白话，则彼成人之后，不训读文言，则旧库载籍岂不空束高阁了吗？则禹域3000年文化将荡然扫地。请问有何办法可救此弊？”（《胡适年谱》，93页。此为编者归纳的大意。）诸桥辙次后任文理科大学教授和静嘉堂文库长，多次来华，1930年3月到上海访书时，与胡适再会。（参见《张元济年谱》，336页。）所言足以代表一般来华日本学者“往往替‘东方的遗产’抱着过分的忧虑”（《胡适书信集》中册，662页。）的态度。他后来回忆与中国学者的交往，还是以遗老派旧人为首为主，对胡适不过附带提及。（参见［日］诸桥辙次：《支那学者の思ひ出》，见《支那の文化と现代》，85～94页。）1921年来华留学的东京帝国大学研究生竹田复，也曾到北京大学向胡适请教关于五四运动的事。（参见《学问の思い出：竹田复博士を围んで》，载《东方学》，第37辑（1969年3月）。）
此后，胡适相继认识了久住中国的日本著名汉学家小柳司气太、主持三井公司下设中国研究室的今关寿麿以及先入《顺天时报》社、后来在东方文化事业总会的桥川时雄。前者已是苍然老人，崇信儒教，认为：“儒教为中国文化一大宗，其中有几多真理，一旦弃去，甚为可惜。”他邀请胡适加入日本学者服部宇之吉、宇野哲人、狩野直喜、井上哲次郎等组织的提倡儒道的斯文会。胡则“只认儒教为一大宗，但不认他为唯一大宗”，遂以不赞成儒教而婉拒其请。但双方仍有来往，胡适在其宴席上还认识了刚从欧洲归来的京都大学羽田亨教授，对这位通数国文字，著有《西夏纪年考》等书的东洋史专家印象颇佳，知其携有敦煌文书影本四千余卷，将次第印行，认为“此极好事，我们都应该感谢”。羽田亨后任京都大学校长，是首位中国学家出任这一职务。小柳司气太回国时，胡适还为之饯行。（参见《胡适的日记》，133～134、235、265、273页。）今关寿麿送给胡适自作的《宋元明清儒学年表》，两人就中日两国学术发展交换看法。今关寿麿称日本近代史学受崔述和汪中的影响最大，胡适则认为主要是西洋学术的影响，并谓：“日本史学的成绩最佳。从前中国学生到日本去拿文凭，将来定有中国学生到日本去求学问。”（《胡适的日记》，437～438、517页。）此言后来应验，但陈寅恪予以讥讽。（陈寅恪1929年5月《北大学院己巳级史学系毕业生赠言》：“群趋东邻受国史，神州士夫羞欲死。田巴鲁仲两无成，要待诸君洗斯耻。天赋迂儒‘自圣狂’，读书不肯为人忙。平生所学宁堪赠，独此区区是秘方。”（《清华园日记·西行日记》，42页）此前内藤湖南也曾说会有中国学生来日本学中国学问，人多以为戏言，不料很快成真。）
小柳司气太、今关寿麿均长期在华，与中国学者广泛交往，对胡适的看法似不佳。小柳承认中国学问还是中国学者高明，确为洞见，但所说“即使架上梯子也不能望其项背的伟大的学者”，却是“深居简出”的人，显然不包括胡适。（参见［日］长与善郎：《回想鲁迅》，载《华文大阪每日》，第4卷第8期（1940年4月15日）。）今关寿麿曾于1922年出版关于中国现代学术界的小册子，后来又写成《近代支那の学艺》，全面检讨当时中国学术界的状况。他认为，概言之，现代为学界衰敝时代。虽然北大一派用西洋科学方法整理旧学术为新的开端，但前景未可乐观。（参见［日］今关天彭：《近代支那の学艺》，21～25页，东京，民友社，1931。）所列举中国诗文界各派代表，也没有白话文学的地位。不过，今关寿麿后来有兴趣于佛教史，1935年在北平读了胡适的有关论著，虽认为多踏袭日本学者的新说，但加入中国材料，利用敦煌文书，且善于整理安排，令人一目了然，遂将5篇关于禅宗史的论文译出，辑为《支那禅学の变迁》一书。事前他曾函告胡适，以征得其同意。1936年6月23日胡适复函称：“先生如要译拙著，但请自由翻译，不必征求我的同意。印出后，乞赐一份，为惠多矣。铃木大拙先生已往英国，想今年可归。我本年七月十四日从上海赴美洲，在东京有一日句留，或可与先生相见也。”（胡适著，［日］今关寿麿译：《支那禅学の变迁》，1～2、138页，东京，三秀舍，1936。此次胡适过日，日本各界反应冷淡，似未与今关寿麿见面。）
桥川时雄是现代日本与中国学者交往最广之人，他见胡适时，后者正在筹办《国学季刊》，告以非刊登王国维的论文，不足以为刊物增色，而王则反对横排版。在胡适的交涉之下，王国维愿意妥协，杂志得以出版。王国维称，他让步是因胡适为当今学界最好的人。而当时胡适在北大派对王国维的一致推许中尤为佩服后者的学问。（参见《学问の思い出——桥川时雄先生を围んで》，载《东方学》，第35辑（1968年1月）；［日］神田喜一郎等：《追想王静安先生》，见《追忆王国维》，384～397页。）其间桥川时雄将胡适的《五十年来中国之文学》译成日文。
1927年4月，胡适自美洲返国，因国内政局不稳而羁留日本二十余日，会见了东西两京的中国学者。其间胡适无日记，只是在给董康《书舶庸谈》所作序言中含糊提及，这时同样避祸于日本的董康所交往的东西两京学者，与其大体相同，有关情形多语焉不详。其实此行颇为典型地反映出胡适与日本学者的关系。他结交的主要是研究佛教的名家，如高楠顺次郎、常盘大定、佐伯方丈、矢吹庆辉等人，在后者家中见到从伦敦影印的敦煌写本《坛经》，因未编新目，所以胡适漏过。高楠顺次郎等劝胡适早日把神会的遗著整理出来，矢吹庆辉还寄赠敦煌本《坛经》影本。两年多后，胡适终于编定《神会遗集》4卷，并寄一份给高楠顺次郎，供其续刊《大藏经》之用。（参见《胡适的日记》，手稿本，1927年5月5日；《〈神会和尚遗集〉序》，见《胡适文存》，第4集，290～291页。）
1933年10月，胡适由加拿大归国，路过横滨，会见另一著名佛教研究者铃木大拙，又听说日本新发现北宋本《六祖坛经》，并在回国后得到铃木大拙寄赠的京都堀川兴圣寺所藏该书影本，胡适据此写了《〈坛经〉考之二》。日本的佛教研究在国际学术界享有盛名，而铃木大拙等人对胡适所治禅宗史颇不以为然。
至于东京帝国大学东洋史和中国史的学者，与胡适的精神距离较大，服部宇之吉访问北大时，曾指责北大不尊孔和废讲经。（参见《对于祀孔问题之我见》，见《吴虞集》，239～240页。这种分歧可见于1935年11月30日胡适答室伏高信函（见《胡适来往书信选》中册，662页）。）此前胡适又拒绝加入斯文会，因而较少往来。先此，他在伦敦看敦煌卷子时，东京帝国大学的宇野哲人刚好也在，后两人又同时出席法兰克福中国学院大会，但似未接谈。此行与东京帝国大学的关系，唯一找到的记载是5月5日由该校辩论部邀请他在34号教室演讲“中国的文艺复兴”。这在胡适已是老生常谈，却又因时而异，重点强调非政治性的文艺革命是要在辛亥革命之后教育国民，使之进入新的国民运动。斯文会的机关刊物《斯文》报道了这一消息，所加附记称，因胡适来去仓促，无暇相与论学谈文，感到遗憾，并以该刊附录《西游杂剧》，表示愿为其海外新知己。（《胡适氏の帝大に於ける讲演》，载《斯文》，第9编第6号（1927年6月）。）
胡适意外滞留日本，本无要事，与其说客观上忙，不如说是主观上想避。他后来曾对东京帝国大学出身的一户务明白表示，东京帝国大学只对汉学（指日本传统汉学）感兴趣，不懂真的中国文化学术。世界上研究中国文化之地，只有巴黎、京都和北京。在他看来，东京帝国大学支那哲文科出身者不过是汉学塾生而已。（参见《支那と汉学者》，见《支那の发见》，124页。胡适对东西两京中国文史哲研究者的看法，既有亲身接触的印象，也可能受青木正儿的影响。青木正儿曾函告吴虞：“东京的学者，于其研究态度，多有未纯的地方。他们对孔教犹尊崇偶像，是好生可笑。我们京都的学徒，这等迷信很少。”（《吴虞日记》下册，14页））这一令一户务在心底久久难忘的评语，将胡适对东京帝国大学中国学研究者的态度和盘托出，也是双方难以接近的要因。
在京都，胡适和吴学义拜访了狩野直喜，后者即将定年退官，遂临时在乐友会馆召开支那学会，请胡适演讲，狩野直喜、铃木虎雄、仓石武四郎以及京大学生数十人出席。胡适顺应京都学派尤其是狩野直喜的主张，说不能只研究“虏学”，即周边民族，必须研究中国本部，幸而京都有这方面的优秀学者，自己十分佩服，希望在场的学生多向狩野直喜、铃木虎雄请教。因听众中文程度不够，胡适的演说中英文参半，仓石武四郎致闭会词时称这显示了日本学界的落后。一年后，仓石武四郎赴中国留学，努力学作中国人，并曾拜访胡适，归国后还保持中国式的生活习惯，或与此不无关系。（参见《胡适》，见《吉川幸次郎全集》，第16卷，431～433页；《胡适来往书信选》下册，284页；《〈书舶庸谈〉序》，见《胡适文存》，第4集，601页。）