与此同时，国内人民和留欧的学生密切注意着巴黎和会的进展，留欧学生还为此组成了团体，并选举了领导人物。他们要求中国的外交代表必须向和会提出废除二十一条。在此情势下，中国代表团遂又提出请求和会取消1915年5月25日的中日协约及换文的陈述书。但是，以上两项提案在提交到和会最高会议时，都遭到了拒绝，帝国主义国家认为中国的要求不在和会讨论内容的范围之内。和会议长即法国总统克里孟梭在回复中国代表的信函中说道：“联盟共事领袖各国最高会议，充分承认此项问题之重要，但不能认为在和平会议权限以内。”既然两项提案均遭到拒绝，那么唯一的希望就是山东问题能够顺利解决了。山东问题的由来还要追溯到1914年，1914年8月23日，日本对德国宣战，经70多天激战，于11月7日全部占领德国租借地胶州湾。1915年1月，日本向中国提出“二十一条”，北洋政府在5月9日接纳了其中大多数的要求，这原本日方要求保密的协定，为新闻界所得知，并将此协定公告于天下，激起了国内爱国人士的抵抗情绪，使中国知识分子及民众对于日本以及“卖国”政府强烈的不满，认为这是巨大的国耻，同时也引发了不少反日的活动，这种情绪在五四运动中得到了进一步发展并且对推动运动的进展发挥了很大的作用。1917年8月14日，北京政府向德国宣战，成为第一次世界大战的“参战国”。1918年初，日本向段祺瑞控制下的北京政府提供了大量的贷款，并协助组建和装备一支中国参战军，其贷款还被用于“安福国会”庞大的贿选开支。同年9月，北京政府与日本交换了关于向日本借款的公文，作为借款的交换条件之一，又交换了关于山东问题的换文，其主要内容为（：1）胶济铁路沿线之日本国军队，除济南留一支部队外，全部均调集于青岛。（2）关于胶济铁路沿线的警备：日军撤走，由日本人指挥的巡警队代替。（3）胶济铁路将由中日两国合办经营。北京政府在换文中，对日本的提议“欣然同意”。驻日公使章宗祥向日本政府亲递换文，后被北京学生痛殴。虽然中国对德宣战，与日本同为战胜国，但德国在山东的权益没有收回，反而被日本扩大了，这一换文成为巴黎和会上日本强占山东的借口。
1月27日，“五人会议”讨论德属殖民地的问题，中国代表被指定列席。在会议上，日本代表提出事先准备好的日本政府宣言书，声称胶州湾租借地以及铁路即德国在山东的所有权利，应该无条件让与日本。日本代表发表了1917年初英、法、俄、意、日五国签订的秘密文件，即承认日本的上述要求。中国代表对山东问题竟毫无准备，他们认为山东问题可以包括在希望条件和废除“二十一条”的提案中了，因此，当日本代表提出上述宣言后，他们感到很狼狈，只好说希望等中国代表申诉理由后，再进行讨论。第一次讨论山东问题的会议，就这样结束了。1月28日，又开“五人会议”，中国代表列席申诉理由，从山东的历史、地理、文化各方面说明：“胶州湾租地、胶州铁路及其他一切权利，应直接交还中国。青岛完全为中国领土，不容有丝毫损失。”随后日本又作了发言，第二次讨论山东问题的会议便又结束了。这次会议结束以后，日本政府对北京政府施加压力，日本驻京公使于2月2日亲至外交部质问。全国舆论十分愤激，而北京政府外交部于2月10日发表的正式声明中竟说：“中日两国现正谋亲善之实现，更不应有何误解，盼望我两国代表在巴黎会议中，勿再生何等之误会。”3月10日，日本首席代表发表关于山东问题的宣言，声称日本现在享有德国在山东的各项权利，是合法的，而且由中国自行让与了，有条约为证，将来如何办理，由日本和中国直接解决，和会及其他国家无权过问。4月29日，英美法三国会议，日本代表被邀出席。30日，续开三国会议，议定了巴黎和约关于山东问题的下列条款：第一，德国将按照1898年3月6日与中国所订条约及关于山东省的其他文件，一切权利及特权，全部归于日本。
第二，在胶州湾领土内的德国国有动产、不动产均为日本获得，并继续为其所有，各项负担概行免除。第三，德国应将关于胶州湾领土内的民政、军政、财政、司法或其他各项档案，无论存放何处，自本约实行起三个月内移交日本。
就这样，经过几个月的讨论，中国在巴黎和会上毫无收获，而日本夺取到的山东权益却被明文规定下来了。但就是这样“历史所罕见”的条约，北京政府的外交代表竟也准备考虑签字了。
（三）消息传到国内
当巴黎和会召开的时候，中国人民正密切关注着它的进展。公理不是战胜强权了吗？但中国代表提出的条件和废除二十一条的要求，竟然被和会拒绝讨论，这不能不使人们产生怀疑。中国代表团因山东问题在和会上与帝国主义国家发生争执，而在华的日本公使2月时就不断地向北京外交部施加压力。这一事件，引起中国人民的极大愤慨。北京大学的学生是从蔡元培先生那里得知巴黎和会的失败消息的。许德珩回忆说：“5月2日，我从蔡校长那里听到了这个晴天霹雳的消息，便约集参加《国民杂志》社的各校学生代表，当天下午在北大西斋饭厅召开了一个紧急会议，讨论办法。高师的一位学生代表夏秀峰当场咬破手指，写血书，大家激动的眼里要冒出火来。于是发出通知，决定5月3日晚7时在北河沿北大法科大礼堂召开全体学生大会，并约北京十三个中等以上学校代表参加。”
另一个当事人张国焘也曾回忆说：“1919年5月2日下午7时，国民杂志社像往常一样举行会议；参加者也是原有的十多个社员，议程也只是讨论杂志的出版事务。可是到会者不约而同地谈到中国在巴黎和会受屈辱的情形，以及曹汝霖等腼颜媚日和山东及其他各地人民团体奋起救国等消息，气氛异常激昂。这次会议以责无旁贷的爱国精神立即决定：由国民杂志社通告北大全体同学，于次日晚上七时在北大第三院大礼堂举行学生大会；并邀请高师、工专、农专、法专等学校派各代表或热心分子参加，讨论目前应采取的步骤。”巴黎和会中国外交的失败是五四运动的直接导火线。
5月3日夜晚，本应是周末学生休息的时候，但北大校园内早已经沸腾起来了，他们都得到了晚上召开全体大会的通知。学生们已经无法安心读书了，纷纷奔向北河沿法科礼堂，去讨论如何拯救自己的祖国。校园里随处可以听见大骂曹、章、陆三个卖国贼的声音。也正是在这时，陈独秀为《每周评论》写下了号召人民起来“直接解决”的评论，他指出“：巴黎的和会，各国都重在强调本国的权利，什么公理，什么永久和平，都成了一文不值的空话。”他号召说：“我看这两个分赃会议，与世界永久和平人类真正幸福，隔得不止十万八千里，非全世界的人民都站起来直接解决不可。若是靠着分赃会议里那几个政治家外交家，在那里关门弄鬼，定然没有好结果。”这是陈独秀为第二天出版的《每周评论》所写的文章，学生们虽然在5月3日还不能直接读到这篇文章，但是其中的思想已经在他们中间广为流传和接受。
北大法科礼堂内外，挤满了来开会的学生。除北京大学一千多同学全体参加外，出席的还有十几所学校的学生代表。大会推举廖书仓为临时主席，法科学生谢绍敏悲愤填膺，当场将中指咬破，血书“还我青岛”
四字，揭之于众，这大大激起了学生的爱国情绪，会议的气氛在瞬间达到高潮。有些学生提议：“在章宗祥由日本回国时，留日的学生就把写有卖国贼的小旗帜投到他的车子里，既然留日的学生身在异国就有如此强烈的爱国之情，那我们身在祖国，还等到何时报效祖国呢？我们要把旗帜扔到他们家去。”这个提议得到大家的热烈响应。于是，他们决定在5月4日举行游行示威运动。大会还对具体工作作了仔细的分工。这次会议结束时，已经是深夜十一点了。会议结束后，学生们更加忙碌地分头筹备起来。有的负责联络其他学校，有的准备宣传、电报、传单；更多的人则是准备大旗、小旗、标语等。许德珩在后来的回忆中写道：“我于宣言写好后把自己的白布床单撕成条幅，书写标语，一直搞到天亮。”有的同学咬破手指，血书标语。这次游行的主要目的是废除曹汝霖、章宗祥、陆宗舆，拒绝在合约上签字，还我青岛，废除二十一条。于是这些要求全都体现在了条幅上和学生精心准备的小旗帜上了。5月3日晚上，除了北京大学学生在积极准备外，有的学校，比如北京高等师范，其学生社团也在秘密活动着。