雅典奥运会成功举行后，希腊人对于奥运会产生了极大的热情，希腊人认为奥运会时希腊文化的一部分，他只能在希腊举行，在第一届奥运会结束时希腊国王亲自出面，要求将雅典定为奥运会的永久会址。当时已接替维凯拉斯任国际奥委会主席的顾拜旦说，奥林匹克运动是希腊的，也是全世界的奥运会必须在不同国家举行，才能使之具有国际性和富有生命力。希腊终于被说服，巴黎赢得了主办权。
世界名城巴黎，虽法国首都位于巴黎盆地中央，横跨塞纳河两岸，水陆交通方便，是举行国际比赛的理想地方，巴黎有世界花都之称，人们一想到它，就很自然地联想到世界上的第一个无产阶级政权——巴黎公社，想到巴黎圣母院、罗浮宫、埃菲尔铁塔、凯旋门等这些名胜古迹。
但是法国政府对博览会的兴趣远胜于奥运会，承办两项会务的主要微人阿夫雷德·皮卡尔，他把主要精力放在博览会上，而对奥运会的比赛项目，日程、场地等均无周密安排，更谈不上花费巨款去兴建体育设施。顾拜旦竭尽全力，多方游说，但一无所成。
运动会于5月20日至10月28日进行，比赛日程安排得很不紧凑，如击剑赛安排在6月，田径体操赛在7月，游泳、赛艇在8月，自行车赛在9月，等等，整个运动会开了5个多月，堪称是一次“马拉松”式的运动会。比赛场地也很分散，大会组织者竟别出心裁，将比赛项目按博览会工业类别分在16个区域进行。例如，击剑被安排在刀剑制造工业区，划船安排在救生系统展览区等，实际上，运动会成了博览会的一部分，成了展览会招揽观从的体育表演。
巴黎对待奥运会是冷淡的，但它仍然以其繁华和驰名世界的风光，吸引不少参加者。参赛国家达21个，运动员共1330人，这比上届要多得多。特别是运动员中有11名女子，突破了古代奥运会和现代第一届奥运会不许女子参加的禁令。虽说这次女子参赛并未得到国际奥委会正式认可，却开创了女子走向世界体坛的先例。这次率先派女子参赛的不法国、英国、美国、和波希米亚。东道主派出了884名运动员组成的宠大选手团，人数居首位；英国次之，共103人；美国列第三位，共74人。首次参赛的有比利时、波希米、海地、西班牙、意大利、加拿大、古巴、荷兰、挪威和印度。印度选手是一名就读于英国，名叫诺.普理查德的学行，他随同英国代表团来到巴黎参加了这次盛会，并在田径赛中获得两枚银牌。他是亚洲第一个参加奥运会和获取奖牌的运动员。
集体项目被列入本届比赛，这是一个重大的可喜的突破，古奥运会进行的只是个人之间比赛。第一届奥运会时，尽管一些集体项目已在欧美等国广为流行，但为了遵循古奥运会的传统仍未能列入比赛。足球就是这样。
巴黎奥运会比赛场地不仅分散，而且设施很差。田径赛场被安排在巴黎市区一个林场进行。那里原是法国赛马俱乐部的跑马场。虽然环境优美，空气清新，但不适举行田径赛。它场地狭小，林木横生，土质松软，跑道不平，场内设施几乎一无所有。不过，这次田径比赛条件虽差，仍取得了良好成绩，创造了14项奥运会纪录，其中有6项高于当时的世界最高水平，有的纪录还保持了多年，如美国弗·贾维斯在100米预赛中所创的10秒8奥运会纪录，直到1924年奥运会再次在巴黎举行时，才被英国哈·亚伯拉罕突破。本同田径项目由上届的12项增至24项。首次列入了障碍赛、立定跳、团体跑，以及拔河赛等。
上届奥运会田径成绩领先的美国队，这次又获得了24项中的17项冠军，树立了田径强国的形象。佼佼者中首推阿·克伦茨莱因，他除获跳远冠军外，还夺得60米跑、110米栏和200米栏3项第一名，成为第一个在一届奥运会个人赛中四夺金牌的选手，也是本届获得金牌最多的运动员。在这届奥运会上，还有一位运动员虽然所得金牌比克伦茨莱因少，但后来名气要大得多，他就是在美国有橡皮人之称的雷·尤里。他一举夺得立定跳高、立定跳远和立定三级跳远3项冠军。四年后，他在圣路易奥运会上重复了这一成就。
就这样第二届奥运会在法国人的冷淡及设备不全中结束了，又将迎来的是4年后的第三届奥运会。