1894年6月经过巴黎国际体育会议协商，历史名城雅典，赢得了首届现代奥运会主办权。
希腊首都雅典，位于希腊东南部的阿蒂卡半岛西侧，三面环海，气候宜人。这个今日希腊政治、文化、经济的中心，在古希腊时期就是重要竞技场所之一。它特别重视文化教育，强调把智育、德育、体育。美育四者结合起来培育人才，创建了光辉灿烂的雅典文化。如果说，希腊是欧洲古代文明的摇篮，雅典则是这个摇篮的中心，闻名世界体坛的古奥运会发源地奥林匹克亚，也在离这里约300公里的地方，因此，首届奥运会选在这个古城举行是有其重要历史意义的。
巴黎国际体育会议结束以后，国际奥委会第一任主席泽维凯拉斯将召开奥运会的喜讯带回了雅典。争议喜讯让雅典的所有人都兴高采烈的谈论着奥运会。但是不久后，雅典首相就向维凯拉斯提出了由于经费问题，要求缓办奥运会。顾拜旦得到这一消息匆忙的赶到雅典与维凯拉斯会和，来到当时已是废墟雅典古运动场遗址。顾拜旦明白在这样的废墟上重建运动场需要一大笔资金的，于是他抱着一线希望
求助于希腊王储。经过了一番说服工作，王储接管了筹备奥运会的一切工作，这引起了首相的强烈不满，国王乔治一世又公开支特王储，迫使特里库皮斯辞去了首相职务。一国高级官员，因奥运主办问题辞职这在奥运会史上是仅有的一次。
希腊人通过募捐、发行邮票筹集了不少资，但运动会能顺利召开，最后还得力于希腊富商乔治.阿维办夫（1814－1899）他赠献了一百万德拉马巨款，在古运动场的废墟上重建了大理石运动场。为了纪念阿维罗夫对运动会所作的贡献，希腊人在雅典广场为他建造了一座塑像，并在运动会开幕前一天举行了揭幕典礼。
第一届奥运会终于在1896年4月6日开幕了。这是历届奥运会举行月份最早一次。东道主之所以将开幕式选在这一天，是为了纪念希腊反抗土耳其统治起义75周年。
4月6日下午3时，希腊国王乔治一世宣布了大会开幕。维凯拉斯、顾拜旦等国际奥委会官员出席了开式。在开幕典礼中，演奏了一曲庄严的古典弦乐，1958年国际奥委会将它定为奥运会会歌。希腊人对这次大会表现了极大的热情，出席开幕式的观众达8万人，这一数字直到1932年洛杉机奥运会才被突破。希腊向世界各国都发出了邀请，但由于大多数国家在当时对奥运会都不甚了解，所以只有少数国家应邀参赛，应邀参赛的有澳大利亚、奥地利、保加利亚、英国、匈牙利、德国、丹麦、美国、法国、智利、瑞士、瑞典和东道主希腊13个国家的311名运员，希腊阵容最大，共230人占总数的三分之二；德国、法国各19人；美国14人，居第四位。首届奥运会沿袭了古奥运会的旧制无女子参加。1894年在巴黎会议上制订的奥林匹克宪章明确规定，各项比赛只许业余运动员参赛，但击剑可以例外。对于选手的参赛项目在这次奥运会中没有做出特别的要求。
本届比赛项目有田径、游泳、举重、射击、自行车、古典式摔跤、体操、击剑和网球9个大项。
比赛于4月6日当天正式开始。美国詹姆斯·康诺利在三级跳远赛中旗得胜，成绩是13.71米，成为现代奥运会的第一个冠军。美国是这次田径赛中的宠儿，在康诺利夺冠后两小时，又一选手在希腊人自认为可稳操胜券的铁饼项目中获取桂冠。他是来美国普林斯顿大学的学生罗伯特·加勒特。他掷出了29.15米，胜了希腊人。后来他还获得了铅球第一名。100米决赛于4月10日进行。由于都是业余选手起跑姿势，可以说是千姿百态，只有美国的托玛斯·伯克采用了近似“蹲踞式”的跑法，他以12秒整的成绩夺得了冠军，这也是他继400米赛后又一次取得的胜利，伯克在100米预赛时曾以11秒8创造了这个项目的第一个奥运会纪录。
本届110米跨栏，实际距离是100米，栏也只有8个。报名参赛的只有7名运动员，无法按原计划分为三组预赛，临时改为两组，各组选二名进入决赛。可是后来获得决赛权的美国乌·霍伊特和匈牙利的绍·索科伊因故没有出席。最后决赛只有两人参加，来自波士顿体育协会的美国跨栏冠军托玛斯·柳蒂斯摘下了这顶桂冠。美国在这次田径赛中，显露了强大实力，获得了12个项目中9项冠军。
本届奥运会最为热烈的还要说是马拉松比赛，马拉松这个项目是为了纪念古希腊英雄菲迪皮得斯而设立的，公元前490年希腊在马拉松河谷以少胜多，大败入侵的波斯军。当时担任传令兵的菲迪皮得斯奉命把这一胜利消息迅速告知固守待援的雅典，他不顾疲累，从马拉松跑到雅典，到达雅典后已精疲力尽，只说了一句“我们胜利”！就倒毙在广场上。雅典马拉松赛，是昔日菲迪皮得斯所跑过的路线，在马拉松至雅典之间，全程40公里。希腊对这项比赛非常关心，因为田径项目开赛后，希腊接连遭到失利，还未拿到一项冠军，而马拉松赛，是他们寄予希望的唯一一个项目了。
比赛于4月10日进行，参赛的有4个国家的17名运动员。气氛十分热烈。当时雅典只有13万5千人，而观看这次马拉松赛竟达10万人之多，当身着浅蓝背心的希腊人斯皮里东·鲁易斯第一个冲入运动场时，全场雀跃，欢声雷动。担任在会总裁判的希腊王储康斯坦古情不自禁地陪随着鲁易斯跑向终点，国王乔治一世也步下观礼台，迎接着这位凯旋的英雄。一束束鲜花，一件件礼物，投向鲁易斯的身旁，抛向的他的脚边。赛后，他获得了希腊民族英雄的光荣称号，回到了偏僻的家乡，当上了一名乡邮迪员，和妻儿一起过着清贫的生活。1940年他去世了，人们为了纪念他，在他的墓碑上刻下了奥林匹克五环的标志。
游泳比赛在公海举行，用浮艇拉着缆绳作为起终点标志线。距离未经过他细测量，只是大致估算。匈牙利仅有一名选手，18岁的阿尔弗雷德·哈约什获得了100米、1200米自由泳两项冠军，成为匈牙利第一个奥运会金牌获得者，被希腊报赴誉为“匈牙利海豚”。
本届游泳赛还专为停泊在比鲁士港口军舰上的水手设立了一项100米自由泳水兵赛，原日程表上没有，是临时增加的。这表明当时对比赛项目设立还不是很严谨的。虽有14人报名，实际参赛的仅有3名希腊水手。举重、摔跤在当时未按体重分级。举重只有单手举和双手举两项。英国劳·埃利奥特在单手举中以71公斤取胜。
举重赛胜的埃利奥特，同时也是摔跤选手，不过他只获得了第四名，获得冠军的是身体灵巧、体重比所有对手都轻的德国人卡.舒曼。舒曼也是跨项选手，除摔跤外，他还参加了田径、体操比赛，他在体操赛中，取得了出色的成绩，获跳马冠军和双杠、单杠团体第一名，加上摔跤，总共4项第一，是本届获金牌最多的选手。
本届击剑只有花剑、佩剑两剑种，人业余和职业两种比赛。法国埃.搭拉夫洛特和希腊杰·乔吉亚季斯分获了业余赛的花剑和佩剑冠军。职业赛只有花剑一项，冠军为雅典击剑学校的老板、著名职业剑手莱昂·皮戈斯获得。
自行车比赛共6个项目，其中5项安排在赛车场。另1项是公路赛，东道主别出心裁地把它设为马拉松赛。路线是从雅典到马拉松再折回到雅典，全程87公里。当时没有特制赛车，加之道路崎岖，车经常出现毛病，甚至无法骑驶。获得冠军的希腊阿·康斯坦古尼迪斯历经两易车才赛完全程。奥地利阿·施马尔最后获得了金牌。100公里赛的9名选手只有两人骑完全程。法国莱·弗拉明不仅摘取了这个项目的桂冠。自行车赛最为突出者是法国的保罗·马松，他一人独得了短距离赛2000米和10000米3个项目的冠军。
4月15日，历时10天的首届奥运会结束了。美国共获得11枚金牌、7枚银牌和1枚铜牌；希腊次之，金、银、铜牌依次为10、19、17枚；德国名列第三，金牌6.5枚，银牌5枚，铜牌2枚。德国的半枚金牌，是其网球选用弗里茨·特劳恩与英国约翰·博兰德合作在双打中获得的。
闭幕式后，希腊国王王宫设宴招待了各国运动员和官员，奥运现代史上的第一届就这样在欢乐和热烈的气氛中画上了完美的句号。