在1894年6月，经过巴黎国际体育会议与会代表的协商，历史名城雅典，赢得了首届现代奥运会的主办权。希腊首都雅典，坐落于希腊东南部的阿蒂卡半岛西侧，三面环海，气候宜人。这个今日希腊政治、文化、经济的中心，在古希腊时期就是重要竞技场所之一。它特别注重文化教育，强调把智育、德育、体育和美育四者结合起来培育人才，创建了光辉灿烂的雅典文化。如果说，希腊是欧洲古代文明的摇篮，那么雅典则是这个摇篮的中心，闻名世界体坛的古奥运会发源地奥林匹克亚，也在离这里约300千米的地方，因此，首届奥运会选在这个古城举行有其重要历史意义。
希腊首相特里库皮斯提出，因经费问题，要求缓办奥运会。顾拜旦得知这个消息后，1894年10月底，他仓促地从巴黎坐火车到达马赛，然后乘轮船奔赴雅典。到达雅典后，他与第一届奥委会主席维凯拉斯略事寒暄，就来到雅典古运动场遗址。
当顾拜旦见到断垣残壁、满目荒凉的景象时，心一下凉了半截。在这样的废墟上重建运动场是需要一大笔资金的。钱又如何筹措呢？雅典首相的态度，遭到了反对派的强烈指责，也引起了雅典市民的不满。于是他抱一线希望求助于希腊王储。
希腊王储康士坦丁，是一个26岁的英俊青年，威猛有力，喜爱运动。王储被说服了，顾拜旦不虚雅典之行。
王储接管了筹备奥运会的一切工作，这引起了首相的强烈不满，国王乔治一世回国后，又公开支持王储，迫使特里库皮斯辞去了首相职务。一国高级官员，因奥运会主办问题辞职这在奥运会史上是仅有的一次。
筹备工作中的障碍消除了，为了筹集资金，希腊全国各地掀起了募捐运动，募集了332756德拉马，但这只是杯水车薪。为了弥补资金不足，希腊政府拨款40万德拉马，邮政部门利用这笔款，发行了一套以古奥运会历史为题材的邮票，高于面值出售。这是世界上第一批奥林匹克邮票。希腊人虽然通过募捐、发行邮票筹集了不少资金，但运动会能顺利召开，最后还得力于希腊富商乔治·阿维办夫（1814-1899年），他赠献了一百万德拉马巨款，在古运动场的废墟上重建了大理石运动场。为了纪念阿维罗夫对运动会所作的贡献，希腊人民在雅典广场为他建造了一座塑像，并在运动会开幕前一天举行了揭幕典礼。
第一届奥运会克服重重困难，终于在1896年4月6日开幕了。这是历届奥运会举行月份最早一次。东道主之所以将开幕式选在这一天，是为了纪念希腊反抗土耳其统治起义75周年。
4月6日下午3时，希腊国王乔治一世宣布了大会开幕。维凯拉斯、顾拜旦等国际奥委会官员出席了开幕式。在开幕典礼中，演奏了一曲庄严的古典弦乐，1958年国际奥委会将它定为奥运会会歌，会歌作曲者为希腊萨马拉斯，作词者为帕拉马斯。希腊人对这次大会表现了极大的热情，出席开幕式的观众达8万人，这一数字直到1932年洛杉机奥运会才被突破。应邀参赛的有澳大利亚、奥地利、保加利亚、英国、匈牙利、德国、丹麦、美国、法国、智利、瑞士、瑞典和东道主希腊13个国家的311名运动员，希腊阵容最大，共230人占总数的三分之二；德国、法国各19人；美国14人，居第四位。美国选手大都来自哈佛、普林斯顿大学。他们是自行组织、自筹经费，抱着到欧洲观光的目的参加的。首届奥运会东道主沿袭了古奥运会旧制无女子参加。对参加国的资格不像今天有非国际奥委会会员国不得参加的规定。希腊向包括中国在内的世界各国发出了邀请，但绝大多数国家因对奥运会不甚了解或其他原因，都未派队出席，中国亦属此列，希腊邻国意大利曾去了一名米兰运动员，这也是意大利派出的唯一选手，大会组委会认为他是职业运动员，因此未被允许参加。
本届比赛项目有田径、游泳、举重、射击、自行车、古典式摔跤、体操、击剑和网球9个大项。原计划中有赛艇项目，后未举行。
战幕于4月6日开幕式当天拉开。美国詹姆斯·康诺利在三级跳远赛中旗开得胜，成绩是13.71米，成为现代奥运会的第一个冠军。他获胜后，运动场奏起了美国国歌，升起了美国国旗。这在以后就成了奥运会的传统发奖仪式。康诺利是美国哈佛大学一年级学生，来雅典时未能获得校方同意，但这位热爱古典文学和体育运动的青年，为神话之国的希腊和运动会所吸引，下决心退了学。当他带着第1枚奥运会奖牌回到母校时，受到了热烈的欢迎。学校认为这既是康诺利的光荣，也是哈佛大学的光荣。
美国是这次田径赛中的宠儿，在康诺利夺冠后两小时，又一选手在希腊人自认为可稳操胜券的铁饼项目中获取桂冠。他是来美国普林斯顿大学的学生罗伯特·加勒特。
100米决赛于4月10日进行。起跑姿势，可以说是千姿百态，有直立着的，有弯着腰的，有双手摊开的，只有美国的托玛斯·伯克采用了近似“蹲踞式”的跑法。他以12秒整的成绩夺得了冠军，这也是他继400米赛后又一次取得的胜利，伯克在100米预赛时曾以11秒8创造了这个项目的第一个奥运会纪录。
雅典大理石运动场呈“U”字形，周长333.33米，长192米，因转弯角度容易出事故，东道主没有设200米项目。这在奥运会中是仅有的一次。
第一届奥运会主场馆——雅典
人民用大理石修建的体育场
美国在这次田径赛中，显露了强大实力，获得了12个项目中9项冠军。但是，雅典奥运会最热烈、最轰动的比赛场面，还是马拉松赛。
奥运会前，法国语言学家米歇尔·布里尔曾赴希腊考察，对马拉松战役中的传奇英雄菲迪皮得斯非常钦佩。布里尔有感于这一英雄事迹，写信给他的同胞、国际奥委会秘书长顾拜旦，建议在奥运会田径赛中，专门增设一项马拉松赛并提出，他愿捐献一个“布里尔银杯”作为对冠军的奖赏。
雅典马拉松赛，是昔日菲迪皮得斯所跑过的路线，在马拉松至雅典之间，全程40千米。希腊对这项比赛非常关心，因为田径项目开赛后，希腊接连遭到失利，还未拿到一项冠军，而马拉松赛，是他们寄予希望的唯一一个项目了。
比赛于4月10日进行，参赛的有4个国家的17名运动员。气氛十分热烈。当时雅典只有13万5千人，而观看这次马拉松赛竟达10万人之多，真可说是“万人空巷”。当身着浅蓝背心的希腊人斯皮里东·鲁易斯第一个冲入运动场时，全场雀跃，欢声雷动。担任大会总裁判的希腊王储康斯坦古情不自禁地陪随着鲁易斯跑向终点，国王乔治一世也步下观礼台，迎接着这位凯旋的英雄。一束束鲜花，一件件礼物，投向鲁易斯的身旁，抛向他的脚边。成千只系着希腊国旗、彩带的鸽子，飞向天空。
本届游泳赛还专为停泊在比鲁士港口军舰上的水手设立了一项100米自由泳水兵赛，原日程表上没有，是临时增加的。这表明当时对比赛项目设立还不是很严谨的。虽有14人报名，实际参赛的仅有3名希腊水手。
举重、摔跤在当时未按体重分级。举重只有单手举和双手举两项。英国劳·埃利奥特在单手举中以71千克取胜；在双手举中，他也举起了同冠军丹麦维·琼森一样的重量。但裁判认为他举起的姿势不如琼森准确、漂亮，所以只得了第二名。
当时对运动员参赛项目没有规定，也没有参赛标准，因此，不少运动员是跨项目的。摔跤赛中这种情况更是突出，如举重赛获胜的埃利奥特，同时也是摔跤选手，不过他只获得了第四名，获得冠军的是身体灵巧、体重比所有对手都轻的德国人卡·舒曼。舒曼也是跨项选手，除摔跤外，他还参加了田径和体操比赛，他在体操赛中，取得了出色的成绩，获跳马冠军和双杠、单杠团体第一名，加上摔跤，总共4项第一，是本届获金牌最多的选手。
1894年在巴黎会议上制订的奥林匹克宪章明确规定，各项比赛只许业余运动员参赛，但击剑可以例外。本届击剑只有花剑和佩剑两剑种，业余和职业两种比赛。法国埃·搭拉夫洛特和希腊杰·乔吉亚季斯分获了业余赛的花剑和佩剑冠军。职业赛只有花剑一项，冠军为雅典击剑学校的老板、着名职业剑手莱昂·皮戈斯获得。
自行车比赛共6个项目，其中5项安排在赛车场。另一项是公路赛，东道主别出心裁地把它作为马拉松赛。路线是从雅典到马拉松再折回到雅典，全程87千米。
4月15日，历时10天的首届奥运会结束了。美国共获得11枚金牌、7枚银牌和1枚铜牌；东道主次之，金、银、铜牌依次为10、19、17枚；德国名列第三，金牌6.5枚，银牌5枚，铜牌2枚。德国的半枚金牌，是其网球选手弗里茨·特劳恩与英国约翰·博兰德合作在双打中获得的。博兰德不是英国代表团正式选手，而是碰巧在这里观光的牛津大学生。他是一名网球爱好者，技痒难禁，临时参加了比赛，不仅在双打中获胜，而且获得了单打冠军。第一届雅典奥运会奖牌闭幕式上，希腊国王乔治一世向获奖运动员颁发了奖牌。当时国际奥委会尚属初创时期，对奖牌质量的成分、规格大小和图案设计等，都无严格的规定，据说，东道主认为金子俗气，奖牌只有银、铜牌两种。授予冠军的是银牌和橄榄环，亚军的是铜牌和月桂花冠，第三名则是只有铜牌。但是，为了统计上的方便，在计算这届奥运会奖牌时，仍按金、银、铜三类计算。
闭幕式以后，国王在华丽的王宫，设盛宴招待了各国运动员与官员，在欢乐和热烈的气氛中依依惜别，并预祝四年后在巴黎再次相会。