但是，奴隶制社会是建立在奴隶主对广大受压迫奴隶的剥削基础之上的，奴隶们为社会创造的巨大财富，也使希腊各城邦积累了不同的财富。与此同时，吞并现象也开始出现，尤其是奴隶主阶级的残酷压迫和剥削激起了奴隶们的不断反抗。
这一切的一切，耗尽了各城邦的国力。再加上伴随着战争而来的瘟疫和灾祸的泛滥，使古希腊元气大伤，由繁荣开始走向衰落。在希腊奴隶制社会开始走下坡路的过程中，古代奥运会也从兴旺走向衰落。
古代奥运会首倡“神圣休战”，可以说“神圣休战”表达了古希腊人对和平的渴望，也为古代奥运会的顺利进行和不断发展提供了可能。但是，战争终究是不可能通过“神圣休战”来阻止和消灭的，恰恰相反，正是战争这一恶魔给古代奥运会带来了灭顶之灾。希波战争结束后，公元前5世纪末发生的伯罗奔尼撒战争导致了希腊奴隶制衰败的开始，也同时成为古代奥运会由兴到衰的转折点。
公元1世纪后期，希腊统治阶层内部矛盾激化，城邦之间相互倾轧，使希腊实力大减。公元2世纪中期，希腊沦为罗马帝国的一个省份。长期战争使古奥运会开始失去它本身的意义。公元393年举行了最后一届古奥运会。第二年，罗马皇帝狄奥多西一世以基督教名义宣布古奥运会是“异教”活动，公开下令废止。公元408年，狄奥多西二世又下令烧毁了奥林匹亚的建筑物。公元423年的大火和公元522年、551年的地震，使奥林匹克发祥地变成了一片废墟，慢慢地被泥沙和岩石覆盖。
古代奥运会大事记
公元前12世纪，奥林匹亚成为祭祀宙斯神的圣地。古代奥林匹克竞技赛会开始举行，参加者多为王子。
斯巴达城邦建立军事体育教育制度，与斯巴达城邦相对应的是雅典教育制度。在两种教育体系中体育都占有很重要的地位。
公元前11～9世纪希腊荷马时代。
公元前884年伊利斯与斯巴达两城邦订立《神圣休战协定》，规定奥林匹亚为举办竞技赛会和祭祀宙斯的圣地，任何人不得侵犯，伊利斯人掌管竞技赛会。
公元前820年斯巴达法学家吕耳顾斯制定了《奥林匹克竞技赛会会章》。
公元前776年希腊纪元开始，斯巴达与伊利斯结成神圣同盟，对赛会实行共管，奥林匹克竞技赛会被正式载入史册，这一年举行的竞技赛会被作为第一届古代奥林匹克运动会。奥林匹克运动会限具有希腊自由公民身份的人参加，妇女、奴隶不得与会。会期1天，项目只有1项场地赛跑（192.27米）。特尔斐国王伊斐图斯任裁判。伊利斯城邦的厨师柯诺依波斯获得古代奥运会史上第一个冠军。
公元前752年第7届古代奥运会举行。前六届运动员的奖品是1只羊或其他实物，从本届起改为用橄榄枝编织的花环作为优胜者的奖赏。竞技赛会由比萨人管理。买塞尼亚的达伊克列斯获得场地赛跑冠军。
公元前732年第12届古代奥运会举行，参加的代表团成员有科林斯、雅典、塞柏斯、斯米尔纳、斯巴达和叙拉古等。
公元前724年第14届古代奥运会举行，首次增设往返场地跑。比萨的赫泊罗斯获得往返跑项目的冠军。
公元前720年第15届古代奥运会举行，增设长距离跑项目。
公元前708年第18届古代奥运会举行，增设五项竞技（赛跑、跳远、铁饼、标枪和摔跤）（单项）比赛项目。
公元前696年第21届古代奥运会举行，雅典的潘达克列斯获场地赛跑冠军。斯巴达城邦一参赛选手被赛场掷出的铁饼击死，为此仲裁委员会作出决定，任何人都不准无故进入投掷区域。
公元前688年第23届古代奥运会举行，增设拳击比赛，并由奥运会委员会修改了拳击有关规则，同时增加少年级两马拉车赛项目。斯米尔纳的奥罗马斯托斯获拳击比赛的冠军。
公元前660年第30届古代奥运会举行，经审查合格后，希腊大陆全体居民都有资格参加比赛。斯巴达的克奥尼斯获得场地赛跑和往返跑比赛的冠军。
公元前648年第33届古代奥运会举行，增设混斗、赛马比赛项目和少年摔跤项目。舍拉克斯的里格达米斯获场地赛跑比赛的冠军。
公元前628年第38届古代奥运会举行，增设少年五项竞技比赛项目。斯巴达的埃特里达斯获少年五项竞技和少年摔跤比赛的冠军。
公元前624年第39届古代奥运会举行，少年五项竞技比赛项目取消。斯巴达的赫波斯特勒斯获摔跤比赛的冠军。
公元前582年传说为纪念海神波赛冬而开始举行伊斯特摩斯竞技会。竞技会于每届奥林匹克竞技会的第2年和第4年在科林斯举行，比赛的项目有划船、跑、跳、投掷、马术以及音乐比赛等。
优胜者的奖品是一个用干荷兰芹和棕榈枝做成的花冠。后来罗马人又将其改为松枝花冠。
公元前580年第50届古代奥运会举行，奥运会裁判由以前的一人改为伊利斯各族人公选两人担任，决定方式为抽签制。此后斯巴达城邦在竞技比赛中的优势急剧下降。
公元前520年第65届古代奥运会举行，首次举行武装赛跑项目的比赛。克诺顿的米隆、赫拉亚的达马瑞托斯和卡里斯托斯的格劳柯斯分别获得摔跤、武装赛跑与少年拳击比赛的冠军。
公元前516年第66届古代奥运会举行，增加少年级混斗项目，号手与传令项目亦被许可参加比赛，奥运会比赛秩序至本届开始完备。克诺顿的米隆和赫拉亚的达马瑞托斯分别获得摔跤与武装赛跑比赛的冠军。
公元前490年希腊在马拉松河谷击败波斯军，斐狄彼德斯两天跑过150英里报捷至雅典气绝。古代奥运会开始进入鼎盛时期。
公元前480年第75届古代奥运会举行，增为9人组成裁判组，并选出裁判长一人，其中3人负责车马赛，3人负责五项竞技，3人负责其他项目。克诺顿的阿斯特洛斯获场地赛跑、往返跑和武装赛跑比赛的3项冠军，安德诺斯的赫诺里莫斯获五项竞技比赛的冠军，萨索斯的塞阿格勒斯获拳击比赛的冠军。
公元前472年第77届古代奥运会举行，运动会会期延长，包括开幕式和闭幕式，总共为5天，裁判增加到10人。
公元前444年第84届古代奥运会举行，增设文艺比赛项目，取消了两驴拉车赛和牡马赛车项目。埃格纳的陶诺斯特列斯获得摔跤比赛的冠军，著名历史学家希罗多德朗诵了其《历史》中的部分章节，荣膺了艺术比赛的冠军。
公元前420年第90届古代奥运会举行，斯巴达城邦因派兵攻打伊利斯的菲尔卡协要塞，违反《休战协定》而受到组委会处罚。雅典、伊利斯、门丁尼亚及亚哥斯等城邦相互订立同盟条约，并刻在铜柱上立于奥林匹亚圣地。
公元前416年第91届古代奥运会举行，增设笛手赛与传令赛。雅典的阿尔克比德斯获得四马拉车赛的冠军、第二名和第四名。
公元前404年第94届古代奥运会举行，增设马驹拉车赛。底比斯的列斯特勒斯和泊列勒的普诺马霍斯分别获得往返跑和混斗比赛的冠军。
公元前338年希腊诸邦联军败于马其顿军，从此希腊大部分城邦沦于马其顿王国统治之下。古奥运会逐渐衰落。
公元前200年第145届古代奥运会举行，增加少年级混斗比赛项目。特诺阿斯的法底莫斯获得少年五项竞技比赛的冠军。
公元前80年第175届古代奥运会举行，罗马统治者强行将优秀选手集中在罗马比赛；在奥林匹亚举行的运动会，只有少年比赛，阿尔果里的伊伯列托斯获得少年场地跑冠军。
公元125年第226届古代奥运会举行，发生选手贿赂事件。
公元393年罗马皇帝狄奥多西一世宣布基督教为国教。希腊罗马因奥运会比赛发生纠纷，罗马人毁坏主神各庙。
公元394年狄奥多西一世宣布废止古代奥运会。古代奥运会从公元前776年～公元394年，历时1169年。
公元395年拜占廷人和哥德人在阿尔菲斯附近发生激战，古代奥运会会址受到极大破坏。
公元426年罗马皇帝狄奥多西二世下令烧毁奥林匹亚庙宇的残存部分。
公元522～551年两次强烈地震，使奥林匹亚建筑物和体育设施遭到彻底破坏，成为一片废墟。
现代奥运会的起源与发展
现代奥运会是为了适应现代社会而产生的一种文化现象。它极大地丰富了体育的内涵，扩大了体育的作用。它不但是主宰体育的最高纲领，而且还是具有普遍意义的一种生活哲学。
现代奥运的创始人
法国教育家皮埃尔·德·顾拜旦（1863年～1937年）被称为现代奥林匹克运动会的创始人。他早年即醉心于希腊史学。1883年提出举行类似古奥运会的比赛，并把它扩大到世界范围。1892年，他遍访欧洲，宣传奥林匹克理想，呼吁复兴奥林匹克运动。1894年1月，他致函各国体育组织，建议于同年在巴黎召开国际体育会议。在他的推动下，1894年6月23日成立了国际奥林匹克委员会，并于1896年在希腊雅典举行第一届奥运会，顾拜旦为奥林匹克运动复兴和国际化作出了重大贡献。
事实上，顾拜旦提出恢复奥林匹克运动并不是偶然的。从18世纪中叶起，欧洲兴起了文艺复兴，宗教改革和启蒙运动。人文主义者颂扬古代奥运会的崇高竞技精神，引起了史学界、文化体育界对奥林匹亚的重视和神往。加之科学技术的不断进步，出现了许多奥林匹克运动复活的因素：①考古学家的发现。1766年发现代古奥运会旧址，后经法、德等国聚资发掘，经6年而成功。建立了奥林匹亚博物馆收藏遗物，塑造遗址模型供世人参观。②文学、艺术界人士的思古幽情，曾出现“奥林匹克文学”。③1769年瓦特发明蒸气机。1807年富尔登发明汽船。1825年史蒂芬发明火车。人类自然活动减少，日渐孱弱，文明病益见增多。④1859年达尔文发表进化论，优胜劣败的说法风行一时，民族意识抬头，国家观念增强。⑤国际社会需要互相了解，以促进和平和友谊。18世纪末起就不断有人建议恢复奥运会，19世纪下半叶举行了不同形式奥运会，但都没多大影响，且自生自灭了。1892年法国顾拜旦男爵倡议恢复古代奥运会。并最终促成了国际奥林匹克委员会，并决定1896年在古奥运会发源地举行首届奥运会。
首届现代奥运会
1894年6月16日～24日，在法国首都巴黎召开了第1届奥林匹克代表大会，参加这次大会的有2000人。英国、美国、法国、希腊、俄国、意大利、比利时、瑞典和西班牙共9国派出了代表。而匈牙利、波希米亚、德国、奥地利和荷兰则是委托别国代为参加，或用书画形式参加的，到会的正式代表79人，代表了34个国家的49个体育组织。会议期间，又先后有21个国家致函，向大会表示了支持和祝贺。顾拜旦的精心设计和主持，唤起了与会者对古代奥运会的神往，与会代表一致同意顾拜旦的主张，决定复兴奥林匹克运动会，并通过了《复兴奥运会》的决议。6月23日，大会通过了成立国际奥委会的决议，顾拜旦从79名正式代表中挑选出15人任第1届国际奥林匹克委员会委员。并决定由举办国的国际奥委会委员担任国际奥委会主席。由于首届奥运会将于1896年在希腊首都雅典举行，因此希腊委员维凯拉斯当选国际奥委会第1任主席，顾拜旦为秘书长。
1896年4月6日至15日首届现代奥运会在希腊的雅典举行。雅典是希腊首都，是欧洲古代文明的发源地，已有4000多年的历史。古代奥运会延续1100多年，先后293届都是在希腊的奥林匹亚举行的。首届现代奥运会在希腊举行具有重大历史纪念意义。但古代奥运会遗址已成一片废墟，经巴黎国际体育会议商定，遂以雅典为会址。这一决定得到希腊王储康士坦丁的支持，并为此多方筹资，希腊富商阿维罗夫捐赠巨款，在古运动场废墟上重建可容7万～8万观众的大理石运动场，第1届现代奥运会遂得以在此举行。开幕式定在4月6日，是为了纪念希腊反抗土耳其统治起义75周年。来自希腊、美国、丹麦、德国、匈亚利、英国、保加利亚、奥地利、澳大利亚、法国、瑞士、瑞典等13个国家的311名运动员参加了田径、游泳、跳水、举重、摔跤、体操、自行车、射击、击剑等项目的比赛。比赛分9大项43个单项。根据法国学者布里尔建议，为纪念公元前490年马拉松战役中希腊士兵斐狄彼德斯奔跑40公里向雅典报告胜利消息的英雄事迹，奥运会设立了马拉松比赛项目。第1届奥运会美国获金牌最多（11枚），希腊金牌虽少一枚但获奖牌总数最多（46枚）。美国大学生康诺利在三级跳远比赛中获现代奥运会的第一枚金牌。希腊运动员路易斯获得世界第一个马拉松冠军。
虽然这届奥运会组织尚不很正规，但它却是奥林匹克运动正式诞生的重要标志，在世界体育史上占有重要的位置，具有继往开来的意义。到此为止，奥林匹克运动终于登上了历史舞台，它掀开了人类文明史上又一页新的篇章。
现代奥运会的发展
1894年6月23日国际奥委会成立，以后这一天就被定为奥林匹克日。那次的会议还决定，1896年在古代奥运会的发源地希腊雅典举行第一届现代奥运会，并且决定仍然沿袭每四年一届的传统。
第一届现代奥运会是决定举行了，可是它却遇到了很多困难，特别是资金不足，险些使这届奥运会下马。那时候，雅典古运动场几乎成了废墟，周围一片荒凉，要重新修建运动场需要一大笔资金。当时的希腊首相认为，国家负债累累，却要拿很多钱去开运动会，这是不行的。顾拜旦得到这个消息心急如焚，立即前往雅典游说。他找到希腊王储希望得到他的支持。在顾拜旦的劝说之下，希腊王储终于表示“我对奥运会充满信心”，后来在筹办奥运会的时候国王也给予了很大支持。
顾拜旦真是不虚此行，他和广大的希腊人民都为能如期举办奥运会而兴奋不已。可是这个结果却迫使首相辞了职，他是奥运会历史上惟一的一个因为奥运会的主办问题而辞职的高级官员。
为了筹集资金，希腊全国掀起募捐运动，邮政部门发行了一套以古代奥运会为题材的邮票，高于面值出售，这也是历史上最早的奥林匹克邮票。除了募捐和发行邮票之外，一位希腊富商还捐献了巨款。一座大理石运动场终于在古代奥运会运动场的废墟上重新建成。
真是万事开头难，不过第一届奥运会总算克服了重重困难，在雅典顺利举行了。