1936年的奥运会会址定在柏林，是个历史错误，是国际奥林匹克运动发展中的一场悲剧。
1932年（另说1931年）国际奥委会将会址选在柏林。纳粹是十分仇视和反对奥运会的，他们认为这是“犹太人与和平主义者搞的花样”。纳粹分子还斥责德国运动员在1932年奥运会上与黑人一起比赛，有损日耳曼民族的尊严。1933年以希特勒为首的纳粹党夺取了德国政权，德国政局发生了严重变化。鉴于当时的德国政治形势，1934年国际奥委会讨论了是否仍在柏林举行奥运会的问题，并专门成立了一个调查委员会，前往德国实地调查。负责这次调查的是当时国际奥委会委员、一贯玩弄“体育与政治”分开的美国人艾布伦戴奇。国际奥委会因受希特勒宣传和表面现象的蒙骗，以及当时欧洲推行绥靖政策的影响，最后仍坚持了原议，在柏林举行第十一届奥运会。布伦戴奇的态度，也影响了对参加柏林奥运会存在着分歧意见的美国奥委会，美国决定参加又对其他国家起了作用。1933年1月24日，莱瓦尔德被推选为柏林奥运会筹备委员会主任。这个半犹太人对运动会能否顺利举行，此时已是忧心忡忡。1936年3月16日，莱瓦尔德会见了1933年2月9日即充任柏林奥运会大会总裁的希特勒，出乎意外的是，莱瓦尔德从这位总裁那里得到了“全力支持”的诺言。但是不久便厄运降临，以戈培尔为首的纳粹党徒接管了全部筹备工作，莱瓦尔德被排挤于外。这触怒了国际奥委会，国际奥委会主席巴耶·拉图尔申言，如果那样，国际奥委会将取消柏林的主办权。美国也发表声明，以不参加奥运会相威胁。这样，纳粹才算屈服了。纳粹党徒上台后，对奥运会的态度来了一个180度大转变，其目的是想利用奥运会，给法西斯德国蒙上一层和平的面纱。他们印了成吨宣传德国“繁荣与昌盛”的材料，耗费了巨额资金，用花岗石、大理石等兴建了一座能容10万人的大型运动场，一个有两万个看台的游泳池，以及体操馆、篮球场等，还修建了一个比洛杉矶奥运会更豪华的奥运会村。当国际奥委会要希特勒保证能让犹太人参加奥运会时，希特勒也被迫同意了，并故作姿态，邀请了侨居美国的德国犹太女击剑手、1928年奥运会金牌获得者海伦娜·迈尔回国参赛。迈尔曾犹豫不决。但顾及到她留在德国的母亲和两个兄弟的安全，毅然踏上了征途。后来她在击剑赛中，得了1枚银牌。但是，德国法西斯所玩弄的蒙骗手腕，仍被许多正直人士所识破。1936年6月，在法国巴黎召开了“保卫奥林匹克思想大会”，与会的有法国、西班牙、美国、英国、捷克斯洛伐克、比利时、瑞典、丹麦、荷兰等国人士。大会号召人们反对在柏林举行奥运会，积极争取将会址改在巴塞罗那。抗议浪潮席卷世界各地，纽约成立了一个斗争委员会，欧洲一些国家明确表态，不参加柏林奥运会，并积极支持筹办巴塞罗那奥运会。7月，法、英、美、瑞士、瑞典、希腊等20个国家的运动员，云集巴塞罗那，准备参加7月18日举行的运动会，可惜，由于开幕前夕法西斯分子捣乱，运动会流产了。令人遗憾的是，这一切未能使国际奥委会改变初衷，运动会仍如期在柏林举行。
大会于1936年8月1日正式开幕，16日结束。参加比赛的来自49个国家的4066名运动员，其中女选手328人。德国人数最多，共406名运动员，美国次之，330人，匈牙利列第三，211人。首次参赛的国家有阿富汗、百慕大群岛、玻利维亚、歌斯达黎加、列支敦士登和秘鲁。中国共派出69名运动员，参加了田径、游泳、举重、拳击、自行车、篮球和足球6个大项的比赛，均在预赛中遭淘汰。另外还派了一个武术表演队和一个体育考察团。这个考察团曾赴包括德国在内的一些欧洲国家考察。