美国曾在雅典、巴黎的奥运会上，有过出色的表演。所以巴黎奥运会后的会址，国际奥委会当然优先考虑在美国的某个城市。这也符合顾拜旦等使奥林匹克运动国际化的理想。首先提出申请的，是美国北部工业重镇芝加哥，但是时隔不久，又出现了意想不到竞争者——美国的另一个城市圣路易。两市为取得第三届奥运会的主办权，展开了激烈的竞争。在相持不下的情况下，最后只好求助于美国总统、美国奥委会名誉主席西奥多·罗斯福裁决。罗斯福在了解情况、征询有关人士意见后，倾向于由圣路易承办。当1902年国际奥委会讨论这一议题时，顾拜旦尊重罗斯福的意见。就这样，圣路易成了第三届奥林匹克城。
圣路易是美国第八大城市，位于密西西比河右岸，交通方便，工业发达。十八世纪时，该市尚属法国管辖，曾是皮毛交易市场。1803年归还美国。它在人口、经济实力上都远逊于芝加哥。它之所以能从芝加哥手中夺取胜利，主要是原定于1903年举办的庆祝该市建市一百周年纪念的世界博览会改在1904年。主办想使博览会、运动会同时举行，互增光彩。
运动会于1904年7月1日至11月23日举行，延续了5个多月，是奥运会史上又一次旷日持久的运动会。参赛国家仅12个，是迄今奥运会参赛单位最少的一次。
1904年美国圣路易斯第三届奥运会会徽
东道主曾提出派船接送欧洲选手，但最后只是空头支票。由于远隔重洋，旅费昂贵，加之忧心远东日俄海战事态发展，包括法国在内的许多欧洲国家均未出席，仅有英国1人、德国17人、希腊14人、挪威2人、奥地利2人、匈牙利4人、瑞士1人，7个国家，派出了总共只有41人的欧洲队伍参加，而且其中有些国家的选手还是客居美国的侨民或留学生。除欧洲外，另5个队是东道主、古巴、加拿大、澳大利亚和首次参加的南非。参赛运动员共625人，其中女子8人，全由美国派出，美国占了533人。位居第二的加拿大队，仅41人。由于外国队选手总共还不到100人，以致有些项目的比赛，如拳击、自由式摔跤、射箭、网球、水球等，几乎都是清一色的美国人，无怪乎人们把这届奥运会称之为美国运动会。
本届比赛项目略有变化。上届举行了的马术、帆船、自行车、射击等比赛，这次未列入，但新增加了拳击、曲棍球、克球，恢复了第一届列入了的摔跤、举重项目。女子仅有一项射箭，首次举行了篮球表演赛。
美国总统罗斯福，虽然赞同运动会在圣路易举行，然而未出席开幕式；国际奥委会主席顾拜旦也因故未来美国。按惯例，一国首脑与国际奥委会主席都应参加运动会的开、闭幕式，二者同时缺席是极为罕见的。