由于美国奥运会上的出色表现，奥委会在第三届奥运会的主办权上优先考虑的就是美国，当时美国有两个城市提出了申请，它们分别是芝加哥和圣路易，经过激烈的竞争最后定于由圣路易来承办第三节奥运会。
圣路易是美国第八大城市，位于密西西比河右岸，交通方便，工业发达。十八世纪时，该市尚属法国管辖，曾是皮毛交易市场。1803年归还美国。它在人口、经济实力上都远逊于芝哥。它之所以能从芝加哥手中夺取胜利，主要是原定于1903年举办的庆祝该市开市一百周年纪念的世界博览会改在1904年。主办想使博览会、运动会同时举行，互增光彩。
运动会于1904年7月1日至11月23日举行，延续了5个多月，是奥运会史上又一次旷日持久的运动会。参赛国家仅12个，是迄今奥运会参赛单位最少的一次。由于远隔重洋，旅费昂贵，加之忧心远东日俄海战事态发展包括法国在内的许多欧洲国家均未出席，仅有英国1人，德国17人、希腊14人、挪威2人奥地利2人、匈牙利4人、瑞士1人7个国家，派出了总共只有41人的欧洲队伍参加。除欧洲外，另5个队是东道主、古巴、加拿大、澳大利亚和首次参加的南非。参赛运动员共625人，其中女子8人，全由美国派出，美国占了533人。位居第二的加拿大队，仅41人。由于外国对选手总共还不到100人，以致些项目的比赛，如拳击、自由式摔跤、射箭、网球、水球等，几乎都是清一色的美国人，无怪乎人们把这届奥运会称之为美国运动会。
本届比赛在项目上略有变化。马术、帆船、自行车、射击等比赛。这次未列入，但新增加了拳击，第曲棍球、克球，恢复了第一届列入了的摔跤、举重项目。女子仅有一项射箭，首次举行了篮球表演赛。
圣路易奥运会同巴黎奥运会的很多相似之处，比赛场地、运动设施等，都是非常简陋和难以令人满意的；圣路易市民的兴起也主要在世界博览会，奥运会比赛的观众很少，即使最精彩的比赛，场内观众也从未超过两千人。奥运会再次受到博览会的冲击，变成了它的陪衬，变成了它推销商品的宣传工具。它最大的失败是组织委员会搞的一个“人类学日”让运动员扮演非洲矮人，日本吓夷人、菲律宾莫洛人、美国印第安人，进行爬杆、打泥巴仗等类比赛。这种种族歧视的活动，引起一切有正义感的人们的强烈不满，它不仅是圣路易留在奥运会史上难以洗去的污点，而且更严重的是，它违反了奥林匹克精神，打击了奥林匹克运动的发展。顾拜旦得知这一讯息后怒斥在今后的奥运会中绝不允许有类似情况发生。
本届田径比赛在华盛顿大学圣路易分校运动场进行。跑道周长536.45米，直跑道长220米，是世界上最长。场内设施虽不完美，但较之上届却有天壤之别。决赛安排在8月底至9月初的一周时间内，不少项目只有两三个国家参加，个别的甚至只有美国一国，加之美国实力雄厚，有的项目前六名均由美国包括。田径共破16项奥运会马录，其中两项超过世界最高成绩。有密尔瓦基流星之称的美短跑手阿.哈恩，在200米跑中创造的21秒6奥运会纪录，整整保持了28年，直到1932年才被人突破。哈恩还在60米、100米赛中获胜，包下了从60米至200米3个短跑项目的全部金牌，人们将这届奥运会誉之为密尔瓦基流星大放异彩的运动会。除哈恩，本届田径赛获3枚金牌的还有美国另外3名运动员，詹·莱特博迪、哈·希尔曼、以及在上届曾获3枚金牌的雷·尤里。美国选手迈·普林斯顿，获得了跳远金牌，并掸联三级跳远冠军。
美国黑人大学生乔·波格在200米，400米两项跨栏赛中各获1枚铜牌。这是黑人田径运动员首次在奥运会上获奖。
田径赛共25个项目，美国夺行了其中23项冠军。只有两项丢给了他国选手。在掷壶铃赛中，加拿大一位来自蒙特利尔的警察埃·德斯马托，战胜了所有美国对手，夺取了胜利，掷壶铃这个项目，除这次外，以后只在1920年安特卫普奥运会再列入过一次。
在这次奥运会中十项全能赛首次被列入了奥运会。项目有：100码91.44米跑、推铅天、跳高、880码804.66米，竟走、掷链球、撑竿跳、120码118.87米跨栏、跳远、掷壶铃和一英里1069.34米跑。这与今天的项目有较大的区别。同掷壶铃一样，参赛的6名选手中有5名是美国人。最后英国的爱尔兰人托马斯·凯利从东道主手中夺去了金牌。
本届奥运会首次出现了谎骗行为。事情发生在8月30日的马拉松赛中。这次以拉松全程40公里，行进路线既有丘陵地带，又有平原地区。当天气候炎热，路面满是尘土。圣路易奥运会马拉松冠军最后为希克斯获得。事后也被他的教练揭露在那次比赛中弄虚作假，时过境迁，虚假成绩已无法更改。
经过了圣路易和巴黎两次奥运会，国际奥委会意识到了奥运会于世博会同时举行的失败。