Počas diskusie o usporiadaní III. Olympiády sa Medzinárodný olympijský výbor rozhodol usporiadať ju na území Spojených štátov, pretože táto krajina predviedla pri dvoch predchádzajúcich hrách dobré výsledky. Spočiatku chceli usporiadať olympiádu v Chicagu alebo New Yorku, ale výsledok padol na malé prístavné mesto St. Louis.
V rámci svetovej výstavy sa uskutočnila III. Olympiáda v St. Louis spolu s parížskou olympiádou. Miestne vedenie výstavy to však nepovažovalo za konkurenta, ale naopak, všemožne sa snažilo hry využívať na svoje vlastné reklamné účely. Organizátori navyše zopakovali niektoré chyby letných olympijských hier v roku 1900 v Paríži. Kvôli pripútanosti k svetovej výstave boli súťaže zatlačené do úzadia a samotná olympiáda trvala takmer 5 mesiacov (1. júla - 23. novembra 1904). Mnoho súťaží sa konalo pod vedením rôznych stavovských organizácií, napriek tomu im bol všetkým udelený titul olympijských disciplín.
Podľa MOV sa letných hier v St. Louis zúčastnilo 12 krajín. Jediným štátom, ktorý sa súťaže zúčastnil prvýkrát, bola Južná Afrika. V porovnaní s parížskymi olympijskými hrami počet zúčastnených krajín dramaticky poklesol. 13 štátov, ktoré sa zúčastnili letných parížskych hier, nemohlo prísť z ekonomických dôvodov do St. Do súťaže sa nezúčastnilo Rusko, ktoré bolo v tom čase vo vojne s Japonskom.
Na III. Letných olympijských hrách sa zúčastnilo celkovo 651 ľudí, z toho 6 žien. Súťažilo sa o 94 súborov ocenení v 18 športoch. Najpočetnejším bol tím Spojených štátov amerických, ktorý na hrách predstavoval 533 ľudí. V mnohých športoch (box, zápas, vodné pólo, lukostreľba a tenis) sa venovali iba americkým športovcom, takže hry jasne demonštrovali prevahu krajiny.
V St. Louis začali prvýkrát oceňovať troch, nie dvoch športovcov, ktorí predviedli najlepší výsledok. Hlavný víťaz súťaže bol ocenený zlatou medailou; športovec, ktorý obsadil druhé miesto - striebro; a tretie miesto bolo ocenené bronzovou medailou. Táto tradícia pretrvala do súčasnosti.
Na neoficiálnom tímovom podujatí sa zúčastnené krajiny umiestnili nasledovne: I umiestnenie - USA (78 zlatých, 82 strieborných, 78 bronzových medailí), II. Miesto - Nemecko (4 zlaté, 4 strieborné, 5 bronzových medailí), III. Miesto - Kuba (4 zlaté, 2 strieborné, 3 bronzové medaily).
