במהלך הדיון במשחקים האולימפיים השלישי, הוועד האולימפי הבינלאומי החליט לארגן אותו בארצות הברית, שכן מדינה זו הראתה תוצאות טובות בשני המשחקים הקודמים. בתחילה, הם רצו לקיים את האולימפיאדה בשיקגו או בניו יורק, אך כתוצאה מכך, הבחירה נפלה על עיר הנמל הקטנה סנט לואיס.
אולימפיאדת ה- III בסנט לואיס, יחד עם פריז, נערכה במסגרת התערוכה העולמית. עם זאת, ההנהלה המקומית של התערוכה לא ראתה אותה כמתחרה, אלא להפך, עשתה כמיטב יכולתה להשתמש במשחקים למטרות פרסום משלהם. בנוסף, המארגנים חזרו על כמה מהטעויות באולימפיאדת הקיץ של 1900 בפריס. בגלל ההתקשרות לתערוכה העולמית, תחרויות הורדו לרקע, והאולימפיאדה עצמה נמתחה כמעט 5 חודשים (1 ביולי - 23 בנובמבר 1904). תחרויות רבות נערכו בהדרכת ארגונים מקצועיים שונים, אולם למרות זאת, כולם קיבלו את התואר תחומי האולימפיאדה.
על פי IOC, 12 מדינות השתתפו במשחקי הקיץ בסנט לואיס. המדינה היחידה שהשתתפה בתחרות לראשונה הייתה דרום אפריקה. בהשוואה לאולימפיאדת פריז, מספר המדינות המשתתפות צנח בחדות. 13 המדינות שהשתתפו במשחקי הקיץ בפריס לא הצליחו להגיע לסנט לואיס מסיבות כלכליות. רוסיה, שנלחמה באותה תקופה עם יפן, לא לקחה חלק בתחרויות.
בסך הכל, 651 איש, כולל 6 נשים, הופיעו באולימפיאדת הקיץ השלישית. הם התמודדו על 94 סטים של פרסים ב -18 ענפי ספורט. הקבוצה הגדולה ביותר הייתה ארצות הברית של אמריקה, הם ייצגו 533 איש במשחקים. בענפי ספורט רבים (אגרוף, היאבקות, פולו מים, חץ וקשת וטניס) הופיעו רק ספורטאים אמריקאים, כך שהמשחקים הראו בבירור את ראשוניותה של המדינה.
בסנט לואיס לראשונה החל לתגמל שלושה, לא שני ספורטאים שהראו את התוצאה הטובה ביותר. הזוכה העיקרי בתחרות זכה במדליית זהב; אתלט במקום השני - כסף; והמקום השלישי סומן בפרס ארד. מסורת זו שרדה עד ימינו.
בעמדות הקבוצה הלא רשמית המדינות המשתתפות הן כדלקמן: אני ממקם - ארה"ב (78 זהב, 82 כסף, 78 מדליות ארד), מקום שני - גרמניה (4 זהב, 4 כסף, 5 מדליות ארד), מקום III - קובה (4 זהב, 2 כסף, 3 מדליות ארד).
