אולימפיאדת 1906 באתונה התבררה כבלתי רגילה, מכיוון שמארגניה לא עמדו בדרישה להפסקה מסורתית של ארבע שנים בין המשחקים. מסיבה זו האולימפיאדה אפילו לא הוכרה רשמית על ידי הוועד האולימפי הבינלאומי.
המשחקים של 1906 נערכו לכבוד יום השנה העשירי לאולימפיאדה הראשונה, שהתקיימה גם באתונה. כדי להדגיש עוד יותר את הקשר בין שני האירועים, מארגני האולימפיאדה בחרו באותה תוכנית תחרות כמו בשנת 1896. לרוב נערכו תחרויות באצטדיון השיש.
תחילה, כשהגיעה הצעה מיוון לארח את האולימפיאדה בשנת 1906, ה- IOC לא נתן סירוב קטגורי. העובדה היא שעד אז היוקרה של המשחקים האולימפיים נפלה, והציבור כבר לא גילה את התעניינותם הקודמת בהם. כדי למנוע את התמוטטותה הסופית של התנועה האולימפית, היה צורך לנקוט בצעדים ולא ניתן היה עוד לחכות עד 1908. ולמרות ש- IOC בהמשך מסרב להכיר באולימפיאדת 1906, זה ייקרא הישועה של המשחקים, שאפשרו להחזיר את האינטרס של הציבור ובמיוחד אתלטים לאירוע, לתמוך בתנועה ובעצם הרעיון שלה.
הקושי היה גם שעל פי המסורת, האולימפיאדה אמורה להתקיים במדינות שונות בעולם, אולם בשנת 1906 תוכנן האירוע להתקיים ביוון, מה שגרם לחוסר שביעות רצון של חברי ה- IOC. כך או אחרת, אך ב- 22 באפריל נערך הפתיחה הגדולה של המשחקים. מכיוון שהתקשורת הקדישה תשומת לב רבה לאולימפיאדת 1906, הגיעו לאתונה ספורטאים ואורחים רבים.
באירוע השתתפו כ 900 ספורטאים מעשרים מדינות, ביניהן שבע נשים. במסגרת אולימפיאדת 1906 נערכו תחרויות בענפי הספורט הבאים: הרמת משקולות, היאבקות יוונית-רומית, גידור, חתירה, שיט, שחייה, צלילה, אתלטיקה, ירי ספסל וכדור, רכיבה על אופניים וטניס. לרוע המזל, מכיוון ש- IOC לא הכיר באולימפיאדת 1906, כל הפרסים שקיבלו משתתפיו לא היו תקפים ולא נלקחו בחשבון בעתיד.
טקס הסיום של האולימפיאדה נערך ב -2 במאי. לאחר האירוע דנו תוצאותיו במשך זמן רב במדינות שונות, מה שהגדיל את העניין הציבורי במשחקים באופן משמעותי. הדבר התבלט במיוחד במהלך אולימפיאדת 1908 בלונדון, בה השתתפו למעלה מ -2, 000 ספורטאים.