但是，顾拜旦想利用世界博览会来扩大奥林匹克运动影响的打算却落了空，奥运会在巴黎备受冷落。法国政府全力支持世博会，他们认为奥运会在此时此地举行，只不过是世博会的一种“娱乐陪衬”，因此，将奥运会的主导权交给了承办世博会的筹备当局。而这个筹备班子，光是筹备世博会就已经够他们忙了，哪还有多余心思去准备奥运会；更何况当时除了少数人对奥运会有少许概念之外，大多数人甚至连什么是奥运会都不知道，怎么会用心去筹备奥运会。再加上，承办两项会务的主要负责人阿夫雷德·皮卡尔是一个不热心体育的人，他对顾拜旦提出的奥运会筹备方案甚至不屑一顾，把主要精力放在世博会上，而对奥运会的比赛项目、日程、场地等均无周密安排，更谈不上花巨资去兴建比赛场馆了。组委会既没有钱，也不全力争取，有时连合适的比赛场地都找不到。距离开幕不到五个月了，连邀请函都没有发出，顾拜旦只好自己奔走到欧洲各国，希望各国能派队参加。他竭尽全力，多方游说，但一无所成，后来，连筹备会的领导人也把他视为“麻烦人物”，干脆将他实际上排除在筹备会领导中心之外。顾拜旦一心将奥运会弄到自己的家乡巴黎来举办，想不到却变成一场终生难以释怀的恶梦。
他在自己的日记里对自己国家如此漠视奥运会，表露了内心的焦急与无奈：“世界上有一个对奥运会非常冷淡的地方，这就是巴黎”。
1900年5月14日，被视为世博会附属品的第二届奥运会终于在巴黎开始了。组织者根本就没想到要举行开幕式，而当时的巴黎人则被同期举行的世博会所吸引，所以，运动会场面冷冷清清。大会组织者竞别出心裁，将比赛项目按世博会工业类别分在16个区域进行，例如，击剑被安排在刀剑制造工业区，划船安排在救生系统展览区等，实际上，运动会成了世博会的一部分，成了世博会招揽观众的一次体育表演，个别选手甚至不知自己参加的是奥运会比赛。比赛场地分散，体育设施很差，田径赛被安排在巴黎市区一个林场进行，那里原是法国赛马俱乐部的跑马场，场地狭小，林木横生，土质松软，跑道不平，观众席也只有500个座位，场内设施几乎一无所有。跳跃比赛，需选手自己动手挖掘沙坑；跨栏比赛，个别栏架临时用捡来的树枝搭架；投掷比赛，器械常常被挂在树上连裁判都找不到；马拉松比赛更是匪夷所思，比赛路线的路边小巷不封闭，熟悉道路的法国运动员泰阿托抄近路获得冠军。比赛日程拖沓松散，历时5个多月之久，开成了一次“马拉松”式的运动会。
尽管东道主对此次奥运会不够重视，但它仍以巴黎驰名世界的风光和繁华吸引了不少参加者；尽管比赛条件很差，仍取得了良好成绩，创造了14项奥运会纪录，其中有6项高于当时的世界最高水平，有的纪录还保持了多年；集体项目被列入比赛，这是本届一个重大的可喜的突破；特别需要提到的是，这届奥运会突破了古代奥运会和现代第一届奥运会不许女子参加的禁令，有11名女运动员参加了比赛。虽说这次女子参赛并未得到国际奥委会正式认可（注：直到1924年才最后解决这一宗悬案），却开创了女子迈向世界体坛的先河。
巴黎奥运会和世博会同时举办是顾拜旦提议的，而法国巴黎又是顾拜旦的故乡，因此，巴黎将第二届奥运会开成这个样子，完全变了味，差点将现代奥运会葬送在这里，使顾拜旦极度不满和难堪，但他仍忍辱负重，从不气馁，继续前行。
被戏称“美国人的奥运会"
——第三届美国圣路易奥运会（1904）
鉴于美国人在雅典、巴黎两届奥运会上的出色表现，第三届奥运会的选址，国际奥委会理所当然要优先考虑美国的某个城市，这也符合顾拜旦关于奥林匹克运动国际化的理想。首先提出申请的，是美国北部工业重镇芝加哥，但是时隔不久，又杀出了一个意想不到的竞争者——美国第八大城市圣路易。两市为取得第三届奥运会的主办权，展开了激烈的竞争。在双方相持不下的情况下，最后只好请美国总统、美国奥委会名誉主席西奥多·罗斯福裁决。罗斯福在了解情况并征询有关人士意见后，倾向于由圣路易承办。1902年国际奥委会讨论这一议题时，国际奥委会主席顾拜旦力主尊重罗斯福的意见。就这样，圣路易成了第三届奥运会的举办城市。
其实，圣路易无论在人口、还是在经济实力上都远逊于芝加哥，它之所以胜出，主要原因是1904年该市将举办世界博览会，主办者想使世博会、奥运会同时举行，互增光彩。
圣路易奥运会于1904年7月1日开幕，美国总统罗斯福没有露面，国际奥委会主席顾拜旦也因故没有出席，一国首脑和国际奥委会主席同时缺席开幕式是极为罕见的。圣路易奥运会同巴黎奥运会一样，其体育场馆仍乏陈可言。华盛顿大学体育场充当了主体育场；场内设施虽不完善，但比巴黎奥运会有了进步。游泳比赛被安排在博览会会场内的人工水池中举行，游泳比赛的出发台只是放在水上的一块浮板，跳水比赛的跳台也是临时简单搭建的。
同1 900年巴黎奥运会一样，本届奥运会又是与世界博览会同时、同地举行，它不仅受到世博会的冲击，而且还被世博会吞并，堕为世博会的宣传工具和娱乐项目。因为届时正值“圣路易斯安娜购物百周年纪念博览会”，圣路易奥运会的会标和招贴画甚至连奥运会的届次、地点、时间都没有，只有“星期三官方节目”、“丰富的圣路易斯购物博览会”的字样。本届奥运会前后延续了5个多月，是奥运会史上又一次旷日持久的运动会。由于远隔重洋，旅费昂贵，加之担心日俄海战事态发展，欧洲国家许多选手只能望洋兴叹，本届奥运会只有12个国家的625名运动员参加比赛，是迄今奥运会参赛国家最少，运动员人数最少的一次。由于外国选手总共还不到100人，其中有些还是客居美国的侨民或留学生，以致有些项目的参赛运动员，几乎都是清一色的美国人，不仅将大多数比赛项目的金、银、铜牌全部夺走，而且有的项目还包揽了前6名，无怪乎人们把这届奥运会称之为“美国人的奥运会”。
初具规模的奥运会
——第四届英国伦敦奥运会（1908）
说到1908年伦敦奥运会，先要交代一下，伦敦奥运会的前两年，即1906年雅典曾举办过一次非正式的奥运会。这是怎么回事？事情是这样的：国际奥委会在否决希腊想把雅典作为奥运会固定会址的要求的同时，也给了希腊一点“安慰”，答应希腊可在两届奥运会之间召开一次所谓“中间奥运会”或“届间奥运会”。实际上，由于各种原因，希腊只是在1906年现代奥运会复兴十周纪念时，主办过一次这样的运动会。众所周知，1904年在北美洲的圣路易举行第三届奥运会时，由于路途遥远，欧洲国家许多选手只能望洋兴叹，变成了“美国人的奥运会”。因此，当希腊提出1906年举办非正式奥运会时，许多国家反响强烈，国际奥委会也积极支持，加上经费也不成问题，因此，大会于4月22日到5月2日顺利举行，参赛的有20个国家的884名运动员。只是由于运动会是非正式的，没有列入奥运会届次中。
回过头来再说说伦敦奥运会。其实，第四届奥运会原本并没有伦敦的份。按照惯例，申请主办奥运会的城市都是在该届奥运会正式举办前六年就已确定了的。经国际奥委会秘密投票表决，第四届奥运会会址，从罗马、米兰、柏林和伦敦等4个申办城市中，选定在意大利罗马。可是谁知道，由于多次地震和火山爆发，意大利经济蒙受巨大损失，1906年，罗马以财政困难为由，宣布放弃主办权。由于时间紧迫，奥运会又无法延期，国际奥委会只得求助于有“现代体育运动的摇篮”美誉的伦敦。英国经再三考虑，允诺奥运会在伦敦如期举行，并立即成立了奥运会筹委会。
英国奥委会“临危受命”，正式接办了第四届奥运会，一方面感到欣喜若狂，一方面又感到时间紧迫。他们抓紧剩下的一年多的准备时间，积极进行各方面的筹备工作。他们以雄厚的财力和充足的人力，用一年半时间，在伦敦西区兴建了一座可容7万余观众的希佛·布希体育场和其他一些运动设施，构成了一个体育馆建筑群。顾拜旦对此评价道： “伦敦举行的是首次现代化奥运会”。这个大型综合性体育场是英国人的骄傲，他们在伦敦奥运会的会标上，加印了一条巨大的标语“伟大的伦敦希佛·布希体育场”，尽管有点“自我吹嘘”之嫌，但总比把奥运会当作“娱乐陪衬”要可爱得多。
筹委会还邀请专家学者为一些项目制订比赛规则，对参赛选手的资格也作了严格规定；还编印了所有的竞赛规程、规则及细节安排，印刷出版了真正属于奥运会的宣传海报；开幕式上，各代表团统一着装，在本国国旗引导下列队入场，为以后各届奥运会开了先例。这对奥运会比赛走向正规化起到了积极的作用。
英国人为筹备这届奥运会，尽了最大努力，下了很多功夫，他们一反前两届奥运会给世人留下的不良印象，以真心实意的态度和良好的组织工作引起了世人的关注。
工夫不忘有心人。以往几届奥运会，虽然五大洲国家都陆续参加了奥运会，但是始终未能有一届奥运会五大洲代表齐聚一堂。本届奥运会，参赛国家达到22个，遍及五大洲，运动员第一次超过两千人，参赛选手人数比前三届的总和还要多，是五大洲体育健儿和代表的第一次大聚会，是奥林匹克走向世界，走向现代化的至关重要的一站，对奥林匹克日益国际化具有历史意义。
1908年伦敦奥运会成为现代奥运会诞生以来一次初具规模的奥运会。
被誉为“征服人心”的奥运会
——第五届瑞典斯德哥尔摩奥运会（1912）
瑞典是现代体育开展较早的国家之一，早在1894年国际奥委会刚成立时，瑞典就表示希望能在自己的国土上举办一届奥运会，但由于前几届的主办国都已“名花有主”，这个愿望一直未能实现。因此，当第五届奥运会原定的主办国德国因其奥委会主席突然病逝，于1909年5月宣布放弃主办权后，瑞典欣然接受了主办1912年奥运会的重任，地点就选定在首都斯德哥尔摩。
从此之后，瑞典即着手筹办奥运会，并把它当作关系国家威望、民族荣辱的大事来抓。为了办好斯德哥尔摩奥运会，瑞典全国上下动员。每个瑞典公民都认识到奥运会的成败事关国家和民族的声誉，全力支持；所有瑞典驻外使节也为奥运会积极奔走，大力宣传。呈现出一派“全民动员，兴办奥运”的热烈景象。
他们兴建了“柯罗列夫”运动场，虽然规模不是最大，但设施完备，美观实用，首次铺设了较为标准的跑道，并试验性地安装了先进的电动计时器和终点摄影设备。就在本届奥运会上，由于实现了精确计时，从而出现了奥运史上第一批正式世界纪录。
他们为大会设立了十六个大的比赛项目，使得比赛项目的设置也从此开始走上正规，并为以后奥运会比赛项目的设置形成了基本雏形。各个比赛项目的竞争也相当激烈，并取得了很好的运动成绩，大多数田径项目都打破了奥运会记录，游泳比赛的奥运会纪录全部被刷新。
进行的十六大项比赛，共吸引了32万7千多名观众，超过了以往各届，可以说是一大成功。他们根据1906年举行的奥林匹克代表大会的倡议，在奥运会期间，首次举行文学、艺术比赛，并分项设立金、银、铜牌，传承了古代奥运会体育竞技与文艺活动结合进行的传统，使古代奥运会精神得以继承和不断发展。顾拜旦就是在这次比赛中，针对当时奥运会一些弄虚作假，以“G·霍罗德和M·埃施巴赫”的笔名发表了著名的《体育颂》。
他们在奥运会的宣传和组织上第一次达到了较高的水平。在他们的大力宣传和组织下，本届奥运会的报名参赛极为踊跃，来自欧、亚、美、澳、非五大洲的29个参赛国家和超过2500名运动员，都是创纪录的，显示奥林匹克思想在世界范围内获得了重大的传播，对1914年6月在法国巴黎举行的国际奥委会代表大会将象征五大洲紧密团结的五环旗作为奥林匹克的标志，起到了关键性的作用。
他们首次为奥运会举行了隆重的开幕仪式，瑞典国王古斯塔夫五世亲自致开幕词，并从此形成奥运会的一个传统。他们还第一次设置了三个不同高度的授奖台，冠军、亚军及殿军得主分别站在相应的授奖台上，接受国王、皇太后及亲王颁发的金牌、银牌及铜牌。这种发奖仪式一直延续至今。
他们在顾拜旦的全力支持下，把这届奥运会办得十分成功。
当时，在欧洲关于战争的传闻十分盛行，国际奥委会内部在政治上也意见纷纭，但在奥运精神的鼓舞下，斯德哥尔摩奥运会既没有争吵不休，也没有表现出强烈的民族主义情绪，这确实是奥运史上的里程碑。
可以毫不夸张地说，1912年德哥尔摩奥运会是现代奥运会自1896年在雅典问世以来的第一次重大突破。奥运史学家甚至说：
斯德哥尔摩奥运会使得奥林匹克思想第一次征服了全世界人民的心。