1906年，原定举办第四届奥运会的罗马向国际奥委会提出申请，因意大利政府财政困难，无力兴建体育场馆，宣布放弃主办权。国际奥委会不得不临时与英国政府合作，将奥运会异地在伦敦举办。在短短的两年时间里，英国政府表现出了惊人的工作效率。他们在当时简陋的技术条件下，迅速地在伦敦西区一个荒芜的丛林地带上兴建了一座有6.8万个座位，可容纳7万余观众的“现代”运动场，即“白城”运动场。

这个耗资4万余英镑的巨型运动场，拥有全长536.45米的煤渣跑道，可进行多项室内比赛。场地中央除设有一个足球场外，还容纳了一个长100米、宽15米的游泳池！在20世纪初期，这个宏伟的运动场是全伦敦市民的骄傲。

因此，本届奥运会的会徽就是以“白城”运动场为主题的。一名跳高运动员正从以“白城”运动场为背景的画面中心跳跃出来，透视绘画手法的运用，使整个画面具有了一定的空间感。在近一个世纪前，这是艺术上一次大胆的尝试。
伦敦奥运会前，1906年曾在雅典举行一次非正式的奥运会。1896年第一届奥运会后。国际奥委会否决了希腊想把雅典作为奥运会固定会址的要求，但答应希腊可在两届奥运会之间召开一次类似奥运会的运动会，即所谓“中间奥运会”或“届间奥运会”。由于种种原因，迄今希腊只在1906年现代奥运会复兴十周纪念时，于雅典主办了一次这样的运动会。1904年圣路易奥运会时，欧洲国家许多选手只能望洋兴叹。因此，当希腊提出1906年召开非正式奥运会时，许多国家跃跃欲试，反响强烈，国际奥委会也积极支持希腊的建议。十年前，雅典承办了首届奥运会，场地设施不需兴建。同时东道主再次使用了发行邮票及其他筹集款项办法顺利解决了缺乏经费的因难。大会于4月22日到5月2日举行，参赛的有20个国家的884名运动员，其中女选手7人，希腊打破祖先留下来的陋习，首次派出妇女参中了世界性比赛7名女选手希借占了6名，代表团数最多的也是希腊，男女共306人。圣路易奥运会缺席的法国，这次参赛选手仅次于希腊，为76人，意56人，英52人、丹53人、德52人等欧洲国家选手队伍都在50人以上。以往各届运动会，美国运动员都是由各大学、俱乐部或体育协会自行派，这次来雅典的34名选手，首次由美国奥委会选拔产生。埃及、芬兰是第一次派队参赛。

　　运动会比赛项目有田径、游泳、水球、击剑、体操、赛艇、自行车、足球、古典式摔跤、网球和射击。因为运动会是非正式的，没有列入奥运会届次中，所获奖牌，一般也不统计在国家或个人所获奥运会奖牌数内。

　　申请主办第四届奥运会的有罗马、米兰、柏林和伦敦四个城市。柏林由于得不到政府支持被迫撤消了申请，经国际奥委会秘密投票表决，会址选在罗马。由于多次地震和火山爆发意大利经济蒙受巨大损失。1906年雅典运动会期间，罗马提出，因财政困难，无力兴建体育设施，宣布放弃主办权。时间紧迫，奥运会又无法延期。国际奥委会求助于伦敦。英国考虑再三，答允运动会在伦敦如期举行。立即成立了奥运会筹委会，用较快的速度，在伦敦西区一个丛林地带兴建了一座可容7万余观众的体育场，新造了一个长100米、宽15米的游泳池，以及自行车场等等。

　　天幕那天，气候不佳，在雾迷天，雨下个不停。国王、王后及国际奥委会官员出席了大。这届奥运会首次规，开幕式上各代表团应服装统一，在本国国旗引导下列队入场，并规定，旗手通过英国国王爱德华七世观礼台前时，就将旗帜下垂，以示致敬。由于国旗问题在开幕式上引起了一些纠纷。首先，美国、瑞典代表团进入会场后，发现会场没有悬挂他们的国旗，向组委会提出了抗议。接着，担任美国旗手的美籍爱尔兰人不愿向爱德华七世致敬，高举大旗通过了主席台，引起了一阵骚动。此外，与俄国为一个代表团的芬兰选手（当时俄、芬兰为一个代表团，但单独参加比赛）认为在帝俄旗帜下入场是一种耻辱，因此拒绝参加开幕式，开幕式虽出现了一些纠纷，但某些作法，如代表团着统一服装，在各自的国旗引导下列队入场等，为以后各届开创了先例。

　　本届参赛国家共22个，运动员2034人，其中女子36人，总人数比前三届的总和还要多，东道主派出了最庞大的选手团，达710人；法国次之220人；瑞典156人，居第三位，首次参赛的有冰岛、新西兰、俄国、土耳其和芬兰。1900年，亚洲的印度曾有一名运动员随同英国队参加了巴黎奥运会，使欧美、亚、大洋洲均有代表参加当届运动会，只是缺少非洲国家；1904年，非洲与欧、美大洋洲均有代表，但亚洲缺席。本届土耳其队与会，使奥运会首次五洲代表聚会，对奥林匹克日益国际化具有历史意义。本届共设有24个大项，首次列入的有曲棍球、水上摩托和一些奇异不常见的项目，如热杰球，这是一种法古老的类似网球打法的球。这项比赛在奥运会上寿命不长，以后只在第七届列入过。

　　大会还第一次列入了花样滑冰。比赛是在人工冰场进行的。女子参加的项目只有网球、射箭和花样滑冰。伦敦奥运会田径赛共27个项目，创16项奥运会纪录，其中有5项高于当时的世界最佳成绩。在项目上也有所翻新。