20世纪70年代，一些非奥运项目国际单项体育联合会逐渐意识到其运动项目进入奥运会的可能性颇为渺茫，遂有意创建一个非奥运项目的综合性国际运动会，给其运动员以用武之地，并吸引大众传媒的注意。由羽毛球、棒球、健美、保龄球、投镖（Casting）、空手道、力量举、轮滑、垒球、跆拳道、拔河和滑水共12个项目的国际单项体育联合会发起，世界运动会理事会（World Games Council）于1980年5月21日在韩国汉城成立，后更名为国际世界运动会协会。该协会现有33个协会会员。正式用语为英语。

该协会得到国际奥委会的承认并在行政经费上得到国际奥委会的支持。

该协会旨在普及其协会会员管理的运动项目；提高其协会会员在国际和国家体育管理机构中的地位，改善其形象；通过提高竞技水平来促进其协会会员运动项目的发展；加强协会会员之间的友谊，保护体育运动的传统价值。

该协会接受并承认国际奥委会的章程和宗旨。

该协会的最高权力机构是代表大会，每4年召开一次。大会选出的执委会负责组织世界运动会和完成其他任务。执委会由主席、秘书长、司库、两名副主席和两名委员组成。现任主席是美国的弗罗利克（Ron Froehlich）。