1959年，罗马尼亚“物理数学学会”向东欧七国发出邀请，建议在布加勒斯特举行第一届国际数学奥林匹克。以后，每年比赛一次，从未间断。比赛的东道国大都是东欧国家，只有第十八届比赛是在奥地利举行的。
开始几年，参加者只是前苏联和东欧一些国家。到1967年，英国、法国和瑞典也参加了；从1974年起，美国也开始参加。最近几届的参加国已有20个以上，其中亚洲国家有蒙古和越南。
根据历届比赛的统计结果，无论从团体总分以及获得一等奖的人数来看，前苏联都名列第一，处于遥遥领先的地位。
前苏联从1934年开始就举办数学竞赛。举办数学竞赛的地方，不仅有莫斯科、列宁格勒、基辅等大城市，甚至还有一些中小城市。
全苏数学竞赛的试题内容，也是从浅到深，各种程度的题目都有，所用的数学工具虽然简单，但往往需要过人的机智才能解决。前苏联正是从大量数学爱好者中层层“筛选”而培养出尖子的。由于尖子们“身经百战”，因此在国际比赛中也就得分较多。
前苏联的一些著名数学家，如概率论大师廓尔莫郭洛夫、数学分析专家欣钦等，也经常为全苏数学竞赛出一些妙趣横生、难度很大的题目。在比赛以前，还请各方面的专家为考生作若干次专题讲演。这些措施在培养一支高水平的数学后备军方面起了积极的作用。