“回回”一词据汉文字记载，最早见于北宋沈括所著的《梦溪笔谈》一书。该书卷五中有“银装背嵬打回回”之说。不过，根据当时的历史背景分析，他们打的“回回”，应为居住于安西、高昌一带的回鹘，而不是日后的回回族人。因为，北宋时居于安西、高昌一带的回鹘人尚崇奉佛教（摩尼教），与信奉伊斯兰教的回回人截然不同。沈括在《梦溪笔谈》中所以把回鹘称为回回，是因为当时民间已把回鹘误称为回回，他未及深辨，随俗而称，写进诗中。
到了南宋，“回回”一词出现渐多，而且含义也宽泛多了。神宗时，彭大雅、徐霆曾先后随使蒙古，他们将所见所闻整理成《黑鞑事略》一书。“回回”一词在该书中多次出现。不过含义甚泛，既包括葱岭内外的众多居民，也包括这一地区的一些国家或地域。该书成于13世纪30年代，此时中亚地区和我国新疆西南部早已伊斯兰化了。因此，该书中多处出现的“回回人”、“回回国”、“回回诸种”等提法，肯定囊括了相当数量的穆斯林和伊斯兰地区。
到了元代，“回回”一词的含义逐步集中、逐步明确了，它成了伊斯兰教信仰者的通称，在多数情况下，它与穆斯林是同义的。
从1219年成吉思汗西征，到1258年旭烈兀攻陷巴格达，蒙古大军征服了葱岭以西、黑海以东的广大地区，并将该地区的大批穆斯林强令签发（也有自愿前来的）到中国来。在元代的官文中，统称这些人为“回回”。
关于元代“回回”一词的含义，白寿彝先生作了精辟的概括：“元时，‘回回’一名开始代替‘大食人’，被认为信仰伊斯兰教者的名称。后来又用这个名词兼称波斯人。但有时，元代也有称伊斯兰教人为回鹘的，也有以回回兼指别种西域人的。不过，大致说来，回回之用以称呼伊斯兰人，是始于元，并且在元已是很通行了。”（《中国回教小史》）
到了明代，“回回”与“教门”开始联结在一起，把回回人信仰的伊斯兰教称作“回回教门”、“回回教”，或更简略地称为“回教”。而对伊斯兰教徒，无论国内的，或者国外的，则通称“回回人”。这种称呼最早见于明永乐年间随郑和下西洋的回回人马欢所著的《瀛涯胜览》一书中，并且多次出现。
自清初直至民国年间，我国信仰伊斯兰教的各民族，被泛称为“回”、“回回”、“回族”亦即“回教民族”。为了便于区别，而将回回民族称为“汉回”、“熟回”，将维吾尔族称作“缠回”、“生回”，将撒拉族称作“撒拉回”，将东乡族称作“东乡回”，等。这些称谓，多不准确，不科学，且存民族歧视，这些兄弟民族从不接受。解放后，党中央和人民政府根据历史传统和人民意志，界定了各民族的族称。信仰伊斯兰教的各民族，从而都正式确定了自己的族称。“回回”这个名称，成为回回民族（即回族）的通俗称呼。