中国回族的形成，大致有八种历史因素。
（一）以经商为业，最早来华的是阿拉伯人和波斯人。他们从海上和陆地沿“丝绸之路”经安西、西安、洛阳，把西域的制品运至内地，再把中国的制品运往西域，通过互相交往，商人数目不断扩大。
随着经济与科学技术的发展，在南北朝时，我国的制船业发展很快，商船即可远涉重洋，抵达阿拉伯海及波斯湾沿岸的阿曼、尸罗夫、巴士拉、巴林等一些重要的港口城市。阿拉伯、波斯的商船也由这些港口出发，经印度洋、中国以南海域到达中国。久而久之，这条水上通道就被人们称为“水上丝绸之路”或“海上香料之路”。
在南宋，主要靠“水上丝绸之路”和一些国家进行商业性的友好往来。到北魏时，主要以马帮，驼帮为交通工具，从“陆路丝绸之路”同西域诸国通商。当时朝廷对国外商人给予了很多的优惠政策，如让国外商人建造驿馆，减税免税，允许定居，互相通婚等，吸引了很多国外商人到中国开展经商贸易活动。因此，南北两朝在对外友好交往方面开展的十分活跃。
北魏时的都城洛阳，在水桥以南、圜兵以北，专为各国使臣、客商建了驿馆和公寓。道东有四馆：一名金陵，二名燕然，三名扶桑，四名崦嵫；道西有四里：一曰归正，二曰归德，三曰慕化，四曰慕义。专门用来接待来自不同国家和地区的使臣与商家。“西夷来使者，处之崦嵫馆，赐宅慕义里。”不同国家的使臣、商家，安置在不同的驿馆和公寓。据时任北魏时期城郡太守的杨衍之在547年所写《洛阳伽蓝记》卷三《城南》中描述，当时北魏与西域诸国的关系，通过“陆路丝绸之路”的交往，已达到：“自葱冷以西，至于大秦，百国千城，莫不颖附。商胡贩客，日奔塞下，所谓尽天地之区矣。乐中国土风，因而宅者，不可胜数，是以附化之民，万有余户。门基修整，阊阖填列，青槐荫柏，绿柳垂庭，天下难得之货，咸悉在焉。”
这段记载足以说明，南北朝时期的北魏与西域诸国的关系已相当密切，因“乐中国土风”而定居中国客商的人数已相当多了。
南宋时期，随着“水上丝绸之路”的扩展，大大拉近了与阿拉伯、波斯等国的距离，他们把本国的珊瑚、琥珀、象牙、琉璃、珍珠、香料、药材等运到中国，再把中国的瓷器、菜叶、丝绸等运往各国。很快在中国沿海的广州、泉州、扬州等港口城市发展起来，并定居这些城市。
唐代时期，不少阿拉伯、波斯商人在中国办起货场，开起商店，由行商变成了坐商，并在中国娶妻生子，置家定居。中国就成了他们的第二故乡。唐朝天授年间（690年），在广州、泉州、扬州定居的阿拉伯人已达数万。到唐末，定居扬州、广州的人数已达十多万。
这些商人在事业上都取得了成功，并成为中国的豪商。如宋代的大食富商蒲希密，元代的花刺模商人马哈木，以及“回回巨商”哈只铁即刺，马哈马丹的金阿里，合赖奋丁·梯卜雷则，明代的可古斯·马黑木、哈只乌赤等，这些商人为中国的经济发展做出了重大贡献，在漫长的社会变革中他们的后人在他们名字中取其一字作为姓氏固定下来，延续至今。如蒲、希、马、哈、木（穆）、铁、金、丁、雷、古、黑、乌等。
（二）随着外交关系的发展，国外因公来华的使臣、学者不断增多。在唐代自永徽二年（651年）到贞元十四年（798年）的148年间，大食国共派使臣来华39次。波斯国自贞观十三年（639年）到大历（771年）的132年间，共派使臣来华34次。其他小国不计其数。这些马帮、驼队、使团都有卫士，少则几十人，多则几百人。各朝代为了接待各国使臣、商家，专门设有寺院、礼宾院、商馆、驿站，专事藩商藩客的接待服务工作。
很多外国使者识汉文、说汉话、能文善武、博学多才，中国朝廷也很赏识，并封授给他们一些荣誉职务。如大食国的一个部落首领提婢多，在唐开元十六年（728年）授其为郎将；波斯首领藩那密，在唐开元二十年（732年）唐玄宗授其为中郎将；宋仁宗嘉祐五年（1060年）授大食国首领蒲沙乙为武宁司阶。在唐、宋、元、明各朝都有此做法。
据史料记载：“皆有妻子，买宅田，举质取利，安居不欲归”。唐德宗贞元三年（787年），对这些久居长安不归的外国使臣，进行过一次检括，其数量已达4000余人，有的居住长达40余年。当时朝廷的政策是愿回者，发给路费；不愿回者，可受职为唐臣，其结果“胡客无一人愿归者”。
到明代，由于明初实行了“厚往薄来”和“怀柔远人”的更加开放的政策，许多信仰伊斯兰教的国家与中国的关系更加密切。他们是“商使兼做”。一方面向朝廷进献宝物，一方面带来许多货物在中国买卖。使团人数越来越多。瓦剌国朝使团一次最多达到2524人，其中买卖人870人，由正使交割公务，其余人分散各地经商，不少人由于种种原因随处归附，就地落籍中国。
（三）由于阿拉伯帝国东扩，逃难来华的多个国家和多个民族的难民也很多。主要是从旱路涌进长安及中西部地区。他们中间有工匠、艺人、学士、耕农、牧民等。唐朝政府均给予了救助和安置。据统计，他们共来自九个国家：一是大安，二是东安，三是曹国，四是石国，五是半国，六是何国，七是火寻，八是戊地，九是史国。当时救助人员，在发放救济品和安排驻地时为了便于登记和记忆，就按国名分类称呼。从此，他们就以国为姓了，当时也把他们统称为“九姓胡”（胡，当时把他们统称为“胡人”）。
在7世纪，中国唐朝崛起于亚洲东部的时候，在亚洲西部的阿拉伯半岛上，也崛起一个阿拉伯帝国。由于当时唐朝采取了自保政策，阿拉伯帝国则是一方面传播伊斯兰教，一方面继续推行扩张政策。630年占领了麦加；632年穆罕默德去世，其继承者将阿拉伯帝国改为阿拉伯哈里发帝国，继续对外扩张，接连征服了西亚和北非的诸多国家；637年出兵波斯并占领了波斯首都；651年波斯国王伊嗣俟三世在木鹿（今土库曼斯坦马里）被杀，波斯萨珊王朝灭亡。波斯王子卑路斯带部分人马逃难到中国，哈里发继续向东开进，又吞并了中亚地区的许多国家和地区，如安国、康国、石国、吐火罗、南天竺等。这些国家和地区的王室成员、朝臣、酋长、将军、学者、军士、官商等，不降大食国，纷纷逃难到中国。
据史料记载，有不少人成了中国的忠臣、良将。如波斯王子卑路斯，被授右武卫将军；卑路斯之子泥涅师，被授左威卫将军；安胜汗（今伊朗人）在贞观初率所部五千余人归唐，被安置在四川茂县，唐太宗诏安为维州刺史，拜左武卫将军等封赐；安附国（安胜汗之子），太宗初见即擢为左领军左郎将，因多次立功，官职不断提升，曾历任忠武将军、左领军将军、上国柱、维州刺史、右戍卫大将军等职。他们留居中国，成了中国回族的先民。
（四）援华平叛。在中国历史上，请西域穆斯林国家来华协助平叛的主要有两次。一是在唐代至德二年（757年）的安史之乱。当时唐朝请大食国派兵，协助平叛。安史之乱平息后，一部分军队经广州从海上回国，另一部分留在中国，安置在长安东府大荔沙苑定居，并与当地妇女成家，历经几十代繁衍，就成了长安“府东十大县”的“回回人”。二是北宋神宗熙宁三年（1070年）的辽、夏（西夏）联合起兵叛宋。宋朝派使者到补花刺国请求派兵援助。穆罕默德第26代世孙纳只闷的你·所非尔及其弟艾尔砂和三儿子，亲率大军7万来支援，历经10年，四方稍定。在北宋元丰三年（1080年），补花刺国要求援兵回国。艾尔砂带领多数军兵回国，所非尔则继续带领5300人马驻京保宋。神宗加封所非尔为宁彝庆国公。后来这部分军队就安置在山左、山右、淮泗之间的富饶地区从事农种。
（五）起义归顺的。唐朝贞元十七年（801年）春与吐蕃发生的“渡泸战役”。当时由黑衣大国、康国和吐蕃组成的东扩联军，侵犯中国边境，已到达泸水彼岸。为了阻止敌军，当时剑南西川节度使韦皋与南诏王牟寻的部队，联合起来夜渡泸水，经过了两场激烈的战斗，大破敌军，俘获黑衣大食国、康国和吐蕃联军万余人。战争结束后，愿意回国的全部放回，不愿回国的，被安置在湛川一带，逐渐融为中国公民。
（六）来华传教留居中国的。这些人最初的主要任务是来华传播伊斯兰教。据泉州《重清净寺碑》碑文记载，在元至正十年（1350年），来华传播伊斯兰教的第一位使者，是隋开皇七年（587年）由大食国直接派来的一位叫撒哈八·撒阿的·斡葛思的传教师，在广州建了全国第一座礼拜寺，赐名“怀圣寺”，又称“光塔寺”、“狮子寺”。撒哈八在传教过程中，又在信徒中选了一名叫哈袛散的人，助其兴教，后来二人都留居在中国。
伊斯兰教的创始人穆罕默德也说过：“学问虽远在中国，亦当求职之。”并亲派其门徒“四贤”入唐传教。一贤在广州，二贤在扬州，三贤、四贤在泉州。在他的推动下，随着教徒的增多，来华传教的人也不断增多。同时因有各种原因从阿拉伯、波斯、中亚、西亚等国的人不断来华的也不少。其教门也不断增多。如南宋绍兴元年（1131年），泉州南城清净寺的伊朗人纳只卜·穆兹喜鲁丁；元初来华传教的乌兹别克人毛拉不儿哈纳丁（后传道于北京）、伊本·安法尼；明崇祯十一年（1638年），由印度云游来南京讲经传教的伊斯兰经师阿世格等。这些人均未回国，留居中国了。
（七）蒙古军西征，随军来华的。在铁木真强蒙兴元，同饮班珠尼河水的19个开国功臣中，穆斯林就占了三个：扎八儿火者、哈散哈只（阿三）和玉速阿剌。在成吉思汗的队伍里，也收有许多足智多谋，能征善战的穆斯林将士。1211年蒙古开始攻金，首先启用扎八儿火者为先锋，从居庸关至中都（今北京），扎八儿火者一路奋勇领先。成吉思汗进入北京后，对左右近臣说：“朕能所以至此者，扎八儿之功为多。”成吉思汗于1215年占领了中都（今北京），于1218年开始西征。在军中仍然启用了大批来自中西亚的穆斯林将士，由他们作向导、当翻译，一路上有许多穆斯林归顺，并跟随蒙古军西征。如花剌子模国阿母汉守将阿鲁浑人哈只哈心。起义后，又将马鲁城的兵将招降，一路上人称哈只“从战毕捷”；补花剌著名人士赛典赤，归降后即送其子苦马鲁丁、孙瞻思丁随从蒙古军西征。成吉思汗的蒙古军西征胜利返回东土时，将这些起义军将士和随军来华的名流人物、学者、工匠等，多数带回中国。这些人也就是蒙古军西征时，随军来华的“回回人”了。
蒙古军共西征三次，每次都带回很多伊斯兰教信徒———穆斯林。从他们的从业成分看：一是军人，他们对蒙古疆域的扩大，起到了重要的作用；二是各种手工艺者，他们中有许多是能工巧匠和制造高手，为蒙古军械的打造、维修，提供了保障作用；三是各类名流人物、学者和伊斯兰教传教人，这些人虽然为数不多，但对蒙古军西征起到了很大的影响；四是宫廷佣人，这些人在蒙古军西征时就被分配到军中统领者帐下；五是农耕者和牧民。这些人到中国后，仍是亦农亦牧。
（八）从其他渠道进入中国的。这些人的具体原因很多，其时间跨度很长，多无详细的历史记载，多数是在元代时给“回回人”入籍时才发现的。如明永乐十五年（1418年），苏禄国（今菲律宾禄群岛）东王巴都葛叭哈剌、西王麻哈剌叱葛剌麻丁、峒王妻叭都葛巴剌卜，率其家属及头目约340余人，来华朝贡，受到明帝朱棣的亲切接见和封赐，在京城游览27日，十分开心，于同年8月底携明赐赠的各种礼品，沿京杭大运河南下归国。船行至山东德州段时，东王不幸病故。明帝即赦谕以礼安葬，遗官赐祭，并册封东王长子都麻含回国袭东王位，留次子安都鲁·温哈剌和王妃葛木宁及仆人10人在德州守墓。从此，这些苏禄东王的守墓者，就成了山东德州的“回回先人”了。
唐高宗永徽二年（651年），伊斯兰教由阿拉伯商人正式传入中国。
在元、明时期各种不同来源的回回开始形成一个民族。伊斯兰教被当作回回的宗教信仰。把伊斯兰教称做回回法，礼拜寺称为回回寺，伊斯兰教教长称为回回教长、回回大师。
明代时将伊斯兰教称为回回教门、回回教，后来简称回教。