唐宋两代，由于海陆交通发展，有大批波斯、阿拉伯等国的穆斯林来华经商。他们之中有许多人留居中国不愿回去的，这些“番客”及其后代，元朝以后融合于“回回”之中，成为回族来源的一个组成部分。
公元7世纪60年代，白衣大食（即阿拉伯）征服了呼罗珊（今伊朗）和中亚细亚阿姆河流域广大地区，大食帝国与唐帝国之间的陆路交通被打开，两个帝国之间的交往日益增多。当时许多大食贡使和商人，经由阿富汗、天山南北，由甘肃、青海直抵唐都长安。据史籍记载，从唐高宗永徽二年至德宗贞元十四年（公元651—798年）的一百四十八年间，大食遣使至唐共达三十七次之多。当时经过这条通道（即“丝绸之路”）来华的商贾数目也相当可观。据《资治通鉴》记载，德宗时留居长安的外商就有四千多人，凉州（今武威）等地外商人数亦甚多，其中阿拉伯、波斯商人占多数。玄宗、肃宗时发生“安史之乱”，两京及北方大片领土失守。为平定叛乱，收复两京，唐王朝曾借用大食、回纥等国兵二十万人。叛乱平息后，据说这些兵有一部分被允准留居下来，在西京长安、东京洛阳及灵州（今宁夏灵武）附近落户。德宗以后，吐蕃、契丹、党项等族相继兴起，因北方连年交战，唐至大食的陆路交通被阻断。
然而，此时海上交通却空前繁荣起来。此后，阿拉伯、波斯等国人，多由海路，经过马六甲海峡到中国来。唐宋时期，我国东南沿海经济、文化日益发展，广州、杭州、泉州、扬州等地，有大批阿拉伯、波斯人经商居留，每处都多达数千人。唐王朝对外商一般采取鼓励政策，在以上城市设置“市舶使”专管外商事务。并且还特意下令保护来沿海一带经商的外国人。到了宋代，海上贸易更加发展。北宋时更是鼓励海外贸易，太宗曾亲派使者，“赉敕书、金、帛，分四路抬致海南诸番”，后在广州、明州（今宁波）、杭州设置“市舶司”（号称“三司”），在泉州、温州等地设“市舶务”或“市舶厂”，掌管番货、海舶、征榷、贸易之事。
唐宋时期来华经商的阿拉伯、波斯等国商人，多系穆斯林。他们初来华时，只是做买卖，是侨民性质的“客居”，所以华人称之为“番客”。他们在某一城市中，多聚居在一处，华人称为“番坊”。“番坊”中有番坊长，管理“番坊”中事务。“番坊”中还设有礼拜寺，供穆斯林从事宗教活动。唐时，这些穆斯林在中国建立的礼拜寺，据说有两座，一是广州的怀圣寺（即光塔寺），一是长安大学习巷礼拜寺。宋时建有泉州的清净寺、杭州的凤凰寺、扬州的麒麟寺等。久而久之，这些“番客”中有许多人在中国长居不归了，并且有不少娶汉女为妻，生儿育女。他们在中国的土地上竟出现了“五世番客”。有的“番客”还设了“番学”，供诸番子弟上学。
到了宋代，在广州、泉州等地已出现了“番客”的公共墓地。广州的穆斯林墓地在北郊桂花岗，以“宛葛素墓”为中心。始建年代和创建人已不可考。泉州的穆斯林“圣墓”建于东郊灵山，建成于宋孝宗隆兴癸未年（公元1163年），是由蒲霞辛和纳只卜·穆兹喜鲁丁两人主持营建的。
唐宋时期，由于来华穆斯林增多，读书和应试的人也由少渐多。唐时波斯人李元谅官至尚书左仆射、镇国军节度使，大食人李彦曾登进士第，波斯人李曾编《海药本草》，为中华医药事业作出了贡献。李和妹妹李舜弦又长于文学，是唐末五代时的著名词人。到了宋代，应举登科者更是不乏其人。如宋末蒲寿、蒲寿庚兄弟二人，曾做泉州提举市舶司多年。因子贵，其父蒲是古柏被朝廷宣赠太中大夫。
从以上情况来看，唐宋时期来中国的穆斯林“番客”与“番兵”，有不少留居不归了，并且生儿育女，逐渐成了中国人。当元代回回人大量东迁入华后，他们也开始被人们称为“回回”，成为回族来源的一个组成部分。