回族的居住具有“大分散，小集中”的特点。这种分布格局有一个演化过程，大体上始于元代，至明代则基本形成。
唐宋时期，回族的先民们（当时被称作“番客”）多是由阿拉伯、波斯来华经商的穆斯林，他们主要居住于东南沿海的港口城市广州、扬州、杭州、泉州和首都长安、开封等地。在这些城市里，他们相对集中于一隅或一条街道，并在其中心地区创建清真寺，以便过宗教生活。唐时在广州等地已出现了管理“番客”宗教事务和调解他们之间纠纷的“番坊”。至宋代，在广州、泉州等地的番坊中还专门为“番客”子弟设立的番学，除了学习番文（即阿拉伯、波斯文字）外，还学习汉语文。
由上可知，唐宋两代这些回族先民的居住已有“小集中”的特点，但“大分散”尚不明显。
到了元代，回族“大分散，小集中”的居住特点逐渐形成。元初，大批中亚西亚回回人进入中原。他们之中以军士为多，也有工匠、官宦和商人等，足迹遍及全国，所以有“元时回回遍天下”之说。这些西域回回进入中原后，随着战争的结束，多数被元统治者编管落籍为民。他们落籍后，总是尽力集中在一起，逐渐形成大大小小的聚居区，如以甘州（今张掖）为中心的河西地区，以平凉、固原为中心的陇东地区，以西安为中心的关中地区，以灵州为中心的宁夏地区，以昆明为中心的云南地区，以开封为中心的中原地区（包括安徽北部），以北京为中心的华北地区，以南京为中心的江浙地区。这些聚居区遍布黄河上下游、大江南北以及云贵高原，真可谓“大分散”。而“小集中”则表现在，居农村者自成村落、山寨，居城镇者则集中于一个隅所或街道。
元末明初，由于连年战乱，回回人四处流落；再加明初的大规模迁徙，使回回人的居住更趋分散。明洪武初年，在战争平息下来以后，许多参加朱元璋起义打天下的回回人即随地屯戍，后落籍为民，出现新的回族聚居区，如甘肃的洮州（今临潭），青海东部民和、西宁一带，云南的部分地区。同时，朱元璋还将许多百姓迁往受战祸严重破坏的河南、山东、安徽、河北等地，许多回回人也被迁徙安置，随即在以上地区又出现了不少回族聚居区。明永乐年间，明成祖将首都由南京迁往北京，南京的民户“大半随行”，许多回回人也随之北迁，后来在北京及附近的沧州、河间、临清一带定居下来。“靖难之役”中反燕王（即后来的明成祖）的山东布政司参政铁铉被害后，其后裔和部属流落四方，有相当一部分人逃往关外，落籍辽宁，使回回人向来很少的东北地区增添了不少回族人的成分，并逐渐形成一些回族聚居区，如沈阳等地即是。
在明代，回族“大分散，小集中”的居住特点进一步形成，为之后回族的分布打下了基础。
在清代，由于清王朝的民族压迫和歧视，回族人民被迫举行多次反清起义，从而招致清政府的残酷镇压，特别是咸丰、同治年间的云南和西北回民大起义，回民死伤尤多。起义失败后，清政府在“善后”处理中，对残存下来的回民进行了大规模的迁徙，把他们安置在贫瘠落后的边远山区，致使回民聚居的陕西关中地区、甘肃河西地区以及宁夏河西一带，回民所剩无几。不过，伴随着迁徙，一些新的回民聚居地区又出现了，如宁夏的泾源、固原、西吉以及甘肃平凉的一些地区。
总之，经过明、清两代的战乱和迁徙，使回族的居住更趋分散，然而其“大分散，小集中”的分布格局从整体上来说却没有改变。“大分散，小集中”是客观形势所致，人们无力改变，然而回族人却力争其居住区域的“小集中”，这样便于维护内部的联系和过宗教生活，不致使自己的民族群体被统治阶级的强制压迫所湮没。这充分体现了回族人民不畏强权，自立、自强的顽强性格。