甘肃回族的来源，最早可追溯到唐代。当时唐王朝强盛，丝绸之路畅通，沿丝绸之路甘肃境内的主要干线：北线、中线、南线（见《丝绸之路漫记》甘肃分册）进入中国以经商为目的的大食穆斯林中，有一些人因羡慕甘肃河西地区的繁荣和富饶，留居当地。近人金吉堂在其《中国回教史》中曾这样写到，大食商人与中国商人互市于河西诸郡，“及其日久，多有留居不去，冠汉姓，娶汉人女子为妻妾者”。临夏八坊回族聚居区长期流传下来的口碑资料也说，唐代曾有10个大食穆斯林从丝绸之路甘肃境内陇西段来到临夏（时称河州），后身亡葬于该地。这些大食穆斯林应该说是甘肃回族最早的来源。到了唐末，有史料记载，今天甘肃的张掖、武威及宁夏回族自治区的灵武县，已有回族先民居住，“终唐之世，惟甘、凉、灵州有回族”。（《甘宁青史略》副编，卷3；卷31）

     宋王朝建立以后，十分重视同大食人的贸易，因此，大食人来中国的较之唐代更盛。甘肃境内丝绸之路的各条通道，则是一部分使节和商人从陆路来中国的必经之路，其中落居河西地区者，仍不乏其人。元朝初年，马可波罗到甘州时，发现在这个幅员辽阔的古城府内居住的人中，就有一部分伊斯兰信徒（《马可波罗游记》第54页），证明宋时就有穆斯林居于甘肃的事实。可以说，唐、宋之际，以经商为目的、沿着丝绸之路进入甘肃的大食穆斯林，是甘肃回族最早的先民。

     南宋末年，随着蒙古军队的西征，大批回回人东迁中国，在元政府统一全国的战争结束后，他们就留居各地，从事戌边、屯垦、看守仓库等工作。在甘肃的河西一带，为数众多的回回军士在“社”的编制下，屯田耕牧于已垦或为开垦的荒地上，经营农业生产，取得了普通农民的身份。这些落居甘肃的回回人主要是男性，他们同他们所居地方的其他民族女子结婚，这样回回又有了新的发展，人数也不断增多，东迁的回回人定居甘肃及其新的成员的繁衍，是甘肃回族形成中最重要的部分。

     此外，元代中西交通又一次呈现繁荣的景象，“无此疆彼界……适千里者如在户庭，之万里者如在邻家”（王礼《麟原集》卷6），西域回回进入甘肃河西地区“多方贾贩”而留居者为数亦不少。《甘青宁史略》正编卷13中记载：：“中统元年（公元1260年）六月已卯，蒙古主徙甘、凉、肃州寄居回回与江南各卫……被徙者户四百三十六，口一千四百七十九”。说明回族人在河西已占有相当大的比例。当地地方志中记载，在肃州（今酒泉）东关内两条各一里多长的街道上经商者“番回居大半”。肃州农村里还种植西域来的“回回麦”。《明史.西域传》卷220中“记载元时回回遍天下，及是居甘肃者尚多”。正是说明了甘肃回族在元代的繁盛。

     明代是甘肃回族形成为一个民族共同体的时期，“甘肃在明代，几乎回民全部区域”（竹篱：《回教在甘肃》）。从地域环境上看，甘肃回族这时才真正形成“大分散、小聚居”的特点，“甘肃地近西域，多回回杂处”（陆深《溪山余话》明）。从河西到陇南各地，以及今天的临夏、甘南两个自治州境内，都有回族人聚居或散居。回族人在全省各地开垦荒地，兴修水利，不断建立了新的回回村。甘肃回族主要从事农业生产，城镇回族善于经商的经济特点也基本形成。临夏是当时甘、青交界处的商业中心；张家川、平凉等地是著名的回族毛皮商人的集散场所。至于长途贩运日用品、饮食业、鲜货业的半农半商的回族人，为数就更多了。各地回族聚居区普遍建立了清真寺，本民族内部的凝结力和共同心理状态，已经相当坚固。为了适应环境，交流思想和生产技术的经验，甘肃回族此时已大量使用中文。阿拉伯、波斯语言文字，主要是用语宗教活动，日常生活中应用的相对减少，不象元代以前那样占主要成分。

     清朝初期和中期，是甘肃回族在封建社会里的发展时期。在这个时期，甘肃回族人口增加了，居住区域更扩大了，农业、商业、手工业及文化等方面更加发展了。清同治以前，河西地区仍然是甘肃回族最主要的聚居区，省内其他地方，包括现在青海和宁夏所管辖的部分地区，也是回族杂居或聚居区。同治年间西北回民起义失败后，甘肃乃至西北回族的分布状况有了重大的改变，基本形成了现在这样的布局。

     同治年间的西北回民起义失败后，清政府制定了歧视性的迁徙政策，“回民则近城驿非所宜，近汉庄非所宜，并聚一处非所宜……令觅……荒绝无主、各地自成片段者，以便安置”（见《左公囊公全集》卷41），把原来居住在八百里秦川、秦渠、唐徕渠两岸富饶之地的回民，尽悉迁到贫瘠山区内安置。甘肃的张家川、平凉等地是安置迁徙回族的主要地区之一。河西地区是唐、宋、元、明四朝以来甘肃回族最为集中的地区 ，自这次回民起义失败后，河西回族横遭清政府的屠杀、迁移，出现了“自是甘、凉、安（安西）、肃一带无回族聚居处”的局面（罗正钧《左宗棠年谱》第234页 清）。以后虽然几经变迁，但河西地区再也没有形成回族聚居区。与河西情况不同的是，河州在同治年以后，自明代以来形成“回多汉少”的局面仍然存在。各地回民起义失败后，又有大量的回民避难于河州，使河州的回族人口不断增加，成为甘肃回族最主要的聚居区。仅河州回族聚居的八坊（今临夏市）一带，就有数万回族，“盖八方（坊）为回民商务聚居之地，富甲省垣，居民三万余人，全系回族”（乾隆修《甘州府志》卷3）。随着河州回族人口的增加，经堂教育发展很快，宗教职业者为数亦甚多，城乡各地清真寺普遍建立。

     甘肃回族的分布，自同治后再无多大变化，延续到1949年。解放以后，分别于1954年2月和1956年11月，在甘肃回族聚居最集中的张家川成立的回族自治区（1955年改区为县），临夏成立了回族自治州。