根据现有资料查证，回族徙居山西的原因很多，时间不一。回民最早进入山西是在13世纪初。当时随着蒙古军西征，大批中西亚人东迁。元朝统一中国后，这些些随军东迁的色目人在各地屯田定居。大同市一带最早的回族先民即源于此。现在可考的右玉县麻姓回民，徙居右玉已历29代，曾五易墓地，约计700余年。到了明代，麻姓已是大同一带的望族。

     元末明初，由于军事征战、调遣、移民和经商等原因，各地回回的大量迁入，是山西回族的形成时期。据古建筑专家鉴定，规模较大的太原清真古寺的殿堂建于元明交替之际，这证明太原的回民在元末明初时已为数不少。洪武年，朱元璋分封诸王，屏藩王室。据《明史》载：“沈藩二十六王，皆居潞”。潞即今长治市。明永乐六年（公元1408年）沈简王朱模封至长治，在起移驾潞州的侍卫人员中就有百余名回族人，多数为南京水西门的马、程两姓，其中有军士、手工业者和商人，定居在今长治皇城周围的铜锅、南头、营口，即三道营一带。雁北地区右玉县的甄姓回族原系明京都的回回，在右玉已历19代人，约500年。在甄姓回族开设的王盛园饭馆招牌上，曾标有“京都回回”字样。到清代后期，甄姓回族是右玉首富之家。

     明永乐年间实行移民政策，在山西省洪洞县设有移民站，是移民集散地。太原回回中的十大姓，即朵、罗、田、梁、李、金、萨、海、岛、邸，大部分是这次移民来的。其中金姓、梁姓来自南京。这期间，也有一些人入晋经商留居的回民，如太原的杨、丁、马姓，是从陕甘宁入晋经商而定居下来的，田姓则是有山东经商辗转内蒙古呼和浩特后到太原落户的。

     明末清初以后，因战乱、逃荒、经商等原因、由陕西、河南、宁夏、河北、山东等第迁居山西的回族留居于山西晋城、运城一带。如绛县回族是明崇祯五年（公元1632年）定居的。顺治六年，回族被内徙迁调。现可考的有右玉县马姓回族，系从山东迁入的，据其家谱记载，到右玉县已历13代，约300余年。大同县马家会村回民也是同期由河北宣化府迁入的。清道光二十年，河南怀庆府一部分回族迁入晋城城关。同治初年，西北回族群众抗清起义失败后，有两批到晋城定居下来，约100余户，500多人口。运城地区的垣曲、新绛、合津等县回族多数是清代从河南迁入的。自1907年正太铁路通车后，河北石家庄、保定地区有众多回族陆续到太原和晋中地区谋生并定居。

     解放后，随着干部职工的工作调动和民间婚嫁，也有一些回民从河北、北京、内蒙古、河南等地迁居山西。