“回回”一詞據漢文字記載，最早見於北宋沈括所著的《夢溪筆談》一書。該書卷五中有“銀裝背嵬打回回”之說。不過，根據當時的曆史背景分析，他們打的“回回”，應為居住於安西、高昌一帶的回鶻，而不是日後的回回族人。因為，北宋時居於安西、高昌一帶的回鶻人尚崇奉佛教（摩尼教），與信奉伊斯蘭教的回回人截然不同。沈括在《夢溪筆談》中所以把回鶻稱為回回，是因為當時民間已把回鶻誤稱為回回，他未及深辨，隨俗而稱，寫進詩中。
到了南宋，“回回”一詞出現漸多，而且含義也寬泛多了。神宗時，彭大雅、徐霆曾先後隨使蒙古，他們將所見所聞整理成《黑韃事略》一書。“回回”一詞在該書中多次出現。不過含義甚泛，既包括蔥嶺內外的眾多居民，也包括這一地區的一些國家或地域。該書成於13世紀30年代，此時中亞地區和我國新疆西南部早已伊斯蘭化了。因此，該書中多處出現的“回回人”、“回回國”、“回回諸種”等提法，肯定囊括了相當數量的穆斯林和伊斯蘭地區。
到了元代，“回回”一詞的含義逐步集中、逐步明確了，它成了伊斯蘭教信仰者的通稱，在多數情況下，它與穆斯林是同義的。
從1219年成吉思汗西征，到1258年旭烈兀攻陷巴格達，蒙古大軍征服了蔥嶺以西、黑海以東的廣大地區，並將該地區的大批穆斯林強令簽發（也有自願前來的）到中國來。在元代的官文中，統稱這些人為“回回”。
關於元代“回回”一詞的含義，白壽彝先生作了精辟的概括：“元時，‘回回’一名開始代替‘大食人’，被認為信仰伊斯蘭教者的名稱。後來又用這個名詞兼稱波斯人。但有時，元代也有稱伊斯蘭教人為回鶻的，也有以回回兼指別種西域人的。不過，大致說來，回回之用以稱呼伊斯蘭人，是始於元，並且在元已是很通行了。”（《中國回教小史》）
到了明代，“回回”與“教門”開始聯結在一起，把回回人信仰的伊斯蘭教稱作“回回教門”、“回回教”，或更簡略地稱為“回教”。而對伊斯蘭教徒，無論國內的，或者國外的，則通稱“回回人”。這種稱呼最早見於明永樂年間隨鄭和下西洋的回回人馬歡所著的《瀛涯勝覽》一書中，並且多次出現。
自清初直至民國年間，我國信仰伊斯蘭教的各民族，被泛稱為“回”、“回回”、“回族”亦即“回教民族”。為了便於區別，而將回回民族稱為“漢回”、“熟回”，將維吾爾族稱作“纏回”、“生回”，將撒拉族稱作“撒拉回”，將東鄉族稱作“東鄉回”，等。這些稱謂，多不準確，不科學，且存民族歧視，這些兄弟民族從不接受。解放後，黨中央和人民政府根據曆史傳統和人民意誌，界定了各民族的族稱。信仰伊斯蘭教的各民族，從而都正式確定了自己的族稱。“回回”這個名稱，成為回回民族（即回族）的通俗稱呼。