回回的範圍最早也隻是指來自中亞、西亞的花剌子模、阿拉伯國家的穆斯林，20多種色目人各有其名，回回隻是其中之一。到元中期後回回的範圍漸漸擴大，凡信奉伊斯蘭教的人都成為廣義的回回。《至順鎮江誌》中把“僑寓”的色目人歸納為畏兀兒、回回、也裏可溫、河西四種人，“回回”才正式成為信奉伊斯蘭教的各色人種的總名稱。
(二)組成元代回回人的種族
1.阿拉伯、波斯人
阿拉伯、波斯人最早伊斯蘭化。唐、宋時期來華定居的穆斯林，他們主要是阿拉伯、波斯人。如南宋在泉州管理外貿的阿拉伯人蒲壽庚及其後裔以及全國各地的“土生蕃客”。這類回族先民，元時也稱為回回人。
蒙古西征擄掠了大批中亞、西亞的穆斯林東來，其中一部分是阿拉伯人和波斯人。蒙古西征後，由於中西交通的暢通，他們通過陸路和海路又絡繹不絕地來到中國。在元朝文獻中對來自阿拉伯地區和波斯地區的穆斯林一般稱大食人或回回人，其中也包括一些波斯化的突厥人。
蒙古西征後來華的阿拉伯、波斯人，主要有以下幾類：一類是軍士。如“蒙古人把忽氈(今塔吉克斯坦列寧納巴德)的青壯年強編入軍，趕往那裏，同時還從訛答剌、不花剌、撒麻耳幹及別的城市、村落，取得援兵，這樣，該地共集中了五萬簽軍和兩萬蒙古軍”（《世界征服者史》上冊，中譯本，呼和浩特：內蒙古人民出版社，1980年，第108頁。）；在訛答剌，“那些刀下餘生的庶民和工匠，蒙古人把他們擄掠而去，或在軍中服役，或者從事他們的手藝”（《世界征服者史》上冊，中譯本，呼和浩特：內蒙古人民出版社，1980年，第99頁。）；在不花剌，蒙古軍隊來攻時，不花剌人“打開他們的城門”投降了（《世界征服者史》上冊，中譯本，呼和浩特：內蒙古人民出版社，1980年，第120頁。），蒙古人則將該城中“適於服役的青壯年和成年人被強征入軍”（《世界征服者史》上冊，中譯本，呼和浩特：內蒙古人民出版社，1980年，第123頁。），賽典赤贍思丁應在這時隨其父苦馬魯丁一起從軍的；在撒麻耳幹，“從青壯年中挑出同樣的（三萬）人，編為一支簽軍”（《世界征服者史》上冊，中譯本，呼和浩特：內蒙古人民出版社，1980年，第140頁。）。所以元代有許多來自阿拉伯、花剌子模的軍人成為大大小小的軍官，如西域木發裏(今伊拉克摩蘇爾)人阿老瓦丁為回回炮手軍匠上萬戶府副萬戶，旭烈(今伊拉克納傑夫東南)人亦思馬因為回回炮手總管，著名大食學者贍思的祖父魯坤是隨軍遷到豐州(今內蒙古呼和浩特東)的。
（一類是工匠。除上引蒙古軍在忽氈、訛答剌擄掠工匠外，在撒麻耳幹、不花剌等地也大批擄掠工匠。僅撒麻耳幹一地就擄掠了3萬工匠，窩闊台時撥3000戶到蕁麻林(今河北萬全西洗馬林)置蕁麻林人匠提舉司，專事織造納失失緞匹，蕁麻林成了撒麻耳幹人居住最集中的城鎮，“此城大多數居民為撒麻耳幹人。他們按撒麻耳幹的習俗，建起了很多花園”（拉施特：《史集》第二卷，中譯本，北京：商務印書館，1985年，第324頁。）；中政院使買述丁的曾祖馬合謀是不花剌的工匠和天文學家，他和許多“細巧工匠”的不花剌人一起被俘到和林(今蒙古烏蘭巴托西南)，他們之中有的又遷於弘州(今河北陽原)、蕁麻林，馬合謀後任洪城屯衛百戶（朱德潤：《資善大夫中攻院使買公世德之碑銘》，《存複齋文集》卷一。）。著名建築師也黑迭兒、造炮師阿老瓦丁、亦思馬因等阿拉伯人，在元代成為工藝世家。由於元代普建清真寺，有元一代當有不少建築師來自阿拉伯、波斯，如泉州伊斯蘭清真寺艾蘇哈卜寺就是回曆710年(1310/1311年)由設拉子(今屬伊朗)魯克伯·哈隻·艾哈瑪德·本·穆罕默德·賈德斯重建的（《泉州伊斯蘭教石刻》，寧夏人民出版社、福建人民出版社，1984年，第3頁。）。）
一類是商人。早期是回回商人阿三(哈隻哈散)，與成吉思汗同飲班朱尼水；太宗時回回商人法迪瑪受寵於脫列哥那皇後，引薦奧都剌合蠻以220萬兩撲買中原課稅。之後，回回商人足跡幾乎遍及全國，中統四年(1263年)時中都(今北京)的回回人戶達2953戶，“於內多係富商大賈、勢要兼並之家，興販營運百色，侵奪民利”（王惲：《為在都回回戶不納差稅事狀》《秋潤先生大全集》卷八八。）；泉南有巨賈回回佛蓮，為蒲氏之婿，擁有海舶80艘，死後留下珍珠130石（周密：《癸辛雜識續集》卷下，《佛蓮家貲》。）。元朝時從海陸兩道來華的阿拉伯、波斯商人甚多，杭州之埃及巨商歐斯曼·伊本·安法尼，“是當地一大巨商，他十分欣賞此地，因而定居於此，該地因此而出名。他的子孫在此地繼承了他的聲望。”（《伊本·白圖泰遊記》，馬金鵬譯，銀川：寧夏人民出版社，1985年，第557頁。）伊本·白圖泰每到一地幾乎都會遇到穆斯林商人。直到明初大將藍玉北征殘元軍隊至捕魚兒海(貝爾湖)，獲撒馬兒罕商人數百（《明太祖實錄》卷二一〇。），可見元代來華商人之多。