唐宋兩代，由於海陸交通發展，有大批波斯、阿拉伯等國的穆斯林來華經商。他們之中有許多人留居中國不願回去的，這些“番客”及其後代，元朝以後融合於“回回”之中，成為回族來源的一個組成部分。
公元7世紀60年代，白衣大食（即阿拉伯）征服了呼羅珊（今伊朗）和中亞細亞阿姆河流域廣大地區，大食帝國與唐帝國之間的陸路交通被打開，兩個帝國之間的交往日益增多。當時許多大食貢使和商人，經由阿富汗、天山南北，由甘肅、青海直抵唐都長安。據史籍記載，從唐高宗永徽二年至德宗貞元十四年（公元651—798年）的一百四十八年間，大食遣使至唐共達三十七次之多。當時經過這條通道（即“絲綢之路”）來華的商賈數目也相當可觀。據《資治通鑒》記載，德宗時留居長安的外商就有四千多人，涼州（今武威）等地外商人數亦甚多，其中阿拉伯、波斯商人占多數。玄宗、肅宗時發生“安史之亂”，兩京及北方大片領土失守。為平定叛亂，收複兩京，唐王朝曾借用大食、回紇等國兵二十萬人。叛亂平息後，據說這些兵有一部分被允準留居下來，在西京長安、東京洛陽及靈州（今寧夏靈武）附近落戶。德宗以後，吐蕃、契丹、黨項等族相繼興起，因北方連年交戰，唐至大食的陸路交通被阻斷。
然而，此時海上交通卻空前繁榮起來。此後，阿拉伯、波斯等國人，多由海路，經過馬六甲海峽到中國來。唐宋時期，我國東南沿海經濟、文化日益發展，廣州、杭州、泉州、揚州等地，有大批阿拉伯、波斯人經商居留，每處都多達數千人。唐王朝對外商一般采取鼓勵政策，在以上城市設置“市舶使”專管外商事務。並且還特意下令保護來沿海一帶經商的外國人。到了宋代，海上貿易更加發展。北宋時更是鼓勵海外貿易，太宗曾親派使者，“賚敕書、金、帛，分四路抬致海南諸番”，後在廣州、明州（今寧波）、杭州設置“市舶司”（號稱“三司”），在泉州、溫州等地設“市舶務”或“市舶廠”，掌管番貨、海舶、征榷、貿易之事。
唐宋時期來華經商的阿拉伯、波斯等國商人，多係穆斯林。他們初來華時，隻是做買賣，是僑民性質的“客居”，所以華人稱之為“番客”。他們在某一城市中，多聚居在一處，華人稱為“番坊”。“番坊”中有番坊長，管理“番坊”中事務。“番坊”中還設有禮拜寺，供穆斯林從事宗教活動。唐時，這些穆斯林在中國建立的禮拜寺，據說有兩座，一是廣州的懷聖寺（即光塔寺），一是長安大學習巷禮拜寺。宋時建有泉州的清淨寺、杭州的鳳凰寺、揚州的麒麟寺等。久而久之，這些“番客”中有許多人在中國長居不歸了，並且有不少娶漢女為妻，生兒育女。他們在中國的土地上竟出現了“五世番客”。有的“番客”還設了“番學”，供諸番子弟上學。
到了宋代，在廣州、泉州等地已出現了“番客”的公共墓地。廣州的穆斯林墓地在北郊桂花崗，以“宛葛素墓”為中心。始建年代和創建人已不可考。泉州的穆斯林“聖墓”建於東郊靈山，建成於宋孝宗隆興癸未年（公元1163年），是由蒲霞辛和納隻卜·穆茲喜魯丁兩人主持營建的。
唐宋時期，由於來華穆斯林增多，讀書和應試的人也由少漸多。唐時波斯人李元諒官至尚書左仆射、鎮國軍節度使，大食人李彥曾登進士第，波斯人李曾編《海藥本草》，為中華醫藥事業作出了貢獻。李和妹妹李舜弦又長於文學，是唐末五代時的著名詞人。到了宋代，應舉登科者更是不乏其人。如宋末蒲壽、蒲壽庚兄弟二人，曾做泉州提舉市舶司多年。因子貴，其父蒲是古柏被朝廷宣贈太中大夫。
從以上情況來看，唐宋時期來中國的穆斯林“番客”與“番兵”，有不少留居不歸了，並且生兒育女，逐漸成了中國人。當元代回回人大量東遷入華後，他們也開始被人們稱為“回回”，成為回族來源的一個組成部分。