傳說五台最早是道家的地盤，《道經》裏稱五台山為紫府山，曾建有紫府廟。《清涼山誌》稱佛教的文殊菩薩初來震旦（古代印度人稱中國為震旦）時，居於石盆洞中，而石盆在道家的玄真觀內，這說明當時五台山為道家所踞。
佛教最初傳入我國時，隻有少數人奉行。公元前二年，大月支國（原居我國新疆西部伊犁河流域的少數民族，西遷中亞後建立的國家）國王的使者伊存來到當時中國的首都長安（即今西安），他口授佛經給一個名叫景盧的博士弟子，這是中國史書上關於佛教傳入中國的最早的記錄。
佛教傳入五台山，普遍的說法是始於東漢。史籍記載，永平十年（公元67年）十二月，漢明帝派往去西域求法的使者同兩位印度高僧迦葉摩騰和竺法蘭來到洛陽。
永平十一年在洛陽城西雍門外禦道之南，建造一座僧院以供主兩位印度高僧居住為紀念白馬負經（《四十二章經》）輸像（佛像）之功，因名白馬寺。
永平十一年，迦葉摩騰、竺法蘭從洛慢來到了五台山（當時叫清涼山）。由於山裏很早就有阿育王的舍利塔，再加上五台山又是文殊菩薩演教和居住的地方（相傳峨嵋山是普賢菩薩、普陀山是觀世音菩薩、九華山是地藏王菩薩演教和居住的地方），他二人想建寺，但由於當時五台山是道教根據地，他二人頗受排擠，奏知漢明帝。據《國史舊聞》第一冊五0二頁載：“永平十四年正月十五日，明帝集諸道士於白馬寺，使與摩騰、竺法蘭二人塞法。”雙方達成協議——約期焚經，以別真偽（相傳，焚經地點在今西安焚經台）。焚經的結果，道教經文全部焚毀，佛教經文卻尚未完全燒盡，他二人獲得建寺的權利。台內山多地廣，河流縱橫，何處建寺適宜？《清涼山誌》載：“在大塔左側，有釋迦佛所遺足跡，其長一尺六寸，廣六寸，千幅輪相，十指皆現”。相傳他二人不僅發現此足跡，而且還發現有“舍利”，再加上營坊村這座山的山勢奇偉，氣象不凡，和印度的靈鷲山（釋迦佛修行處）相似。由於這三種原因，故決定在此建寺。寺院落成後，寺以山名——靈鷲寺。漢明帝劉莊為了表示信佛，乃加“大孚”（即弘信的意思）兩字，因而寺院落成後的全名，叫做大孚靈鷲寺。大孚靈鷲寺是現今顯通寺的前身。從那時起，五台山開始成為中國佛教中心，五台山的大孚靈鷲寺與洛陽白馬寺同為中國最早的寺院。
南北朝時期，五台山佛教的發展出現第一個高潮。北魏孝文帝對靈鷲寺進行規模較大的擴建，並在周圍興建了善經院、真容院等十二個寺院。北齊時，五台山寺廟猛增到二百餘座。到了隋朝，隋文帝又下詔在五個台頂各建一座寺廟。即東台望海寺、南台普濟寺、西台法雷寺、北台靈應寺、中台演教寺。也因為五台山是文殊菩薩演教的地方，所以這五個台頂上的寺廟均供奉文殊菩薩，但五個文殊的法號完全不同：東台望海寺供聰明文殊、南台普濟寺供智慧文殊、西台法雷寺供獅子文殊、北台靈應寺供無垢文殊、中台演教寺供孺童文殊。從此以後，凡到五台山朝拜的人，都要到五個台頂寺廟裏禮拜，叫做朝台。此時五台山之名已經大量出現在北齊史籍之中了。