隨行的大臣司徒崔浩是道教信徒，一向主張崇道抑佛，此時趁機進言，要求廢除佛教，以防後患。剛愎粗悍的太武帝便輕率地作出了滅佛的決定，命令把寺廟盡行拆毀，佛像、經典一概焚燒，僧尼全部坑殺，造成了中國佛教史上空前的劫難。
由於同情佛教的太子晃緩宣廢佛詔書，一部分僧人得以逃匿避難。曇曜就是因此而死裏逃生的，他是一個信仰堅定、很有操守的僧人，在對僧徒迫害最厲害的日子裏，尚貼身穿著法服，沒有片刻離身。
也就在這個最艱難的時期，曇曜遇上了西域高僧石頭陀。曇曜為石頭陀佛學造詣折服，遂拜其為師，潛心研究佛法。
石頭陀欲傳曇曜雕石鑄模之法，曇曜大為不解。曇曜道：“師令我學雜法，曇曜佛學根基尚淺，恐誤修行。”
石頭陀閉目不語，曇曜哀求再三，石頭陀方言道：“曇曜，為師令你學習雕石鑄模之法，自有道理。京城以西三十裏處，有一武州塞。氣候幹燥，多斷崖。崖壁皆為砂岩石，最適宜雕刻。為師不久將圓寂西歸，弘揚佛法之事，當由你來傳承。你習得雕石鑄模之法，當於武州塞廣開洞窟，於洞窟之中多刻佛像，以弘揚我佛大法！”
曇曜驚訝道：“師父，您常說學佛是為了出世之心，您今令我雕刻佛像，徒兒好生費解！諸佛菩薩，無生無相，師父卻欲刻佛像，豈不令世人觀佛像而入相乎？”
石頭陀淡淡地道：“中土之人，初聞佛法，尚無根基。吾欲刻佛石像，非為迷世人也。曇曜，當今天子，滅佛揚道，佛典經籍多為毀之。即若有世人生佛心，欲學佛法，又有何處可學？故為師欲刻石佛像於世，不管世間滄桑變化，石佛像猶在，佛法不滅於世。”
“世人見佛像寶相莊嚴，而起敬佛之心；由敬佛之心而生學佛之意。佛法萌於心，始有悟法機會。為師這是欲令世人先入世而出世，此佛法精妙之義也！”
曇曜聞言，猶如醍醐灌頂，膜拜頂禮。繼而言道：“師父，當今天子毀佛，開鑿石窟，工程浩大，需耗費大師金銀錢財，亦得人工數萬之眾，倘若為朝廷知之，皆死罪也！弟子愚昧，恐有負師父重托，還請師父為弟子開示！”
石頭陀閉目言道：“曇曜勿憂！為師滅度之後，佛法當盛。當今天子文治天下，如遇貴人相助，天子必重佛而詔令天下，大修佛事，石窟佛像之事何慮？”
“宮中馮氏，已封貴人，為師尚有恩於她。馮氏兄妹，幼年得遇為師出手相救，汝去相求，聞為師名號，馮氏兄妹必鼎立相助！”
曇曜訝然，石頭陀便敘說當年雍州官道破廟之中相救馮氏兄妹之事。石頭陀繼而吩咐道：“曇曜，馮貴人聰慧，日後當貴為皇後，繼而主天下。隻馮貴人若為皇後，按大魏祖製，必手鑄金人。宮中之人，如何懂得鑄模精義？故而為師傳授於你，馮貴人手鑄金人之際，你可前往求見其兄馮熙，則大事可成。馮氏兄妹得我師徒之恩，如何不於帝前力陳？如此，我佛法可興也！”