真武大帝正在冥想，忽見一朵祥雲飄來，到真武大帝麵前化作了一名仙子，供揖參拜真武大帝道：“仙長駕臨此山，乃草木有幸，妙樂天尊揣知仙長心事，使我前來勸君。” 真武大帝謝恩又將方才所思所想告訴了仙女。
仙女應命告別了真武大帝，回去之後立即傳召全山百鳥，即日興工，霎時間百鳥雲集，羽翼蔽日。眾鳥眾誌成城，不幾日，就塑起了一尊真武大帝神像，威嚴奪目。
光陰迅速，到了南宋寶慶年間。雲遊道士餘道元自黟北來齊雲山，夜裏夢見一個道長披發跣足，對他說：“吾居齊雲岩，已候你多時。”
餘道元夢醒以後就去齊雲岩尋找，果然尋見一尊泥像，與夢中的一模一樣，他又驚又喜。於是號召居住在山裏的居士募捐裝飾這尊泥像，還建造了“佑聖真武祠”，燒起香火，日夜供奉。
第二年，餘道元請內相程鉍題“雲岩”兩字刻於石上，這兩字為齊雲山最早的摩崖石刻。
後來四圍鄉村的百姓遇到有蝗災、旱澇，或者想要祈福、求嗣都會來真武大帝神像這裏，人群絡繹不絕，並且傳說有求必應、神威江南。
道士們後來也紛紛駐守山上，在岩洞內和道房供上真武大帝像，真武大帝的香火越來越旺盛。與此同時，朝廷也開始下令在齊雲山建築道教宮觀。
據不完全統計，在宋代期間，興建的宮、觀、道院、祠、殿及神仙洞府達到百餘處，宮闕十分壯麗。
拓展閱讀
傳說和真武大帝一同來到齊雲山的還有佛教的地藏王菩薩。這兩個人是好朋友，他倆一起訪遍名山都想找個能登極坐殿的地方。
這一日，他們一起來到齊雲山，隻見秀峰林立如仙境一般，地藏著急上山，真武卻直喊肚子餓，要求去吃碗麵。地藏隻好就近化緣兩碗素麵，真武又提出要比賽誰吃得快，規則就是麵要每根都從頭吃到尾。地藏隻好同意，一根一根尋頭慢慢吃，真武首先吃光，就占了齊雲山。
明世宗上山求子使道教興盛
自從宋代朝廷下令在齊雲山正式建築道院，齊雲山道教逐步有了發展。直至明代，明宣宗在1429年下令建造“三清殿”於拱日峰下，從此齊雲山道教興盛起來。
等到明世宗登基後，他非常崇信道教，並且詔宣天下有名的道士出入宮禁，齊雲山道教進入鼎盛時期。
明世宗非常醉心於道教，重用道士，熱衷青詞。他所製訂的崇道國策以及在此基礎上的一係列修仙活動，影響了整個明代嘉靖朝的政治、經濟、文化和社會生活，甚至決定著眾多朝臣的榮辱沉浮。正因為明世宗崇信道教，凡事皆要舉行齋蘸法事，也形成了舉國上下皆奉道的風氣，從而使道教更加深入民間。
在1532年，明世宗因無子嗣而十分憂愁。這時，明世宗得到了祖籍是齊雲山本地的近臣汪鉉的進言，說汪鉉家鄉的佑聖真武祠內供奉的真武大帝非常靈驗，可以讓道士去那裏舉行齋醮法事求子。於是，明世宗下召讓龍虎山正一道第四十八代嗣漢天師張彥率眾往齊雲山為皇帝求子。在齊雲山，張天師求簽得到順簽，後來明世宗果然得到一個兒子。
明世宗大喜，下旨擴建佑聖真武祠，並賜名為“玄天太素宮”，還親自撰寫了《禦碑記》：
朕於壬辰年，因正一嗣教真人張彥，奏令道眾詣齊雲山建醮祈嗣，果然靈應，自時設官焚修，賜建玄天太素宮於齊雲岩。
據傳說，齊雲山的這個名字就是因為明世宗為求子親自來到這裏，看到它高峰聳立，如“一石插天，與雲並齊”，因此賜名為“齊雲山”，並且明世宗還為齊雲山親題了“齊雲山”匾額。
明世宗求子得到應驗以後，“求子”就被視為齊雲山最靈的祈福主題了。百姓們求子的首選的就是明世宗求子所去的“玄天太素宮”，還有一部分香客則會去圓通岩的“側臥觀音”。
後來，第四十九代天師張永緒和第五十代天師張國祥又先後授命再上齊雲山，建醮祈祀，宣揚秘典。從此齊雲山更加聲名大振，成為江南正一道的著名道場，以致原來在齊雲山的全真派也依附於了正一道，並逐漸形成了齊雲山道教文化譜係。
拓展閱讀
來齊雲山求子的香客們為了預測生男生女，一直流傳著這樣一種做法，即在齊雲山的羅漢洞內燃放炮仗。
炮仗燃盡之後，他們會趁著天黑的時候再次回到羅漢洞，在洞裏摸炮仗殼。
傳說如果他們摸到了紅色的炮仗殼，就表示會得到兒子，如果他們摸到綠色的炮仗殼，則表示會得到女兒。這種做法後來被作為一種風俗流傳了下來。