說起南嶽衡山，就不得不說一番火神祝融的傳說。
祝融氏由於跟火親近，成了管火用火的能手。黃帝就任命他為管火的火正官。
南方有個氏族首領名叫蚩尤，經常侵擾中原，弄得中原人無法生活。黃帝就號令中原的人聯合起來，由祝融和其他幾個將領帶著對付蚩尤。祝融用火攻戰勝了蚩尤，立了大功，黃帝重重封賞了他，他成了黃帝的重要大臣。
部隊班師回朝時，路過雲夢澤南邊的一群大山。黃帝把祝融叫到跟前，故意問道：“這叫什麼山？”祝融答道：“這叫衡山。”黃帝又問：“這山的來曆如何?”
祝融又答道：“上古時候，天地一片渾沌，像個雞蛋。盤古氏開天辟地，才有了生靈。他活了一萬八千年，死後躺在中原大地上，頭部朝東，變成泰山；腳趾在西，變成華山；腹部凸起，變成嵩山；右手朝北，變成恒山；左手朝南，就變成了眼前的衡山。”
剛剛說完，黃帝緊接著又問：“那麼，為什麼名叫衡山。”
祝融馬上答道：“此山橫亙雲夢與九嶷之間，像一杆秤一樣，可以稱出天地的輕重，衡量帝王道德的高下，所以名叫衡山。”
黃帝見他對答如流，非常高興，笑嗬嗬地說：“很好！你這麼熟悉南方事務，我要委你以重任！”但黃帝並不說出是什麼重任。
隊伍在衡山駐紮下來了。黃帝登上最高峰，接受南方各個部落的朝拜。許多氏族首領會集在一起，大家都很高興，祝融一時興起，奏起了黃帝自己編的曲子--鹹池之樂，黃帝的妃子嫘祖也踏著拍子，跳起舞來。大家見了，都圍著黃帝跳了起來。
跳了個痛快以後，黃帝叫大家靜下來，說：“我就位以來，平榆罔，殺蚩尤，製訂曆法，發明文字，創造音律，編定醫書，又有嫘祖育蠶治絲，定衣裳之製。現在天下一統，我要奠定五嶽：東嶽泰山，西嶽華山，南嶽衡山，北嶽恒山，中嶽嵩山。從今以後，火正祝融鎮守南嶽。”
大家一聽，都大聲喊著：“萬壽無疆！萬壽無疆！”祝融這時才知道，原來黃帝說的委以重任就是這麼回事。
黃帝走了以後，祝融被留在衡山，正式管理南方事務。他住在衡山的最高峰上，經常巡視各處的百姓。他看到這裏的百姓經常吃生東西，就告訴他們取火，教他們把東西燒熟再吃。
他看到這裏的百姓晚上都在黑暗中摸索，就告訴他們使用火鬆明。他看到這裏瘴氣重、蚊蟲多，百姓經常生病，就告訴他們點火熏煙，驅趕蚊蟲和瘴氣。百姓們都很尊敬他，每年八月秋收以後，就成群結隊地來朝拜他。
大家說：“祝融啊，我們人丁興旺了，雞鴨成群了，五穀豐登了。你給我們帶來了這麼多的好處，我們感謝你，我們要尊你為帝了。你以火施化，火是赤色，我們就叫你赤帝吧！”從此，祝融就被大家尊為赤帝。