鬼城到底是怎麼來的呢？為什麼鬼城要建在豐都呢？關於鬼城的形成原因，說法非常的多，但總的說起來，一共有三點：
道教之說
東漢末年，張道陵創立五鬥米教，因吸收了不少巫術，而被稱為“鬼道”，並將道中的巫師稱為“鬼吏”。公元198年，他的孫子張魯在豐都設立道教“平都治”，這裏遂成為了道教的傳教中心。後來，道教又杜撰出一個“羅豐山”，說它是北陰大帝治理的鬼都，這位北陰大帝是道教的第七級中心神，專管地獄。
在北魏地理學家酈道元的《水經注》中，稱豐都居道教七十二福地的第四十五位。在酆都城有一座景色優美的平都山，是道教七十二福地中的第四十五福地。根據東漢的《列仙傳》和晉朝葛洪的《神仙傳》書中所言，在漢代，曾有王方平和陰長生等人。
於是，這種神仙人鬼混雜的道教信仰，促成了“鬼城”的形成。
鬼帝（土伯）之說
當人類社會還處在上古時代的時候，由於科學不發達，在遇到一些大自然現象的時候無法做出正確的解釋，認為這一切是由鬼神在主宰。而巴族和蜀族是以氐、羌兩個部落為。東周時，豐都曾為巴子別都，隨著巴蜀兩族的不斷交往，政治、經濟、文化、思想、習俗相互滲透，於是產生了一個共同信仰的宗教神——土伯，這就是巴蜀鬼族的第一代鬼帝。這位鬼帝就住在幽都，至今豐都還留有“幽都”遺跡。
陰長生、王方平成仙之說
這是豐都最廣為流傳的說法。早在公元270年左右，晉人葛洪在其《神仙傳》中就有關陰、王成仙的說法。
傳說在漢朝時候，有兩位方士，一位叫陰長生，是劉肇皇後的曾祖父；一位叫王方平，官至朝中散大夫。他們因不滿社會現狀，雙雙先後來棄官到此修道，最後終於魏青龍初年得道成仙，升天而去。
隨著二位仙人的名聲日盛，招引了不少仙人到此來拜訪。如傳說中的麻仙姑，就曾來拜訪過王方平，可惜沒遇上。直到現在還留有她住過的“仙姑岩”、“麻姑洞”等遺跡。此外，呂洞賓也曾拜訪過王方平和陰長生。
到了唐朝，他們二人被人訛傳成了“陰王”，又誤作為“陰間之王”，因此他們居住的地方──酆都，進而成為閻羅王所主宰的陰曹地府了。
酆都城是陽間的“鬼城”和“十八層地獄”。因此，原來充滿仙氣的平都山漸漸漸地被鬼氣所籠罩了，一大群的陰間鬼神紛紛湧進鬼國的京都──酆都，使這個地方成了陽間的陰曹地府。
後來，又加上《西遊記》、《鍾馗傳》等小說的誇張渲染，酆都城是鬼城的說法越來越普遍，假的也成了真的。最後，成了真正的\"鬼城\"。
自宋朝以來，人們藉著自己心中對陰曹地府的揣想，在此處修築了一套如冥府般的建築，使酆都更成了名符其實的鬼城。