很多時候，祖先直接被稱為鬼。《周禮·春官·大宗伯》載：“大仲伯之職，掌建邦之天神、人鬼、地隻之禮。”人鬼主要是各姓的祖先。《禮記·祭法》中也載：“大凡生於天地之間者皆曰命。其萬物死皆曰折。人死曰鬼。”這裏說人死了之後都稱為鬼。稱之為鬼，源於人死後必有歸宿。《說文解字》載：“鬼之為言歸也……古者謂死人為歸人。”《禮記·祭義》載：“眾生必死，死必歸土，此之謂鬼。”人死若有歸處，才不會作亂害人。子產曰：“鬼有所歸，乃不為厲。”
人死後統稱為鬼，但不包括那些有資格進入宗廟的祖先。《禮記·祭法》中載：“王立七廟、一壇、一墠。曰考廟，曰王考廟，曰皇考廟，曰顯考廟，曰祖考廟，皆月祭之。遠廟為祧，有二祧，享嚐乃止。去祧為壇，去壇為墠。壇、墠，有禱焉祭之，無禱乃止。去墠曰鬼。”意思是說王有七廟，分別祭祀他的父親、祖父、曾祖父、高祖父和始祖，這些人每個月都要祭祀。另外，高祖的父親和祖父，每季度祭祀一次即可。高祖的曾祖和高祖無廟，有壇和墠，有所祈禱時進行祭祀，沒有祈禱就不祭祀。比壇墠受祭祖先更遠的祖先，就叫做鬼了。按照古代禮製，在王以下，諸侯、大夫、適士、官師所能祭祀的祖先數量依次遞減，直至“庶人庶士無廟，死曰鬼”，庶人庶士的祖先全部都是鬼。
稱呼祖先為“祖先鬼”，有時是為了凸顯對祖先的敬畏。海南黎族是一個信仰鬼的民族，他們認為人死後會變成鬼，其中“祖先鬼”是最大的鬼，會主宰子孫的生活和命運，子孫稍有不敬，得罪了它，它就可能作祟於人，讓子孫遭殃，這時必須請“道公”、“娘母”或老人來“做鬼”祈求“祖先鬼”原諒，並保佑後代平安。在日常生活中，每逢祭祀性節日，對“祖先鬼”的祭祀也要特別隆重。“祖先鬼”包括三種，一種是“大祖先”，指始祖、二世祖和三世祖，祭祀時要用牛祭祀，故稱“吃牛祖先”。二是“中祖先”，通常指家族祖先，祭祀時用豬，故稱“吃豬祖先”。三是“小祖先”，指個體家庭的祖先，稱“公爺”，是已故的祖父、父親，祭祀時用狗或者雞，稱“吃狗祖先”、“吃雞祖先”。同時，由於“祖先鬼”愛作祟害人，使人生病，平日生活中嚴禁說出祖先的名字。一旦說了祖先名字，就會把“祖先鬼”招引出來作祟害人。鑒於這種情況，在黎族生活中，一年四季都忌諱說出祖先的名字。如果故意說出別人祖先的名字，就是一種蓄意陷害，嚴重時可能引起群毆、械鬥。
在另外一些地方，人們相信祖先是鬼，但和別的孤魂野鬼、惡鬼、厲鬼不同。祖先是家鬼、好鬼，不僅不會作祟害人，還能保護家人不受傷害。謝宗玉在《鬼節扶乩》中講述了一個七月十五的故事。故事說七月十五陰司放假，鬼像洪水一樣湧入人間，大街小巷到處都是鬼，實在讓人害怕。人們都擔心被惡鬼傷害，但事實不會的，家鬼會保護大家。“母親說，家鬼本來是鬥不過惡鬼的。但家鬼每天有後人給他們供飯燒紙，將它們養得精氣神都足足的，惡鬼餓著肚子跟它們打架，自然就打不贏。”家鬼能保護家人，但是家鬼也有脾氣，要好好對待：“母親做好一桌上等的飯菜，洗手焚香，把所有的門窗打開，口裏念念有詞，大概是請自家的祖先上席。母親做這些的時候，我、父親、小妹就神色緊張地靠牆站著，一動也不敢動，以免和祖先撞個滿懷。祖先在世時一個個脾氣都好，可不知做了鬼後性情是不是變了？就怕它們為一點小事見怪，拂袖而去，那我們家的夜晚就無鬼照看了。”
祖先除了被稱為“祖先神”、“祖先鬼”外，有時還鬼神並稱，《孝經·感應》載：“宗廟致敬，鬼神著矣。”唐玄宗注曰：“事宗廟能盡敬，則祖考來格。”《禮記》中也記載：“夫宗廟，鬼神所居。”這裏用鬼神泛指一切祖先的靈魂。
祖先既可以被尊為神，也可以被稱為鬼，神與鬼之間有一點是亙古不變的——祖先與子孫之間具有永恒不變的血緣關係和利害攸關的依存關係。正是為了表達子孫的感恩與孝思，也向祖先祈求福佑，中元祭祀才一代代地傳承下來。
其實不管我們的祖先到底是神是鬼，它更代表著許多深刻的意義。是神是鬼不重要，重要的是我們能有對祖先的一顆虔誠而尊敬的心，這才是永恒不變的真理。