喪葬習俗和許多禮儀風俗一樣，是人類社會發展到一定階段後才出現的。
在遙遠的荒古時代，早期原始人沒有安葬死者的習慣。《孟子·滕文公》說：“蓋上世嚐有不葬其親者，其親死，則舉而委之於壑。”把死人隨意丟棄到野外溝壑。在生活極度困苦的遠古社會，不幸的死亡者也常常被饑餓的人們當做美餐吃掉，如澳大利亞沿海的一些原始部落，很晚還保留著吞食亡親屍體的原始遺風。有的部落則沿襲著把屍體留在原處、活人離之而去的古老習慣。
生活在歐洲舊石器時代中期的尼安德特人（距今約七萬至三萬五千年），屍骨旁堆放著燧石、石英塊以及野牛和馴鹿的遺骸，說明當時已有埋葬死者的習俗。這是目前世界範圍內發現的最早的葬俗遺跡。距今約一萬八千年，生活在北京周口店的山頂洞人，將死者埋葬在人類居住的洞穴深處，屍骨旁有隨葬的石器，周圍用紅色的赤鐵礦粉撒成圓圈。這是我國迄今所能見到的最早的葬俗遺跡。
如果從世界上最早的猿人算起，人類社會已經有了三百萬年的曆史，而葬俗的出現隻不過是數萬年前的事情。由此可見，葬俗的產生有一個相當漫長的曆史過程。
葬俗來源於靈魂不死的觀念，是鬼魂崇拜的產物。
關於靈魂不死的觀念，恩格斯有這樣一段精辟的論述：
在遠古時代，人們還完全不知道自己身體的構造，並且受夢中景象的影響，於是就產生一種觀念：他們的思維和感覺不是他們身體的活動，而是一種獨特的、寓於這個身體之中而在人死亡時就離開身體的靈魂的活動。從這個時候起，人們不得不思考這種靈魂對外部世界的關係。既然靈魂在人死時離開肉體而繼續活著，那末就沒有任何理由去設想它本身還會死亡；這樣就產生了靈魂不死的觀念。（《路德維希·費爾巴哈和德國古典哲學的終結》）
靈魂觀念產生之後，又從靈魂觀念發展為鬼魂觀念。靈魂依附於活人的肉體，是人的“複身”；活人的靈魂在人死之後就變成鬼魂，它是脫離肉體而獨立存在的東西。這種觀念在中國古代普遍存在，《禮祭·祭法》雲：“大凡生於天地之間者皆曰命，其萬物死皆曰折，人死曰鬼。”《說文解字》也說：“人歸為鬼。”
古人迷信鬼是靈魂變的，但並不崇拜附著在活人身上的靈魂，而隻是崇拜離開了人體獨往獨來的鬼魂。因為他們確信，活人的靈魂除對本人起作用以外，和其他人不發生任何關係；但獨立存在的鬼魂則具有超人的能力，可以對死者以外的人起好的或壞的作用。鬼魂來無蹤去無影，千變萬化，在活人難以察覺的暗中廣施魔力，以保護或作祟人類。正因為鬼魂有如此神奇的力量，原始人對它產生了無比恐懼的心理，進而演變為鬼魂崇拜。
鬼魂既然是死人的化身，蒙昧的原始人為了取悅於鬼魂，以避災求福，就改變了過去那種對死者輕慢無禮和漠不關心的態度，根據他們對鬼魂陰間生活的種種幻想，妥善處理死者的遺體，並舉行相應的宗教儀式。這樣，喪葬習俗就應運而生了。
山頂洞人在死者屍體周圍有意識地設計紅色的圓圈，無疑具有一定的宗教含義。據民族學提供的資料，近代尚處於原始社會階段的一些氏族部落，認為紅色表示鮮血，它既是生命的來源，也是靈魂的寄身之處。山頂洞人將死者的葬地和紅色融為一體，可能是受類似觀念的支配。這說明，我國古代的葬俗一開始就和靈魂觀念結下了不解之緣。
脫胎於原始宗教的葬俗，在進入階級社會以後的中國古代不斷增添新的內涵，演變為具有多種社會功能的喪葬之禮。安排死者的後事愈來愈受到人們的重視，其形式也日趨複雜化。
在古人看來，喪葬不隻是單純安葬死者，它直接影響到社會的倫理規範乃至政治秩序。《大戴禮記·盛德》雲：“凡不孝生於不仁愛也，不仁愛生於喪祭之禮不明。喪祭之禮所以教仁愛也，致愛故能致喪祭，春秋祭祀之不絕，致思慕之心也。夫祭祀，致饋養之道也。死且思慕饋養，況於生而存乎？故曰：喪祭之禮明，則民孝矣。故有不孝之獄，則飾喪祭之禮也。”意思是說喪祭可以培養人們的仁愛之心和盡孝之道。同書《禮察》篇雲：“喪祭之禮廢，則臣子之恩薄，而倍死忘生之禮眾矣。”如果沒有喪祭之禮，君臣之義和父子之情就會受到削弱，導致倫理崩壞的嚴重後果。《孟子·梁惠王》雲：“養生喪死無憾，王道之始也。”生養死葬各得其所，王道樂土的理想社會自然就來臨了。