袁枚自稱平生不喜佛道二氏之說，對佛道之說，他曆來是少信多疑，他曾有過“取觀音像擲地”並用足踩踏的壯舉，也不許家人信佛。但受封建傳統迷信思想的影響，他對神鬼狐怪卻有著濃厚的興趣。
中國傳統的神鬼信仰，實際上是多種因素的複合體，它不僅與原始宗教信仰，特別是遠古神話傳說有著血緣關係，同時也與儒家的天祖二元崇拜以及佛道二教的神靈之說有著密切的關係。所以，袁枚雖然口頭上拒不信佛道，常言“不佞佛”，認為“佛者九流之一家耳”，不足崇信，可對“因果報應”、“生死輪回”之說卻欣然接受，寧信其有了。他曾多次請相士為自己算命說卦，並對其所言深信不疑，晚年更是迷信上神，逢九逢十之歲，總是遠遊避凶。可見他內心在宗教迷信方麵是極其矛盾和複雜的。
還是在他任江寧知縣的時候，一次，他下鄉督促捕蝗，半道上他的坐騎被野牛所驚，狂怒奔突，不聽指揮。驚馬向一座破廟奔去，他遠遠看到，寺廟的門楣很低，馬若穿門而過，他必然會遭斷頸之禍。他心想，這下可完了，如此慘烈地死在寺廟門前，人家一定認為這人有人所不知的罪孽，但又無奈，隻好閉著眼睛等死。可是，眼看到了門口，馬卻突然止住腳步，如泥塑一般，紋絲不動了。袁枚嚇出一身冷汗，他心想如此大難不死，必有神靈在保佑。這件事在他腦海留下深刻印象，直到很多年以後想起來，還為之怦然心跳呢。可見袁枚並非一個無神論者。
袁枚從小就對稗官野史、裏乘趣談、神話傳說有著濃厚的興趣，成年後又喜歡搜集奇聞異事，每逢聽到一些稀奇古怪的事情，特別是一些關於神鬼的故事，他都要刨根問底，詳細筆錄，他在《子不語·序》中這樣寫道：
……餘平生寡嗜好。凡飲酒、度曲、樗蒲，可以接群居之歡者，一無能焉，文史外無以自娛。乃廣采遊心駭耳之事，妄言妄聽，記而存之，非有所感也……
袁枚自稱“寡嗜好”，“文史外無以自娛”，未必真實，然而，他確有“廣采遊心駭耳之事”，“記而存之”的嗜好。到了晚年，這一興趣愈加濃厚，他曾在詩作中對搜集神鬼怪異之事有過記述：
老去全無記事珠，戲將小說誌《虞初》。
徐鉉懸賞東坡索，載得杭州鬼一車。
（《餘續夷堅誌未成到杭州得逸事百餘賦詩誌喜》）
夜船正寥寂，聞客談《齊諧》。
知是鬼董孤，揖而招之來。
客亦大欣然，搖唇萬鬼集。
頃刻燈光青，寒風射窗入。
天地亦大矣，陰陽相乘除。
幹寶莫道有，阮瞻莫道無。
謝客真多情，曾我勝絲竹。
得聞所未聞，平生有耳福。
（《夜泊江山聞鄰舟有談鬼者揖而進之》）
從這兩首詩可以看出，晚年的袁枚對於搜集神鬼怪異故事的興趣依舊。
袁枚在他的《隨園詩話》中也記述了一些“真實”的怪異之事，這些故事至少在袁枚看來是真實的，記錄時往往有名有姓，時間地點俱詳。《隨園詩話》卷十六中就記有這樣一樁怪事：一位姓孫的先生，常在老師家中看到一貧寒之士，他非常體會老師的苦處，便將此人領回自己家中住下。一天，這人突然對孫某說：“受君之恩未報，明年一定托生於你家。”不幾天，這人就死了。到了第二年，孫某果然得一女兒，女兒長到六歲時，孫某抱著她開玩笑地對家人說：“此是我老師家中的客人，說來報恩，卻隻是個女的，恐怕報恩之說不實。”他女兒非常生氣地說：“你討厭我為女子，那我就再托生為男兒身給你看。”過了十天，他女兒因出水痘而夭折。又過了一年，孫某果然又得了一個兒子，而且頭上點點斑斑似出水痘留下的瘢痕。這下孫某對報恩之說深信不疑了。再後來，他兒子於雍正十三年考中舉人。《隨園詩話》中像這一類故事還很多，且都講得有鼻子有眼，有時簡直讓讀者也難辨真偽了。
長期的搜集和積累，使袁枚漸漸產生想把這些故事彙集成冊並刻行於世的念頭。經過很長時間的整理和加工，在他近八十高齡時，終於實現了自己的這一願望，編撰出後來聞名於世的誌怪小說集《子不語》。《子不語》二十四卷，《續子不語》十卷，共三十四卷。全書共計五十多萬字，收錄短篇故事一千二百餘則。
袁枚在《子不語·序》中的第一句話就是：“怪、力、亂、神，子所不語也。”這實際上是對該書書名的一種闡釋，該書名正是取自《論語·述而》中的“子不語怪、力、亂、神”一句。這句話的意思是：“孔子從不談論怪異、勇力、悖亂和鬼神之事”。《子不語》成書後，袁枚見元人小說中也有同名的，便將《子不語》改名為《新齊諧》。“齊諧”一詞出自《莊子·逍遙遊》：“齊諧者，誌怪者也。”可見其意思與“子不語”相同。元人所作《子不語》今已不見，其影響並不大，即使在袁枚的時代也鮮為人知，因此，後來人們對袁枚所編的這部小說集仍喜歡沿用《子不語》的書名。無論書名用《子不語》還是《新齊諧》，都說明袁枚所編撰的這部小說集主要是記載鬼神怪異之事的。無疑，談鬼神，說怪異，正是此書一個突出的特點。翻開此書就不難發現，書中所講述的大都是一些有關托生轉世、生死輪回、冤鬼索命、厲鬼為祟的離奇故事，在書中，城隍、土地、冤鬼、孤魂、狐仙、隸卒等隨處可見。袁枚正是以這些神鬼形象以及它們與人類所構成的怪誕故事，向我們展現一幅完整的陰陽間相融合、人鬼神共生存的“社會”畫麵。
盡管袁枚口口聲聲自稱是為“自娛”而“戲編”的，但從這些荒誕離奇的故事中，我們也可以看出作者的一些寓意。在《續子不語》卷二《子不語娘娘》一篇中，袁枚借鬼之口表達了“君須知萬類不齊，有人類不如怪者，有怪類而賢於人者，不可執一論也”的觀點。在許多故事中，袁枚賦予鬼神以人的靈性，因而，在他的筆下便產生了戀妻的癡鬼，懼內的狐仙，貪酒的鬼差，貪吃的煞神，甚至連威嚴莊重的城隍神也經不住酒的誘惑，竟有貪杯誤事之時，凡此眾多鬼神無不近似於世人，七情六欲俱全，而更有一些鬼神形象則美麗善良、有情有義，如因與人類相愛、托生再世而終得永好的紫姑神；使友人脫險而泄露天機，後遭雷擊的土地神。由此可見，袁枚筆下的鬼神狐怪往往是人世間芸芸眾生的倒影，而陰曹地府則又是現實社會的折射。於荒誕中揭示深刻的人生哲理；於虛幻中反映豐富的社會內容，這也正是《子不語》所蘊含的價值之所在。