但是，安吾有關禪宗的悟道很冷淡，另有個人的原因。他在20歲前後的幾年中，曾經想做佛教的僧侶，經曆了勤奮的學習和修行。結果，他患上了神經衰弱，於是，放棄了佛教。後來，他曾經在回憶中自嘲過這段經曆，但是，根據近年來發現的資料來看，不能完全按照他的敘述來理解這種自我的韜光養晦。他20歲的時候，與希望佛教複蘇的學生一起創辦了雜誌，其中，關於“今後的寺院生活”，設立了一個雜誌同仁闡述自己意見的欄目。其他人寫的是“對於腐敗透頂的佛教僧侶找不出肯定的價值”，或者“寺院生活的口號是‘信仰第一’”，安吾則寫下了這樣的話：
假如寺院存在特殊生活的話，我認為除去禁欲生活以外沒有他法。但是，不可忘記世上存在符合普通人的生活即結合情欲和物欲的生活。寺院中的人們往往看重禁欲生活，總之，似乎忘記了所謂煩惱的生活當中也有道德律和覺悟的力量。禁欲生活既沒有道德上優越的理由，也沒有特別快地開悟的理由。生活是靠每個人的信條維係的，總而言之，也不能放棄愛的羈絆。希望保持禁欲生活的體麵，我覺得太可憐。以符合普通欲望的生活為基礎重新開始，不是很正常嗎？
《對於今後寺院生活的思考》，1932年作，收入《墮落論》，東京：新潮社，2000.
安吾表達了對佛教的失望，但也未必如此。因為在他希望當僧侶的時期，已經寫下了“以符合普通欲望的生活為基礎而重新開始”。“脫離禁欲”生活，從僧侶製度來看是“墮落”。但是，如果佛陀通過禁欲和修行破壞了希望從輪回中解脫出來這一根深蒂固之傳統的話，可以說佛陀也“墮落”了。如果是這樣，安吾脫離佛教界的時候，可以說真正變成了佛教式的。對於佛教，他決沒有善意地寫過。尤其針對偽裝的禪之開悟和淡泊，他的評論辛辣無比。但這是一個悖論，沒有評論像他這樣具有佛教性的了。
就這樣，“墮落”成了安吾的關鍵詞。實際上，使他成名的是戰後創作並成為暢銷書的《墮落論》，其中他提出“再墮落一些！”但是，他的話裏既沒有所謂“頹廢”的意思，與戰後的思潮也沒有關係。對他來說，所謂墮落就是暴露在他者麵前又被拋棄的存在。例如，他把當時的大作家永井荷風稱為“通俗作家”，批評得一無是處。荷風在1911年“大逆事件”以後，宣稱自己作為知識分子既然無能為力，今後就作為一個德川時代以後的“戲作者”（通俗小說家——譯注）活著。他一邊與淺草妓院的妓女們玩耍，一邊把玩耍的經曆寫在小說裏。20世紀30年代馬克思主義運動遭到毀滅以後，這種“頹廢”的姿態受到高度評價，他作為大作家重新活躍起來。
荷風天生是一位擁有一些小錢和自己家榮譽的人。並且，他的境遇以及憎恨受他人威脅的心情，決定著他道德觀的底線，他並沒有為人是什麼、人追求什麼、熱愛什麼這些誠實的思考獻過身。豈止如此，自己的境遇以外還有各種境遇，有來自這種境遇的思考，這些與他自己的境遇以及思考是對立的。他連這樣單純的事實也沒有思考過。
前麵的文章看起來幾乎是馬克思主義的觀點。但這是在幾乎所有的馬克思主義者都轉向以後所創作的文章。安吾想說的是荷風的頹廢隻不過是自我意識，他從一開始就沒有遇到他者，也就是說未曾墮落過。對於轉向的馬克思主義者同樣可以這樣講。他們不是由於受到鎮壓而轉向的。轉向以前的作品中即使存在無產階級的觀念，但依然沒有他者存在。
1941年，安吾在寫《日本文化私觀》稍早之前，寫過一篇隨筆叫《文學的故鄉》。在文章中，他列舉了幾個故事，第一個例子是夏魯爾·派勞的《小紅帽》。這和一般麵向孩子們講述的故事不同，故事的結局是變成外婆的狼吃掉了去看望外婆走在森林裏的小女孩。
我們突然於此被拋棄了，由於感到與約定的不同而不知所措，卻無意之中眼睛挨了打，會不會在一下子斷裂的空白中，看到非常寂靜而且透明的、有一點令人難受的“故鄉”呢……
正如沒有道德本身就是道德一樣，無可救藥本身就是拯救。我在這裏看到了文學的故鄉或者人類的故鄉。文學就從這裏開始——我這樣認為。文學不僅僅是這種非道德的令人不能接近的故事。我對這樣的故事評價並不高。因為，雖然故鄉是我們的搖籃，但是，成年人的工作絕不是回歸故鄉。然而，我不能想象沒有這種故鄉意識和自覺的地方會存在文學。文學的道德和社會性如果不是在這個故鄉基礎上生長發育的話，我絕不會相信。文學批評也如此。（《文學的故鄉》）
在安吾那裏，“故鄉”這個詞也和“墮落”（Fall）一詞一樣，意思被迫逆轉了。對安吾來說，“故鄉”不具有親和力，可以說是一種被排斥為“他者”的存在。我們可以通過比較使用相同詞語做關鍵詞的哲學家來展示安吾的“位相”。把人（此在，Dasein）看作與死亡相連的存在（SeintumTode）的海德格爾把從此處向日常性的逃避稱為墮落（Verfall）。而且，把蘇格拉底以後的近代哲學看作“存在”這一“故鄉”的喪失。於是，可以說墮落意味著故鄉或者共同存在（Mitsein）的喪失。在政治上，從這種墮落向未來性的回歸則意味著納粹，其日本版就是“近代的超克”。但對安吾來說，“故鄉”是某種“排斥”人類的東西。那是此在的本來性暴露在他者麵前才找到的。借勒維納斯批判海德格爾的話來說，安吾把“倫理”放在了所有思考的基礎上。在這種情況下，如果說勒維納斯的思想來自猶太教的話，那麼，可以說安吾的思想來自佛教。
20世紀30年代，在眾多的知識分子從西方的理智和馬克思主義向“日本”或者佛教的“空”回歸的時候，安吾卻反其道而行之，真正從否定佛教起步。當然，他不會成為一個單純的近代主義者。從某種意義上說，他沒有放棄“空”的認識。所謂“空”指的是一切存在於關係當中而沒有實體的存在。他不會成為感傷性“回歸”的對象。因為，“空”就是美，是知識，是道德，是瓦解一切被視為製度性存在且實體性的東西。在許多人從美學上理解佛教或者作為精神上的自我救贖來領會佛教的時候，對於安吾來說，佛教則意味著回歸倫理。正因為他從未對佛教做過肯定的論述，所以他貫徹了佛教性。