阿薩自從退出政壇和商界後就過著一種隱士般的生活，不再過問可口可樂公司的一些小事，把權力完全下放到他的兒子霍華德和外甥多布斯手中，但是，一些關係到坎德勒家族生死存亡的關鍵事情，還是需要阿薩點頭同意的。霍華德和多布斯卻把阿薩架上空中樓閣，在和伍德拉夫簽訂關於可口可樂收購合約時阿薩對此事一無所知。當阿薩得知霍華德和多布斯已經把可口可樂公司賣掉時，他那種驚訝的表情我們根本無法用筆墨描繪出來。對阿薩·坎德勒而言，出賣可口可樂公司猶如出賣他自己一般。他的兒子在傳記中寫道，他當時“相當震驚”。在收購已是既成事實後，他拒絕出席佐治亞公司的最後一次董事會。對這位老人而言，選擇這個時機賣掉公司實在是太糟糕了。坎德勒夫人露西在阿薩的市長任期結束不久後，於1919年3月死於乳腺癌。現在，這位企業界的大亨剛剛麵對了妻子離開的痛苦，又要麵對公司易主這樣毀滅性的打擊。他感受到了眾叛親離的滋味和權力盡失的苦楚，仿佛暴風雨來臨時的李爾王一樣。失去了可口可樂，阿薩·坎德勒迅速變成了一個可憐人。他曾經真心地寫道：“我的精神狀態一點也不能讓生活真正快樂起來。”
他說，他所有的成就都化為了灰燼，他所擁有的隻剩下灰燼。他開始逐漸生活在神秘的過去裏，在鄉下度過的少年時期泛著無可挽回的伊甸園的光澤。“在這些年勞心、憂慮、心神煩亂的時候，我常常想起過去那黃金般的歲月，”他說，“有時候，我以為我過去是住在天堂，四處徘徊卻迷失了方向。”1921年，坎德勒悲哀地寫信給霍華德說：“我也算得上是亞特蘭大的建設者，是佐治亞州的激進分子——你們的顧問，可惜，我現在無人陪伴，公司既不需要我上班，也不再征詢我的意見。”阿薩·坎德勒內心充滿自憐的感傷，同時也充滿了對公司員工的內疚之情。他覺得對不起同他一起創業的夥伴，無臉麵對列祖列宗，這些霍華德和其他孩子是沒有感覺的，他們不明白阿薩的心情。其實一切後果都是阿薩他自己造成的，但他並不明白自己到底錯在哪裏？他至死也不明白霍華德為什麼好好的總裁不當卻把江山拱手讓給他人。阿薩感覺所有人都不理解他，於是內心孤獨的他決定找一個新太太。
第二年，也就是他的妻子逝世三年後，70歲的坎德勒通知全家說他打算娶一個離過婚的天主教女人、新奧爾良的萬茲瑪·馬歇爾。他的主教弟弟頗為尷尬和驚詫，使出渾身解數阻止他們結合。沃倫知道阿薩不會聽他的話，便說服兩人共同熟悉的一位朋友寫了一封善意的勸阻信。當阿薩最終屈從於家庭的強大壓力而取消婚約時，馬歇爾小姐則起訴他違背誓言。主教的一位朋友因此寫道：“我越來越相信，你哥哥的一切麻煩均是有預謀的，她想為天主教會爭取到他的百萬家產。”
僅僅幾個月後，阿薩·坎德勒娶了梅·利特爾，坎德勒大廈裏37歲的速記員。
“明天我將給自己找一個生活伴侶，”他寫信給霍華德，“我相信，她是喜歡我的，這是對我的一個安慰。”新坎德勒夫人帶著一對10歲的雙胞胎女兒搬進了位於萊昂大街的豪宅。但是8個月後，她上了《紐約時報》頭條，因為她被當場抓住和兩個男人一起喝私釀酒。她和警察辯解說：“我們正在開一個小型派對。”這樣的拙劣的借口是瞞不了阿薩的。1924年6月，結婚剛滿一年，阿薩·坎德勒在起草的離婚書上寫道，“從一開始”，他的妻子就忽略他的“舒適和便利”，“早上很早就離開家去找一個男人陪伴一起開車到鄉間”。那年10月，坎德勒夫人搖晃著在公路上逆行時，碾死了一個5歲的女孩。
1924年底，阿薩·坎德勒受到了一連串的打擊。當阿薩·坎德勒最後一次被傳喚到法庭上作證時（作為“我的可樂”案件的辯護證人），他為弗蘭克·魯濱遜的去世哀痛不已。“每個人都死了，隻剩下我，我也應該去的，隻是還沒有死。我已經活得太久了，從搖籃到墳墓，一輩子經曆了太漫長的歲月。”他獨自在紐約比爾特莫爾旅館的一個房間裏度過了聖誕節。他寫道，他“一點也不喜歡外出”，因為房間裏很暖和。他懇求他的孩子們“盡量想起我以前的樣子”。經受多重打擊的阿薩再也沒有恢複健康，他的精神和身體每況愈下。1929年，阿薩·坎德勒與世長辭，享年77歲。