寶廷一生清貧，罷官之後，日子過得更加艱難。家中幾個妻妾每天為柴米油鹽發愁，見了寶廷就哭窮——實際上也真的窮。寶廷也沒有辦法，嘴上支吾應付幾句，一轉身便沒了影兒。他雖說革了職，但頂著宗室這個頭銜，仍是一副名士派頭，灑脫得很，攜著新娶的美妾汪氏（珠兒），帶著兩個兒子壽富、富壽，到京郊西山借住寺院。山中歲月清閑無比，一有了錢便買花沽酒，和幾個窮朋友在一起“窮快活”，每天喝得酣醉，賦詩唱和，日子過得瀟灑自在。
盡管寶廷瀟灑依舊，豪情如昨，但是其生活的清苦也是不言而喻的。翁同龢遊西山，聽說寶廷窮愁潦倒，連身上的一襲縕袍也是表裏盡破，不由得欷歔不已。在西山石壁上題了一首詩：“袞袞中朝彥，何人第一流；蒼茫萬言疏，悱惻五湖舟。直諫吾終散，長貧爾豈愁；何時楓葉下，同醉萬山秋。”翁同龢頗器重才俊，他想設法幫寶廷起複，可是寶廷似乎並沒有重回官場的意思，寫了一首《病馬》，輾轉捎給這位朝中大老，詩中寫道：“哀鳴伏櫪已經春，健足誰知本絕塵；一自歸山成廢物，日思覂駕亦前因。殘生哪有酬恩日，不死難逢市駿人：慚愧饑劬筋力減，翻愁重遇九方歐。”“注釋1”其不為五鬥米折腰的風骨，為世人所敬重。
革職後的寶廷縱情詩酒，悠遊林下，過了六七年的隱居日子。這期間雖說生活清苦，卻不乏情調。有一天讀書，看到一則掌故，魏時的鄭公愨曾經拿荷葉盛酒，用荷梗當吸管來啜飲，還為此取了個古雅的名字叫做“碧筩杯”。寶廷興致勃勃，當場和汪姨太比照這個方法試驗，果然別有一番情趣。後來，他又對這套飲酒方法進行改造，在白酒中摻入幾種中草藥，又放入新采摘的白蓮花，再來啜飲時，荷香撲鼻，沁人心脾，飲者莫不感到神清氣爽。當時的一班騷人墨客群起而效尤。
光緒十六年（1890），寶廷因染疫病離開了人世。關於他的死，有幾種不同的傳說，其子壽富為先父寶廷編撰的《年譜》中是這樣交代的：是年秋，寶廷棲身附近的廣化寺為暴雨所毀，樹石位置蕩然改舊，望著眼前的一派蒼涼，寶廷心境悲愴。其時京城瘟疫盛行，進入初冬11月，寶廷也不幸染病，在一種平淡寂寞的情景中，寶廷走完了生命最後的曆程，與世長辭。
燕穀老人（張鴻）撰寫的《續孽海花》中，寶廷之死則又是另一番景象，描述也更為具體詳盡。張鴻久居官署，見多識廣，晚清舊事，多有所聞。其妻室翁氏是兩朝帝師翁同龢的侄孫女，他本人又與晚清官場中人交往密切，而且擔任過清廷外務部主事，與寶廷之子壽富的關係不一般。他筆下的寶廷晚境，是通過寶廷之子壽富、富壽之口講述出來的：
寶廷革職之後，在西山碧雲寺左近的一個小村子裏蓋了幾間茅屋住下。其時寶廷所娶姨太（汪氏）已去世，寶廷常常喝酒，借酒澆愁，隨便作幾首詩，自得其樂。有時候喝醉了，便隨處睡覺，大有劉伶荷鍤“注釋2”的意思。有一天，寶廷在村子裏的小酒店喝了不少酒，那酒店門前有棵大鬆樹，旁邊有一塊草地，寶廷任意橫身睡了。等到醒來，睜開眼，看見一個須眉皓白的和尚穿著件破舊的袈裟，也靠著樹根盤腿而坐。寶廷坐起來，對那和尚說道：“和尚，你怎麼也坐在這裏？”和尚微閉著眼睛說道：“你可以睡，我也可以坐，山河大地，都是空幻，怎麼還要分什麼你我呢？”
寶廷聽了，知道這個和尚不同尋常，就問道：“你說一切都是空，但是現在望去是個西山，靠的是棵鬆樹，不都是實在的麼？”和尚睜開眼睛，眯縫著看了看寶廷道：“你說西山究竟是誰定它是西山的？且為什麼不叫它東山呢？”寶廷道：“總是有第一個依著方向分別，在西的叫做西山。”和尚道：“這第一個定的人，現在到哪裏去了？定出各種法的人都沒有了，他定的法還有什麼實在呢？”寶廷道：“此話不差！各種的名都是空幻的，不過各種的名都是有了物質然後有名，沒有名的時候，不是已有了物質麼？譬如西山沒有叫它西山的時候，它的樹石不是已有了麼？”和尚道：“我來問你，有的海為什麼變了田？有的山崩坍了，有時熱鬧的城市沉沒了，哪有真的實在呢？不過我們目光短，沒有我佛的識見，所以把虛幻的認作實在，隨著生出許多的煩惱來。我看你是做過官的，現在不得意，所以如此，你想想你做過的官，經過的功名富貴，如今在哪裏？你還不醒悟，認為實在，所以煩惱更多了。不過我佛說的煩惱，即是菩提，你能從煩惱中參悟一下，未嚐不可以人道的。”說罷立起身來道：“今天你我相逢，也是一番機緣，請你自己珍重吧。”和尚說著點點頭要走。寶廷也站起身來問道：“吾師現住何處？”那和尚哈哈大笑道：“我說今天是偶然的機緣，何必拖泥帶水呢！”隻見他頭也不回匆匆向前走了。