即使這樣的修複也隻考慮到暫時的利益，房頂仍處於毀損狀況，雨水不久便滲入拜倫修複和裝飾過的屋子，幾年後使其變得幾乎和寺院其餘的部分一樣荒廢。
但他仍然為這座毀損的古老建築驕傲。正是那種陰鬱淒涼、毀損失修的狀況，才使他產生出富有詩意的想象, 並且讓他喜歡上憂思與莊嚴，而這一切無不在他的作品中表現出來。“不管發生什麼，”他在一封信裏說，“我和紐斯特德都會同甘共苦。我如今已住在這裏。我把心與它緊緊相連，無論現在還是將來，任何壓力都不會使我把繼承下來的絲毫東西拿去交換。我心中懷著驕傲，它將使我能夠克服各種困難：即便我能用紐斯特德寺換取國內最好的財產，我也會予以拒絕。”
然而，他隻是斷斷續續地住在寺院，並不穩定。他偶爾去那兒度過一些時間，有時獨自看書學習，而閑散無事、毫無顧忌的時候更多些；他不時與年輕快樂的同伴們肆意狂歡，采取種種瘋狂任性的舉動。住在裏麵的這些喧鬧的人決不會給寺院帶來好處，他們有時在回廊上表演僧侶生活的啞劇，有時將堂堂正正的屋子變成練拳擊和單棒的訓練室，還在大廳裏打手槍。附近的鄉下人為這個新來者的狂妄行為大惑不解，正如他們為房子的“老主人”更加陰鬱的脾性大惑不解一樣；他們開始認為那種瘋狂是拜倫家族與生俱來的，要麼就是某顆不利的命運之星在支配著寺院。
盡管拜倫如此意味深長地表示他對寺院懷有偏愛，有著世襲的感情，但他仍將這座祖傳房產賣掉了，當時的具體情況毋須詳說。有幸的是，房子賣到一位多少有些詩歌氣質的人手裏，他對拜倫欽佩有加。他就是懷爾德曼上校（當時是少校），曾是詩人一個學校的同學，在哈羅時也曾與詩人同在一個年級。他後來在半島戰爭和滑鐵盧戰役中超凡出眾；拜倫放棄自己的家族財產時深感安慰，知道擁有它的人能夠使其衰敗的榮耀得以恢複，對於他詩中描寫的那些紀念性建築和紀念物，對方也會予以尊重和保護。[ 如下這封寫於房產轉讓時的信，從未發表過：
“懷爾德曼先生――
漢森先生正值返回前夕，因此對於你十分友好的來信，我隻能向你略表謝意。對於保護好我家族的任何標記――它們仍然存在於紐斯特德――並於現在或將來都讓你為種種類似之事操心，我感到抱歉，因為我的要求給你帶來不便。你想要我那幅肖像，這讓我高興，不過它不值你花費心思和錢財跑這一趟；但請你相信，等有人再為我畫出一幅肖像時你首先就能得到，它似乎才值得你收藏。
我相信，屬於你的紐斯特德將依然如此，它會目睹你的快樂，正如我確信你會讓侍從們同樣快樂一樣。至於我自己，你可以肯定無論在哈羅讀4年級、5年級還是6年級，或者是在以後生活的變遷之中，我都將始終不無敬重地記得自己的老同學――我的同學和朋友，並且不無敬意地稱讚你這位英勇的軍人――在財富上有著一切優勢，並且有著快樂生活的青春魅力，將自己貢獻給了更加高尚的事業，並將在對國家懷有的敬意與讚美中獲得報償。
你永遠真誠而親切的拜倫
1818年11月18日於威尼斯。――原注]
拜倫相信懷爾德曼上校對房屋有著不錯的感情和品味，結果證明他是對的。他眼光明智，出手大方，使得這座古老而浪漫的建築從廢墟中站立起來，完全恢複了昔日廟宇的壯觀氣派；並且他修造了一些附屬建築，其風格非常協調。周圍又種植起果園和樹林，湖水和魚塘被清理，花園從“鐵杉和薊”中救出，從而恢複了它們原有的純樸與尊嚴。
寺院周圍的農田也得以徹底完善，此外又用石頭修建了新的農舍，它們獨特而舒適，具有古老的英國農莊的風味。世襲的佃戶安然地住在父輩的房子裏，受到極其周到的待遇。總之，所有這些都讓人有幸看到一個多麼慷慨慈善的房東。
然而，最讓寺院的遊人對眼前的擁有者感興趣的，在於他那令人可敬的關心——他正是以這樣的關心對拜倫家族的紀念性建築和遺物，以及任何與詩人的記憶有關的東西，予以保護和修複。他已經在這座悠久的建築上花費了8萬英鎊，並且工作仍在繼續；詩人在與它作憂傷的告別時所微微表達的希望，紐斯特德是有希望實現的——
你那有幸出現的陽光，
可能使你煥發出正午的光芒；
你的歲月仍然會像過去一樣燦爛，
祝願你的未來像昔日一樣輝煌。