拜倫隨著母親興衝衝地趕往諾丁漢的紐斯台德莊園，他是多麼興奮呀！
告別那低矮簡陋的房屋，奔向那宮殿一般的莊園，看那哥特式的尖塔，流連在那蔥綠的樹林中，鳥語、花香，清風拂麵，自由自在，那就是自己的莊園了，拜倫沉浸在奇異而美好的夢幻中，臉上不禁悄悄露出了向往的笑容。
他多想告訴飛過的每一隻小鳥，讓它們也來與自己分享心中的快樂。
然而，當拜倫一家來到紐斯台德莊園時，卻是大失所望。
年久失修加上“邪惡勳爵”多年的肆意破壞，莊園一片破敗景象，蕭條不堪。房屋頂、牆壁、地板，這麼多年來從沒有進行過修理，裏麵肮髒到令人難以置信的程度。大廳裏黑乎乎的一片，在白天還伸手不見五指，一腳踩上去，竟有上百隻蟑螂。
留下的一個仆人講莊園裏常常鬧鬼，陰森森的，十分怕人。而要修理這個莊園可不是一件容易的事，拜倫現在是英格蘭貴族，但並未成年，財產由大法官廳管理，產業都是田產沒有現錢，母親根本無法支付大宗修理費用，每月隻有50鎊收入。他們又隻好離開紐斯台德，到諾丁漢街上租房住下。租下的房子在一條狹窄陰暗的街上，房間狹小破舊。拜倫的宮殿夢突然來臨又突然幻滅了，他又變得鬱鬱寡歡。
母親幾次去倫敦，想給小拜倫男爵謀求一份政府的年金，這期間把拜倫托付給保姆格雷。
格雷是個粗野、缺乏教養的人，拜倫母親不在，她就拚命喝酒，然後對拜倫大聲喝罵甚至毆打，拜倫就拖著他那不便的腿繞著桌子跑，邊跑邊大叫：“總有一天你要死在我手上。”格雷聽了又怕又氣，不敢把他逼急了。晚上，格雷把不三不四的人帶進家來鬼混，這時拜倫就把家裏的老母雞捉來，一個勁地拍打，使老母雞“咯咯咯”地叫個不停，而這時格雷出來對拜倫變本加厲地毆打，使拜倫受到極大的傷害。
幸虧這時，他成為男爵時選定的律師漢森從倫敦趕來看他，發現了拜倫臉上和手上的傷口，非常憤怒地把格雷趕走了。
拜倫很感激漢森，他們在一起親切地交談，很快彼此喜歡上了對方，成了忘年交。漢森驚異地發現這個才10歲的男孩子思想有多麼深邃複雜，性格有多麼的堅強，甚至比成人還深刻，深沉緊抿的嘴唇又顯出少有的冷漠，凝視遠方的眼睛使他顯得十分憂鬱。
是的，一個隻在幸福中平平靜靜如溫室花朵一般生長的孩子，不會像一出生就備受折磨、在沒有家庭溫暖的環境中倔強生長的孩子那樣多愁善感。他要拋開那冷漠醜惡的世界，重新營造一個自己的世界來保護自己、溫暖自己。他練就了凡人達不到的毅力、勇氣和情操。
這時拜倫正忍受著一個江湖庸醫拉文德的折磨。母親聽信了拉文德的花言巧語，讓他給拜倫醫腳。這個可惡的庸醫別無他法，他醫治的方法隻是使勁地擰拜倫那不幸的腳，把它生硬地擰進一個木製的裝置裏，就如同穿小鞋一樣地折磨人。
拜倫和家庭教師羅傑斯一起學習拉丁語，他們一起讀羅馬大詩人維吉爾的詩和演說家西塞羅的作品。
這時，老師看見拜倫臉上那痛苦的表情，心中十分難過。他盯著拉文德那該死的木器說：“看到你坐著忍受這樣的痛苦，我心裏不好受，因為我知道你一定在受罪。”而拜倫卻一下子變得十分冷靜地答道：“沒關係，先生，你再不會在我身上看到任何跡象的。”老師勸他別再穿那種令人痛苦的裝置時，拜倫卻認真地說：“任何痛苦我都可以忍受，隻要它對我的腳起作用！”這是一個多麼堅強的孩子。
那個庸醫拉文德的可惡還不止於此。每次拜倫去求診時，拉文德都惡作劇地故意讓小拜倫去給他取啤酒。拜倫一瘸一拐地走過街道去，小心翼翼地為庸醫取酒，然後一瘸一拐地回來，踮起腳尖遞到庸醫高高抬起的手上。庸醫哈哈大笑，小拜倫低著頭咬著嘴唇一言不發，旁人看著都覺辛酸。在茫茫天地間，一個庸醫、一個少年，這幅圖景永遠令人難忘！
忍受著折磨和痛苦，拜倫刻苦地學習著他喜歡的課程內容。他主動提出要求，讓拉丁語老師增加他的課程，由原來每兩天一次課變成每天晚上1個小時，這對於一個10歲、正想玩的孩子來說是多麼不容易，他提出的這個要求，讓他的老師羅傑斯先生十分感動。
為了讓拜倫有一個更好一點兒的受教育條件，他的律師漢森給他選了由格倫尼博士主持的達爾威契學校。