拜倫4歲零10個月的時候，到阿伯丁的一所小學去上學。
學校離家很近，學費也很便宜，一季度5先令。學校是一間低矮、肮髒的房子，地板上布滿了腐爛的小洞，甚至有寄生蟲類出入。主持學校的是平庸的鮑厄先生，外號叫“鮑茲”。學生們都念著一本單音節的課本。
也許書才是拜倫真正要找的朋友，在書的世界裏，他忘掉了生活中的一切羞辱、不快和痛苦，書才是拜倫真正的知音。他在書中找到了溫暖和樂趣。小拜倫特別愛讀書，學校所教的那點知識根本滿足不了拜倫十分強烈的求知欲，他要求母親再給他買書，再給他請老師。
母親這時不顧經濟拮據，為拜倫請了兩名家庭教師。一個名叫羅斯，是一個小個子牧師，他在曆史方麵具有很深功力，這使得拜倫對曆史發生了濃厚的興趣，尤其是羅馬史，拜倫把其中有些戰役的故事讀了10遍，各個曆史人物、曆史事件及其複雜關係都爛熟於心。他有時一個人對著牆壁，模仿羅馬著名人物屋大維或者愷撒的聲音，慷慨陳詞，發表演講，儼然一個大人物在對千萬人發號施令似的，聲音抑揚頓挫，表情時而嚴肅緊張，時而輕鬆自然，像是一位偉大的演說家在預言一位天才的巨星將上天幕，發出最耀眼的光芒來照耀人間。而那時拜倫隻是一個幾歲的孩子，一般孩子在這個年齡還在向媽媽撒嬌，拜倫卻已沉醉在千年前曆史的烽火硝煙中。
這種對曆史的酷愛，伴隨了拜倫的一生。在他以後的詩歌創作中，如《恰爾德·哈羅德遊記》、《堂璜》等，曆史人物、曆史事件隨處可見，信手拈來，或歌或詠或嘲或諷，得心應手，無不充分顯示出拜倫對曆史的諳熟和深厚功底，這不能不說得益於他早年的學習。
拜倫的另一個家庭教師是一個神情很憂鬱的青年，是一個鞋匠的兒子，名叫帕特遜。他指導拜倫學習拉丁文和宗教。拜倫和帕特遜一起學習，不禁也深深染上了悲觀主義的憂鬱情緒，而他的跛腳更加深了他的憂鬱。
一次，拜倫與老師帕特遜一起到河邊散步，他問老師：“老人死與孩子死是否一樣？”老師說是一樣的。拜倫又認真地問那為什麼偏要等到老了再死呢，應該任何時候死都行，想死就死。老師看著有些憂鬱的拜倫，覺得他與自己有息息相通的憂鬱，但老師說：“孩子是不可以死的，孩子是希望、是未來。”他不想讓孩子如此早就一本正經地談論死。
拜倫的母親為了讓孩子學習更多的知識，還在公共圖書館給拜倫訂書，而拜倫懇求母親的是把關於羅馬、希臘、土耳其所有的曆史故事書都買回家來。這下，拜倫如獲至寶，對每本書都愛不釋手。
他拚命地閱讀，如饑似渴地吮吸著那些曆史知識、曆史智慧。而且他特別喜歡和周圍的人談戰爭，這顯得與他的年齡不相稱。他早就想成為一個軍事上威風凜凜的人物，他說：“我總有一天要集合一支部隊，士兵們身穿黑衣，騎著紅馬，他們被稱為‘拜倫的黑騎兵’，你一定會聽到他們了不起的奇跡的。”
這種渴望在戰場上叱吒風雲的夢想來自於他所學的曆史，而這個夢想在他一生最後兩年為希臘民族解放而鬥爭的戰鬥中，得到了實現，使他真正成了一名偉大的戰士。
小小的拜倫對問題總是有自己獨立的思考。他的保姆格雷常常給他講《聖經》故事。一次，格雷給他講：亞伯和該隱都向上帝奉獻自己的貢品，上帝隻收了亞伯的而沒有收該隱的，該隱嫉妒中就把亞伯殺了，你看該隱多壞。小拜倫卻手托著腮在那兒沉思，他突然問上帝為什麼不收該隱的貢品，格雷說因為他是罪犯，拜倫馬上反駁說，可是上帝收禮物前該隱並沒有任何錯，哪兒犯罪啦？格雷一時無話，隻好說反正該隱不好。而拜倫自己還在那兒獨自思考，在他心中開始滋生了對與該隱一樣的反抗人物的同情甚至理解。
他沒有隨眾生去譴責該隱，而問上帝為什麼那樣做。這是何其難得，尤其是對一個小孩子，他那獨立不羈的性格就從這兒滋生了。
拜倫是一個從不服輸的人，他鬥誌頑強，敢作敢為，這也許是幼年那不安定的生活磨煉的結果。他在學校裏是一個玩大理石彈弓的高手。雖然腳有殘疾，但是他意誌堅強，勇敢異常，“總是他給人一拳，而不是挨人一拳”。
一天，一個孩子欺侮了他，因為不能馬上開戰，小拜倫便向那冒犯者說，以後再找他算賬。一個星期以後，他在街上截住那個孩子，痛痛快快地揍了他一頓才算完事。他氣喘籲籲跑回家，保姆問他幹什麼去了，他隻幹脆地回答：履行了一個諾言。他隻是時刻在證明著，他是一個強者，因為跛腳，他這種要求也就更加強烈。他身上有著非常強烈的反抗性格，在學校他被人叫做“拜倫太太的跛足魔鬼”，老師說他是“一個十分討人喜歡的孩子，可是難以駕馭”。