拜伦4岁零10个月的时候，到阿伯丁的一所小学去上学。
学校离家很近，学费也很便宜，一季度5先令。学校是一间低矮、肮脏的房子，地板上布满了腐烂的小洞，甚至有寄生虫类出入。主持学校的是平庸的鲍厄先生，外号叫“鲍兹”。学生们都念着一本单音节的课本。
也许书才是拜伦真正要找的朋友，在书的世界里，他忘掉了生活中的一切羞辱、不快和痛苦，书才是拜伦真正的知音。他在书中找到了温暖和乐趣。小拜伦特别爱读书，学校所教的那点知识根本满足不了拜伦十分强烈的求知欲，他要求母亲再给他买书，再给他请老师。
母亲这时不顾经济拮据，为拜伦请了两名家庭教师。一个名叫罗斯，是一个小个子牧师，他在历史方面具有很深功力，这使得拜伦对历史发生了浓厚的兴趣，尤其是罗马史，拜伦把其中有些战役的故事读了10遍，各个历史人物、历史事件及其复杂关系都烂熟于心。他有时一个人对着墙壁，模仿罗马著名人物屋大维或者恺撒的声音，慷慨陈词，发表演讲，俨然一个大人物在对千万人发号施令似的，声音抑扬顿挫，表情时而严肃紧张，时而轻松自然，像是一位伟大的演说家在预言一位天才的巨星将上天幕，发出最耀眼的光芒来照耀人间。而那时拜伦只是一个几岁的孩子，一般孩子在这个年龄还在向妈妈撒娇，拜伦却已沉醉在千年前历史的烽火硝烟中。
这种对历史的酷爱，伴随了拜伦的一生。在他以后的诗歌创作中，如《恰尔德·哈罗德游记》、《堂璜》等，历史人物、历史事件随处可见，信手拈来，或歌或咏或嘲或讽，得心应手，无不充分显示出拜伦对历史的谙熟和深厚功底，这不能不说得益于他早年的学习。
拜伦的另一个家庭教师是一个神情很忧郁的青年，是一个鞋匠的儿子，名叫帕特逊。他指导拜伦学习拉丁文和宗教。拜伦和帕特逊一起学习，不禁也深深染上了悲观主义的忧郁情绪，而他的跛脚更加深了他的忧郁。
一次，拜伦与老师帕特逊一起到河边散步，他问老师：“老人死与孩子死是否一样？”老师说是一样的。拜伦又认真地问那为什么偏要等到老了再死呢，应该任何时候死都行，想死就死。老师看着有些忧郁的拜伦，觉得他与自己有息息相通的忧郁，但老师说：“孩子是不可以死的，孩子是希望、是未来。”他不想让孩子如此早就一本正经地谈论死。
拜伦的母亲为了让孩子学习更多的知识，还在公共图书馆给拜伦订书，而拜伦恳求母亲的是把关于罗马、希腊、土耳其所有的历史故事书都买回家来。这下，拜伦如获至宝，对每本书都爱不释手。
他拼命地阅读，如饥似渴地吮吸着那些历史知识、历史智慧。而且他特别喜欢和周围的人谈战争，这显得与他的年龄不相称。他早就想成为一个军事上威风凛凛的人物，他说：“我总有一天要集合一支部队，士兵们身穿黑衣，骑着红马，他们被称为‘拜伦的黑骑兵’，你一定会听到他们了不起的奇迹的。”
这种渴望在战场上叱咤风云的梦想来自于他所学的历史，而这个梦想在他一生最后两年为希腊民族解放而斗争的战斗中，得到了实现，使他真正成了一名伟大的战士。
小小的拜伦对问题总是有自己独立的思考。他的保姆格雷常常给他讲《圣经》故事。一次，格雷给他讲：亚伯和该隐都向上帝奉献自己的贡品，上帝只收了亚伯的而没有收该隐的，该隐嫉妒中就把亚伯杀了，你看该隐多坏。小拜伦却手托着腮在那儿沉思，他突然问上帝为什么不收该隐的贡品，格雷说因为他是罪犯，拜伦马上反驳说，可是上帝收礼物前该隐并没有任何错，哪儿犯罪啦？格雷一时无话，只好说反正该隐不好。而拜伦自己还在那儿独自思考，在他心中开始滋生了对与该隐一样的反抗人物的同情甚至理解。
他没有随众生去谴责该隐，而问上帝为什么那样做。这是何其难得，尤其是对一个小孩子，他那独立不羁的性格就从这儿滋生了。
拜伦是一个从不服输的人，他斗志顽强，敢作敢为，这也许是幼年那不安定的生活磨炼的结果。他在学校里是一个玩大理石弹弓的高手。虽然脚有残疾，但是他意志坚强，勇敢异常，“总是他给人一拳，而不是挨人一拳”。
一天，一个孩子欺侮了他，因为不能马上开战，小拜伦便向那冒犯者说，以后再找他算账。一个星期以后，他在街上截住那个孩子，痛痛快快地揍了他一顿才算完事。他气喘吁吁跑回家，保姆问他干什么去了，他只干脆地回答：履行了一个诺言。他只是时刻在证明着，他是一个强者，因为跛脚，他这种要求也就更加强烈。他身上有着非常强烈的反抗性格，在学校他被人叫做“拜伦太太的跛足魔鬼”，老师说他是“一个十分讨人喜欢的孩子，可是难以驾驭”。
拜伦聪明颖悟，记忆力极佳。他拼命地看课外历史书籍，还上私人开设的书法课和法文课。他对那碍手碍脚的书法不感兴趣，而任由信笔随心，龙飞凤舞，因而两门课成绩都很一般。但他自己却利用时间拼命看喜欢的书，知识十分广博。
他自己说：“人们从未看到我读书，只看到我老是懒洋洋的，恶作剧或做游戏，事实上我在吃饭时读、在床上读、在没有人读书的时候读。自从5岁以来，我读了所有的读物。”其中有《圣经》、《一千零一夜》、《东方的来信》等等，他的博览群书，使他成了一个知识丰富、见多识广的人。
1796年，拜伦8岁的时候，得了一次“猩红热”病，病愈之后，母亲带他去农庄度假。面对那优美的自然风光，青山绿水交相掩映，群鸟飞翔，百兽出没，拜伦心底那股热情一下迸发出来，不禁流连忘返。拜伦在那些瀑布下、嶙峋的乱石中，拖着跛腿，兴致勃勃地从一块石头跳到另一块石头上，那时他才真正像个孩子一样无忧无虑，忘了那些不该属于他的忧郁、苦痛与烦恼。
坐在山岩上，对着河水和沼泽冥想，或者缓缓地寻觅树林荫蔽的地方和人以外的万物共同生活，或者攀登断崖绝壁，和那荒野中的禽兽一起，看夕阳下沉、浅雾渐起，那是多么令人沉醉。是的，只有在自然中拜伦才完全沉醉了，没有了烦恼。
拜伦一旦从自然回到现实的生活中来，他又常常苦恼。
这时拜伦常见到他的表姐玛丽·达夫，她是一个清纯可爱而美丽的姑娘，拜伦常和她一起散步。他觉得自己非常喜欢玛丽，但他自尊敏感的心又总是对自己的跛脚感到害羞而且以此为耻，他对自己一高一低跛脚的样子刻骨铭心似的伤心悲痛，而且自觉可笑，他的自惭形秽使他莫名地伤感，莫名而持久地失落，也莫名地对自己生气。也许是责怨命运的不公，他常常一阵阵地沉默。
有一次，一阵长久的沉默之后，拜伦竟猛地从桌上抓起一把小刀向自己的胸口刺去，把母亲吓得魂不附体，夺下刀子才算完事。一个多么自尊、倔强、刚烈的孩子。母亲脾气仍是同样的暴烈，常常大骂。有一次，母亲大叫：“你这个瘸鬼！”拜伦阴郁地回答：“母亲，他是你的儿子。”这一对话是多么让人心寒心酸。
而这时，命运对拜伦来说，突然有了一点儿转变。原来，在拜伦6岁时，他的伯祖父即那位纽斯台德庄园的主人、第五代拜伦勋爵的儿子死于战场，再无其他继承人。那样，诗人拜伦就要成为他伯祖父的继承人了，就要承袭男爵席位而且将要成为纽斯台德庄园的主人，他们贫困的生活就要有所改变了。
然而，他的伯祖父“邪恶勋爵”并不理睬拜伦母子二人，仍让他们过着寒酸的生活，他自己在纽斯台德庄园里更加肆无忌惮地胡作非为，破坏那里的一切。因此，直到1798年即拜伦10岁的时候，他伯祖父最终在纽斯台德死去，他才继承了伯祖父男爵勋位和纽斯台德庄园，他成了第六代拜伦勋爵。当拜伦刚听到这个令人惊异的、突然改变命运的消息时，他高兴地奔向镜子，兴奋地问他的母亲是否能看出他身上的变化，因为他自己在镜子里什么也看不见，或许眼里只有泪珠。这消息太令人激动了，或许从此就会是另一种生活了。
第二天早晨，拜伦来到学校点名时，校长看见他，不再只是叫他“拜伦”了，而是叫他“拜伦男爵”，他本想像平时一样平静地答一声“到”，但他却不能，他哇的一声在众人面前哭了起来。这是多么令人骄傲和自豪的时刻呀，这一天，拜伦坐在教室里思绪联翩。教室里真静，而这时拜伦却放了一个很响很响的屁，在教室里如打了一个响雷一般，同学们都用惊疑的目光互相询问是谁，老师也不禁在台上呆了片刻，拜伦勇敢地站了起来，声音洪亮地说：“是我。”同学们都笑了，并不完全是嘲笑这个刚刚成为男爵的拜伦，他们都感受到了拜伦的勇气。
从现在起，他就要离开阿伯丁去纽斯台德庄园接受他的产业了，命运的变化真是令人难以捉摸。动身时，母亲卖了家中所有的家具，总共卖了74英镑，足见家里当时的窘迫。