拜伦随着母亲兴冲冲地赶往诺丁汉的纽斯台德庄园，他是多么兴奋呀！
告别那低矮简陋的房屋，奔向那宫殿一般的庄园，看那哥特式的尖塔，流连在那葱绿的树林中，鸟语、花香，清风拂面，自由自在，那就是自己的庄园了，拜伦沉浸在奇异而美好的梦幻中，脸上不禁悄悄露出了向往的笑容。
他多想告诉飞过的每一只小鸟，让它们也来与自己分享心中的快乐。
然而，当拜伦一家来到纽斯台德庄园时，却是大失所望。
年久失修加上“邪恶勋爵”多年的肆意破坏，庄园一片破败景象，萧条不堪。房屋顶、墙壁、地板，这么多年来从没有进行过修理，里面肮脏到令人难以置信的程度。大厅里黑乎乎的一片，在白天还伸手不见五指，一脚踩上去，竟有上百只蟑螂。
留下的一个仆人讲庄园里常常闹鬼，阴森森的，十分怕人。而要修理这个庄园可不是一件容易的事，拜伦现在是英格兰贵族，但并未成年，财产由大法官厅管理，产业都是田产没有现钱，母亲根本无法支付大宗修理费用，每月只有50镑收入。他们又只好离开纽斯台德，到诺丁汉街上租房住下。租下的房子在一条狭窄阴暗的街上，房间狭小破旧。拜伦的宫殿梦突然来临又突然幻灭了，他又变得郁郁寡欢。
母亲几次去伦敦，想给小拜伦男爵谋求一份政府的年金，这期间把拜伦托付给保姆格雷。
格雷是个粗野、缺乏教养的人，拜伦母亲不在，她就拼命喝酒，然后对拜伦大声喝骂甚至殴打，拜伦就拖着他那不便的腿绕着桌子跑，边跑边大叫：“总有一天你要死在我手上。”格雷听了又怕又气，不敢把他逼急了。晚上，格雷把不三不四的人带进家来鬼混，这时拜伦就把家里的老母鸡捉来，一个劲地拍打，使老母鸡“咯咯咯”地叫个不停，而这时格雷出来对拜伦变本加厉地殴打，使拜伦受到极大的伤害。
幸亏这时，他成为男爵时选定的律师汉森从伦敦赶来看他，发现了拜伦脸上和手上的伤口，非常愤怒地把格雷赶走了。
拜伦很感激汉森，他们在一起亲切地交谈，很快彼此喜欢上了对方，成了忘年交。汉森惊异地发现这个才10岁的男孩子思想有多么深邃复杂，性格有多么的坚强，甚至比成人还深刻，深沉紧抿的嘴唇又显出少有的冷漠，凝视远方的眼睛使他显得十分忧郁。
是的，一个只在幸福中平平静静如温室花朵一般生长的孩子，不会像一出生就备受折磨、在没有家庭温暖的环境中倔强生长的孩子那样多愁善感。他要抛开那冷漠丑恶的世界，重新营造一个自己的世界来保护自己、温暖自己。他练就了凡人达不到的毅力、勇气和情操。
这时拜伦正忍受着一个江湖庸医拉文德的折磨。母亲听信了拉文德的花言巧语，让他给拜伦医脚。这个可恶的庸医别无他法，他医治的方法只是使劲地拧拜伦那不幸的脚，把它生硬地拧进一个木制的装置里，就如同穿小鞋一样地折磨人。
拜伦和家庭教师罗杰斯一起学习拉丁语，他们一起读罗马大诗人维吉尔的诗和演说家西塞罗的作品。
这时，老师看见拜伦脸上那痛苦的表情，心中十分难过。他盯着拉文德那该死的木器说：“看到你坐着忍受这样的痛苦，我心里不好受，因为我知道你一定在受罪。”而拜伦却一下子变得十分冷静地答道：“没关系，先生，你再不会在我身上看到任何迹象的。”老师劝他别再穿那种令人痛苦的装置时，拜伦却认真地说：“任何痛苦我都可以忍受，只要它对我的脚起作用！”这是一个多么坚强的孩子。
那个庸医拉文德的可恶还不止于此。每次拜伦去求诊时，拉文德都恶作剧地故意让小拜伦去给他取啤酒。拜伦一瘸一拐地走过街道去，小心翼翼地为庸医取酒，然后一瘸一拐地回来，踮起脚尖递到庸医高高抬起的手上。庸医哈哈大笑，小拜伦低着头咬着嘴唇一言不发，旁人看着都觉辛酸。在茫茫天地间，一个庸医、一个少年，这幅图景永远令人难忘！
忍受着折磨和痛苦，拜伦刻苦地学习着他喜欢的课程内容。他主动提出要求，让拉丁语老师增加他的课程，由原来每两天一次课变成每天晚上1个小时，这对于一个10岁、正想玩的孩子来说是多么不容易，他提出的这个要求，让他的老师罗杰斯先生十分感动。
为了让拜伦有一个更好一点儿的受教育条件，他的律师汉森给他选了由格伦尼博士主持的达尔威契学校。
格伦尼博士很快就对拜伦既爱怜又尊重。在学校的体育比赛里，这个跛脚孩子毫不相让，总是勇敢地向那些最强壮的孩子挑战。
学校里有几个游泳好手，他们都自称是第一游泳手，拜伦向他们发出了邀请，比比究竟谁是第一。几个孩子一看是那个跛子发出的邀请，都不禁大笑拜伦不自量力，自取其辱。当他们跳入水中，才发现拜伦是多么矫捷，像一只鼓满风帆的小船，“嗖嗖”地直冲在前，其他那几个孩子奋力追赶，也无济于事。等他们上岸后，才垂头丧气甘拜下风，这时候拜伦骄傲地宣布：“我是第一。”
拜伦作为一个运动健将的名声在同学中远近闻名、广泛传播，谁也不敢小瞧他，孩子们都开始有些喜欢他了，因为和他年纪一般大的孩子很少能像他那样知识广博。
拜伦也时常受着母亲的折磨。寡居多年的母亲脾气更加暴躁易怒，经常酒气熏天、衣衫不整，稍不如意，便对拜伦发火，像格雷一样绕着桌子追打腿脚不便的拜伦，甚至抓起一只盘子就向拜伦扔去。
更使拜伦烦恼的是母亲还常到学校去吵闹，像泼妇骂街一样，使拜伦感到极为羞耻，羞于承认自己是她的儿子。
有一次，母亲又到学校同格伦尼博士大吵大闹，说学校把拜伦教育得越来越不听她的话了。他的同学都哈哈大笑，其中一个胆大一点儿的学生便说：“拜伦，你的母亲是个傻瓜。”同学们笑得更厉害了，拜伦在人群中无比忧郁地回答：“我知道。”那时他只是一个10岁的小孩，他的心也许在滴着血。
他同时又知道母亲是不幸的、可怜的，他去阿伯丁希腊文教授约翰·斯图尔特的花园摘果子时，总是问老师：“我可以给家里那可怕的、亲爱的母亲带些苹果回去吗？”他虽然常常时不时地想父亲，但他也从不问母亲，他知道一问，母亲会伤心。这是一颗少有的成熟的心，这是生活磨砺的结果。
1800年暑假，拜伦经历了一次小小的感情波澜，激发出他最初的诗的灵感。
那个暑假，拜伦经常到表姐玛格雷特帕克那儿玩。他和表姐很投缘，表姐对他也非常好，这使拜伦那多年来备受打击的心灵感到十分温暖。他对表姐十分感激，从心眼里喜欢上了表姐，这是小小少年纯洁真挚的感情，表现出他性格中善良美好的一面。他觉得心中有种感情不说不快，他提起了笔，把那一腔真挚而急切的纯洁之情变成了他最早的诗句：表姐，天上最美最美的彩虹，世上最好最好的人，她的心灵最纯最纯，她的眼睛最亮最亮……
诗，那是多么美好的东西，拜伦渐渐迷上了诗，用它来抒发自己的感情，表露自己的情怀。
拜伦的贵族头衔下，应该有比现在更好的教育环境。当时最著名的两所中学是哈罗公学和伊顿公学。在律师汉森的张罗下，1801年，也就是拜伦13岁时，他进入了著名的哈罗公学。
哈罗公学创始于1571年，到拜伦入学时，已有230多年的历史。它培养了许多优秀杰出的人物，后来的丘吉尔首相也是从哈罗公学毕业的。这所学校离伦敦不远，坐落在一座山冈上，四周都是参天古木，从那儿放眼望去，林木葱郁，流水潺潺，风景秀丽。学校的校风非常好，当时美国驻英国大使就把孩子送到哈罗公学，他说这是因为“哈罗是唯一没有等级偏见的学校”。
拜伦入学时，校长约瑟夫·德鲁里博士已在任15年之久了。他是一位50多岁的老人，心地善良，办事公正而严格，使哈罗公学的声誉大振，学生的人数也与日俱增。
这一天，律师汉森把拜伦介绍给德鲁里博士以后，校长把他领进了自己的书房，开始与他交谈。
拜伦知道这是校长对自己的摸底性质的面试，他昂起头，侃侃而谈，特别是牵涉到希腊、罗马历史方面的问题，他更是如数家珍。拜伦总是以大胆的目光迎着德鲁里博士探询的眼光，校长很快就发现拜伦犹如一匹在山野中的小马，而这匹小马会成为一匹千里马的。校长从拜伦的眼中发现，他是有思想的，他发现这匹小马的性格中有许多骄傲的成分。
拜伦十分担心校长会把自己安排在比他现在年级低的班级里上课，但校长一眼看出了他的不同凡响，同意先把他委托给一位教师进行一段时间的个别辅导，然后使他与同龄的学生一起学习。这样拜伦才放了心。