1805年10月，拜伦进了剑桥大学特里尼蒂学院学习。这时拜伦已是一个17岁的小伙子了。
青少年时光，这是一段多么特殊而难忘的时光。处于这个阶段的人们徘徊于成熟和未成熟之间，他们对习俗会产生误解，要么盲目反对，要么盲目屈从。
欧洲大陆从18世纪以来，启蒙主义学者狄德罗、卢梭、伏尔泰，不断宣扬自由、平等、博爱的思想，要求个性解放，追求个性自由，反对封建束缚。卢梭就曾说人生来是自由的，但他到处被锁链束缚着。追求自由，个性解放，反对束缚，成了那个时代的呼声。
1789年，即拜伦出生后的第二年，法国爆发了资产阶级大革命。人民愤而反抗，攻占巴士底狱，发表宣言，宣布自由、平等、博爱的原则。到1793年，甚至把法国的皇帝推上了断头台。因此，那时候的时代风潮是强烈的自由、解放意识，拜伦无疑也受到了这种狂飙突进精神的感染，把自己生活中的每个举动都看成了具有反传统作用的战斗。
拜伦进入大学时，英国大法官法庭允许他每年从总收入中提取500镑，这可是一笔不小的数目了，当年他母亲维持一家人的生活每年只有135镑。平生第一次拥有如此大的一笔钱，他一时对着钱只是发愣，竟不知如何是好。当年，中国作家郁达夫小说中的人物第一次拿到钱时，直往钱上吐唾沫，然后放在脚下边踩边骂钱的肮脏。而今，拜伦对着钱却只是发愣，寻思要写一篇《金钱吟》。他觉得自己一下子就像一个德国王子那样，可以自铸钱币了，或者像印第安酋长那样，虽然不铸钱币，但享受着更珍贵的东西——自由。他把钱和自由联系在了一起，因为有了它，就可以去做自己想做的一切事情，而且不必再处处受制于母亲，自己可以独立生活了，慢慢地，他心中有了一个宏伟蓝图。
第一是要去买匹马，骑着马自由驰骋，让风掀起自己的长发，飘飘然，就像过去的骑士一般，何等威风！于是他先买了一匹马。还有那么多杂活儿等人去做，得雇用一个仆人，于是他又雇了一名仆人。
进入大学，拜伦仍然像在中学时一样，暗暗地企望成为众人瞩目的中心，当一个领袖式的人物。他总是这样雄心勃勃，事事争先。而那时候，在学校里没有几个人专心致志地读书，他们整天东游西荡的，无所事事、酗酒无度和尽情玩乐竟像是一种风俗一样在流行，甚至一位客人要是一顿饭喝不下两瓶葡萄酒，那他就算不上好伙伴。人们喜欢用“四瓶酒家伙”、“六瓶酒家伙”来互相称呼。赌博之风胜行，而且大家似乎见怪不怪，不把它当作一件特别的坏事。那时英国的荷兰德勋爵就曾把一大笔钱交给他15岁的儿子查尔斯·福克斯，让孩子去好好学一学赌博。
拜伦刚进大学时，周围的环境是：人们对读书和文化感到厌烦，过着庸俗无聊的日子，只是玩弄一些饶舌的简单的双关语，或者说两句故弄玄虚的讽刺话，喝酒斗牌，直至深夜。
拜伦对这帮庸庸碌碌的人充满了蔑视。
一次，他在大厅里吃饭，一位酒气熏天的家伙拎着一瓶酒来到拜伦身边：“听说你是‘零瓶酒家伙’，来，陪我喝一瓶。”拜伦满心厌恶，起身就走。那家伙追上来说：“哎，别走。”拜伦忍住气说：“对不起。”那家伙仍在纠缠，拜伦一把夺过那瓶酒，一拳将那家伙打倒，把酒倒在他身上，连说“让你喝个够”，然后一瘸一拐昂然走了出去。满厅人惊得目瞪口呆，无人拦阻。拜伦从此对在大厅里与那些人一起吃饭充满了厌恶，便自己一人到外面去吃，或者在他自己的房间里吃饭。
而到了晚上，又是一个烦人的时刻，那帮家伙玩牌游乐通宵达旦。拜伦对此根本不感兴趣，憎恨玩牌。他一再说：“自己既不冷静，又不会算，还缺乏判断力。”但周围的人都缠着他要他玩，实在没法，有时只好与他们一起玩一阵子。什么作业都做不成，成天在喧闹声中度过。
一到早上，拜伦翻身起床，头戴白帽，身披银色斗篷，骑着他的灰色良种马，纵横驰骋。校园里又突然间多了一位英姿飒爽的骑士，令人刮目相看，就像他中学时代常上墓地一样令人惊异。他总在表现自己不同凡俗的梦，从小到大、每时每刻。
拜伦中学时的好朋友朗，也在剑桥大学学习，两人都倍觉亲切，形影不离地生活在一起。拜伦常常约他到离剑桥不远的一条河里游泳，他们都是游泳健将。那儿的河水清幽，四周树林枝繁叶茂。朗是个慷慨正直的青年，坦率热情，博览群书，学识渊博。他们一起潜入水中，从那只有4米深的水底捞起几个鹅卵石。
一次，拜伦对朗说：“你相信吗？我把一把硬币抛入河中，我能将它们全部如数找回。”朗虽知道拜伦是游泳好手，但觉此话似乎太过夸张了，有些不信。拜伦便抛下一把硬币，然后潜入水中寻找，好半天没有上来。刚开始朗还不急，到后来，不禁害怕担心起来。一会儿听到远处的水面上传来呼唤他的声音，正是拜伦浮出了水面。拜伦游过来说：“20枚，一个不少。”他喘了口气，说：“我正准备上来，一数才19枚，又潜下去找，原来它跑到了那么远的地方。”朗觉得这真是一个奇迹，可以称他为“水中王子”了。
晚上，朗常到拜伦的房间里，吹吹笛子或者拉拉大提琴。而拜伦就坐在旁边，手里拿着他喜爱的苏打水饮料，在聆听中默默地沉思。
当那美妙的音乐在房中轻轻荡漾的时候，他又仿佛步入了一个诗的国境，回想着从前，品评着现在，神思着将来。他插上了想象的翅膀自由飞翔，那诗的灵魂又攫住了他，诗韵啊、诗节啊，像要从脑子里冒出来。他越来越喜欢作诗了，时时沉思，这给了他很大的乐趣。梦想、神思和苦痛欢欣，都变成了诗节，他慢慢地开始专注于诗了。
一次，朗又来叫拜伦，让他和自己一起去游泳。拜伦正慌慌忙忙地要往外赶，朗急问何事。拜伦边一颠一拐向前飞奔边回答说：“有个水中的灵魂在向我呼救。”朗不解其意，在后面跟着飞跑。赶到他们常常游泳的地方，只见隐隐约约有一个人在水中呼救，他的头一浮一没，已十分危险。拜伦来不及脱衣服，飞身跳入水中，奋臂划向那个人，将他救上了岸。
朗觉得这简直像是一个神话。那溺水的男孩是特里尼蒂学院的学生，才15岁，名叫爱莱斯敦，是学院唱诗班的一名歌手。那男孩对拜伦十分感激，把一颗玉石制成的心形首饰作为礼物赠给拜伦。拜伦也很喜欢嗓音优美可爱的爱莱斯敦，处处保护着他，把他赠送的礼物挂在胸前，作为珍贵的礼物小心珍藏，并一直保持着与爱莱斯敦的友谊。
自由自在的生活没过多久，新的烦恼又来缠着拜伦，那就是他又没有钱了，那500镑显得不够支出了。现在他的衣着考究，又买马又雇仆人，而且没有在学校的大厅里吃饭，只在自己房里吃饭或款待朋友，钱肯定入不敷出。
他便写信给他的律师汉森，要求英国的大法官法庭给他增加一笔钱。汉森接到这封信，很是生气，他严厉地回信说，500镑对一个学生来说已是一笔足够的收入，只要他生活俭朴一些，不是乱花乱用，是绰绰有余的。拜伦一看自己不仅被拒绝了，还被批评指责了一通，他的那股倔强的劲头又冒出来了。他又蛮横地写信告诉他的律师，如果得不到必要的钱来还债，他将从高利贷者那里借钱。因为他将是纽斯台德的主人，不久即到了法定的年龄，他要找高利贷者借钱是不会太困难的。而且拜伦还在信末狠狠加上一句威胁性的话：即使利息百分之百他也在所不惜。
汉森以为这是拜伦意气用事，便没有再理他。结果拜伦真去找高利贷者借钱去了。高利贷者别的都不担心，唯一担心的是，拜伦尚未达到法定年龄，天有不测风云，人有旦夕祸福，万一拜伦过早夭折，那他们就白白借钱给他了。所以，高利贷者要拜伦找一位成年亲戚签名才借给他钱。拜伦一下子又想到了他的姐姐奥古丝塔。他姐姐犹豫不决，拜伦便一个劲儿地求她，并且再三对姐姐说绝对不会有什么风险，因为假如他死了，奥古丝塔能继承他的财产，如果他活着，当然自己就能偿付。如此这般去磨他的姐姐，于是又借到几百镑来供自己随意花销。
他的这一又近似疯狂的举动，可把他母亲吓坏了，她失望又惊恐地说：“这孩子将把我逼死，把我逼疯，他落到了高利贷者手里了吗？”她担心他落入坏人手中，担心他有了钱又要任意胡来。
果然，口袋里有了钱的拜伦，又随心所欲起来，他现在有了更大胆的行动。他觉得学校那沉闷的庸俗气氛要窒息人，便悄悄地离开了剑桥，跑到伦敦的皮卡迪里16号住下来，而且有一女子与自己住在一起。那是他偶然到街上散步，发现衣衫褴褛的她一脸愁苦，在街上流浪，也许是出于同情，他上去与她攀谈，然后带她回到自己的家。
而且，拜伦在这儿还认识了另两个男子，并常与他们在一起消磨时光，一个是杰克逊，一个是安格鲁，他们二人都精通防身之术。杰克逊是拳师，安格鲁是剑师。杰克逊是英格兰拳击冠军，他手指上压着80镑的重量照样能签名，很是了不起，在体育界，他的话几乎成了法律，人们都叫他“绅士杰克逊”。拜伦对他很敬慕，以自己能结交上这样的朋友而自豪，他这样称呼杰克逊：“我的老朋友、领路人和主人，拳击教授约翰·杰克逊先生。”杰克逊和安格鲁让拜伦进行激烈的拳击训练，拜伦也自觉刻苦地训练，每天他给自己规定要打1000次沙包，一次也不能少，训练生活使拜伦一下变瘦了。
一天，他在街上边走边琢磨杰克逊教的拳击动作，边想边前后左右地出拳，虎虎生风，没想到击中了一个人，那人拔腿就跑。“当”的一声，旁边另一位女士的钱包掉在了地上，原来这人是个小偷，正在偷这个女子的钱包。女士对拜伦见义勇为的英雄举动十分感谢，要请他吃饭，拜伦自己也觉太巧，哑然失笑。
当他回到剑桥的时候，拜伦把那个年轻女子和杰克逊、安格鲁也带到了剑桥。邀请他们三人出入在大庭广众中，一起吃饭。他还专门派人到圣·约翰学院去取上好的啤酒，因为那个学院的啤酒最为有名。这一天，安格鲁要离开剑桥，拜伦拖着一瘸一拐的腿，端着酒杯，在驿车边为朋友斟满一杯酒，两人在那儿将最后一杯离别酒一干而尽。
拜伦这一系列举动在学校闹得沸沸扬扬。一次，一名老师把拜伦叫了去，对他说：“你如此举动，真是给学校丢脸。”拜伦轻蔑地哼了一声，回答说拳师杰克逊教授的风度比特里尼蒂学院的那些只知喝酒逗乐的傻家伙不知要好多少倍。
在大学里，似乎没有几个人在研究作家，不管古代作家还是现代作家。至于说到诗神缪斯，则几乎完全被忽视了。拜伦只认为他们是一群俗物，没把他们放在眼里。
1806年暑假来临，拜伦回到索斯威尔他母亲住的地方。
这次，他母亲对他在校生活特别是借高利贷的事大为气愤。她那暴虐的脾气再次迸发了出来，竟当着拜伦许多朋友的面，把铁铲、铁钳一股脑儿向拜伦头上扔去，幸亏他躲闪及时，否则后果不堪设想。在场的朋友一个个惊得目瞪口呆，倒抽了一口凉气，而拜伦却不慌不忙，淡淡地说了一句：“习惯了，她（母亲）倒使我练成了一身躲闪功的绝技。”
因为此事，拜伦愤然离开母亲那儿，到朋友家去住了几天，然后到了伦敦，不再去见他的母亲。而母亲又赶到了伦敦，要他回索斯威尔。这次拜伦是铁了心，他与母亲针锋相对，寸步不让，两人唇枪舌剑，吵了几个小时，拜伦一点儿没有软弱怯阵的意思。最后，母亲眼看无望了，在昏乱中退却了，她的眼中涌动着浑浊的泪水。看她又形只影单，孤零零地拖着老迈之身，伤心地一人回索斯威尔去了，怎能不让人感叹？而拜伦却以一个胜利者的姿态发表总结：“最后，她在昏乱中退却了，留下了炮具、野战部队的装备、辎重和一些俘虏。”
拜伦一个人留在了伦敦，便去约他的一个朋友约翰·皮戈特一起去作一次旅行。皮戈特是一个性格开朗、很有教养的小伙子，在医学院里求学。他很高兴地接受了建议。而拜伦的旅行装备倒是让皮戈特很感兴趣：一辆轻便马车，车门上装饰着拜伦家族的徵章，还印着一句格言“相信拜伦”。车后是两匹马，由一个马夫驾着，车内是拜伦和皮戈特，还带着他的男仆弗兰克和两只狗——他给它们取的名字是波兹温和纳尔逊。他这个并不富裕的向高利贷者借钱的人竟带着如此一个队伍出去旅游，真乃荒唐。他们到苏朋克斯海岸边住了几星期，然后到哈罗作了一次短途旅行。游玩是快乐的，或登山远眺，或海滩嬉戏，与大自然做着物我两忘的交流，是多么惬意的事呀！
可两个人很快就垂头丧气了，原因很简单，拜伦又把向高利贷者借的钱花光了，现在回伦敦也不行了，因为身无分文，回去了他无法生活，只有硬着头皮，又灰溜溜地回到索斯威尔他母亲住的地方。尽管他们刚刚吵过一架不欢而散，而且拜伦表示坚决不回去了，可现在无路可走，只好回到母亲身边。
母亲看见儿子带着仆人、朋友和一群马、一窝狗回来，不胜惊惶。她生怕儿子再次离去，不敢多说什么，不知该怎样安置他们才好。
拜伦将身无一文的情况如实告诉了母亲，在索斯威尔住了下来。在这儿，他结识了皮戈特的姐姐伊丽莎白·皮戈特。她是一位活泼可爱充满浪漫情怀的女孩。她觉得拜伦有一种高贵不凡的气质，她喜欢和拜伦在一起。
有一天，伊丽莎白读了几首诗给拜伦听。听后，拜伦说：“我也写过几首诗。”“真的？”伊丽莎白的声音里充满了惊喜。
拜伦拿出一些以前写的诗来，伊丽莎白睁大惊奇的眼睛，认认真真地看起来，边看边小声地吟诵起来，充满了深情。伊丽莎白看完后，欣喜地喊道：“太棒了，你是位诗人。”她的赞美是由衷的，拜伦却以为那仅是恭维而已。伊丽莎白则动情地劝他正式好好地写诗，别只是为了玩玩。
这个温柔美丽的姑娘毫无保留的赞美使拜伦心中燃起了美好的希望。缪斯呀，请赐给我灵感，诗人，那是多么神圣呀！做个诗人，写出美妙的、令人心驰神往的诗篇，这一愿望一下变得这么强烈。
拜伦读了缪斯的诗，立刻仿效其诗节，唱出了“我无忧无虑的童年在这儿迷失了方向”这样充满淡淡忧伤的诗句，简直使伊丽莎白着了迷，她几乎有些忘情地说：“你会成功的，拜伦，写吧，我为你抄写，并且为出版商准备好手稿。”伊丽莎白如此热情的鼓励、如此热烈的崇拜和赞扬，使拜伦信心百倍。诗，那就是生活，现在，他的目标就是诗了。
拜伦认真地写他的诗了，每时每刻、每日每夜，他琢磨的就是他的诗。一到晚上，他就坐下来工作，在那夜深人静的时候，让思想自由地飞翔驰骋，那些事、那些人、那些情、那些景，憧憬、希望、失落和痛苦、不安、耻辱，都源源不断地涌来，成了他的诗篇。他每天都很晚才睡，有时甚至天已拂晓，才躺下去。他起床也很晚，有时几乎睡到下午才起床。这也难怪，写作的人都喜欢晚上工作，那时没有干扰，万籁俱寂，会使人思如泉涌，灵感突现。
一天，拜伦刚写完一首诗，看着窗外漆黑的夜幕，伸伸懒腰，感到特别口渴。这时母亲突然推门进来了，手里端着一杯热热的咖啡。她放下杯子说：“孩子，我看你这好几天来都很晚很晚才睡，我很为你的身体担心。”拜伦感到心中有某种冲动或者可以说是感动。“母亲，”他低低叫了一声，隐隐地喉头哽咽，不知说什么好。
白天起床后，拜伦就到伊丽莎白那儿，把晚上写的诗交给她看。她总是深情地小声吟诵，然后大大地夸奖一番，工工整整地把它抄下来。拜伦特别害怕这时有新的客人到伊丽莎白家来，问他为什么怕，他说不知道，就是害怕而已。
有一次，有客人到了伊丽莎白家，听说伊丽莎白正和一个少年在一起，便要进来看看。拜伦如临大敌，情急之中竟从伊丽莎白家的一个窗子跳出逃走了，令人哭笑不得。他还是对自己的跛脚耿耿于怀，在那精神的世界里，他是一个英雄，但一看到自己肉体的缺陷，他又自卑与羞辱万分。
一次，他与自己的一位新结交的朋友约翰·贝切牧师交谈，探讨命运和宇宙的问题。贝切尽他所有的努力想使拜伦相信，拜伦所抱怨的上帝，还是赋予他各种各样恩惠的——贵族的头衔、智慧、财富（成年即可得），而且还赋予了他一个比别人都聪明灵活的脑袋。而拜伦用一只手指指自己的头：“要是这玩意使我比别人都优越，那么，那个玩意”——他指指自己的脚——“使我比别人不知低贱多少呢。”是的，跛脚，这几乎是他致命的伤痛，每时每刻都在折磨着他，几乎成了他一生最大的不幸。
住在索斯威尔母亲那里，拜伦尽量控制自己，免得惹母亲生气。在与母亲一起吃早饭的时候，他尽量不和母亲说话，以免一句说错，母亲又要不高兴，甚至大发雷霆。她爱生气、易怒的习惯总是难改。为此，拜伦总是一边看书一边吃饭。一到下午，他就到外面去游荡嬉戏，到河里去洗澡，把从朋友那儿借来的东西，如鸡蛋、盘子、钳子……扔进水里，然后再潜入水中把它们一一找出来，以此自娱自乐。
现在他又有了一个新的娱乐，那就是在花园里练习手枪射击。“砰砰”的枪声四起，把邻居们吓得大气都不敢出，他们对这个少年敢怒不敢言，都以为他疯了。而拜伦却漫不经心，甚至只是微微一笑。现在他时常兜里揣着一支手枪，仿佛要随时与人战斗，那样，手枪可以帮助他减少脚给他带来的不便。另一个娱乐就是骑马。拜伦常骑着马四处飞跑，并大叫“骑士来解救人类了”。他对自己的马一点儿也不熟，有一次，他在街上看见几匹马走过，没有认出其中一匹就是自己的马，还在那儿一个劲儿地寻思得找人把那匹马买下来，虽然他当时不名一文。
到了晚上，他就常与朋友们一起，有时在皮戈特家，有时在里克劳夫特家，与人聊天逗乐。他还把自己写的诗送给自己在当地认识的名叫玛丽的姑娘，两人关系很亲密。那姑娘把自己一绺金色头发送给拜伦，拜伦竟把它拿去给一位寡妇朱丽亚看，炫耀自己所谓的爱情或者魅力。倒是那寡妇只是稍稍笑了笑，觉得拜伦此举是十足的幼稚。可这一切并不是他真正想要做的，他是以此来忘掉自己的烦忧。
索斯威尔的一位老太太有一块大玛瑙，是在一座古坟中发现的。有一回，她告诉拜伦说，这块玛瑙是个护身符，它的魔力能使他的主人不为情所动。拜伦听到这儿，便大叫一声：“把它给我吧，这正是我想要的。”他是如此急切，以致把老太太吓了一大跳，最后只好给了他。
他这些日子以来，就是为情所苦而不能不为情所动，他天生是一个多愁善感的人。
在这些游玩的日子里，拜伦毫不放松他的诗集出版的事。他把过去写的诗收集起来，进行认真修改，包括他在哈罗公学写给那一帮朋友德拉瓦、克莱尔、道赛特的诗，他都把它们找出来了。现在，他早年就学会的拉丁文派上了用场，他翻译的罗马大诗人维吉尔和凯特勒斯的一些诗也收集起来，为被他救过的爱莱斯敦送给他的玉雕而写的诗，以及他为自己眷恋的纽斯台德庄园写的挽歌，还有他写的最初的爱情诗，这些诗都收集起来了，准备交给出版商出版。他为自己第一本诗集的题名煞费苦心，开始他想让自己的名字为众人所传诵，因此题名为“乔治·戈登·拜伦——爱情诗集”。他的朋友伊丽莎白这时显得比诗人自己还高兴。她说他的诗集一定会成功的，他会因此而一举成名。拜伦有些陶醉，便一遍又一遍地重读自己的那些诗，读着读着竟也不相信那就是自己的作品，有一次别人问他正在看什么，他说：“缪斯的诗。”而实际上是他那收集起来还没有出版的诗。
拜伦迫不及待地把他收集的诗交给纽阿克的一位印刷商里基，请他付印。在付印时他又觉得书名不妥，因为拜伦那时还是个无名小卒，因此，他把书名改成了《即兴诗集》。诗刚印好两本，他就满怀着兴奋，希望把它送到鼓励他认真作诗的伊丽莎白·皮戈特和他的朋友贝切牧师那儿。
伊丽莎白拿到那散发着墨香的诗集，当然兴奋不已，但贝切牧师却提出了疑义。他读到那首《献给玛丽》的诗，震惊无比，因为提到了真人而且太过直露，坚决要求拜伦不能出版这本诗集。这无异于给拜伦泼了一盆冷水，他感到无比伤心。但他却忍住痛苦，毅然把印好的书全部烧掉。只有两本书例外，一本是已经寄给到爱丁堡大学求学的约翰·皮戈特的那一本，一本是贝切牧师自己收藏着的那本。拜伦第一本诗集的第一版我们今天能见的，就只有这珍贵的两本。
拜伦并没有就此罢休，他那不屈的斗志又一次表现了出来。他开始马不停蹄地工作，争分夺秒地与印刷商重新开始了诗集的出版工作。他把那首倒霉的《献给玛丽》删去了，在短短几个星期内，又编出一本诗集，这速度是相当惊人的。有时拜伦就在印刷厂里与工人们一道边啃馒头边工作。这次，诗集改名为《杂诗》，于1807年1月出版。看着这些散发出油墨香味的新诗集，拜伦不禁长长松了一口气。他不无自信地说：“这本诗集不但从头至尾正确无误，而且奇迹般的纯洁无瑕。”
新诗集出来了，现在拜伦又赶着把诗集分送给剑桥大学的老朋友和在索斯威尔的新朋友。他剑桥的同学收到诗集，都不禁对身边这个跛足疯少年有如此诗才而惊异，并发出了由衷的赞叹。他们即刻给拜伦去信表示了他们的钦佩赞赏之情，拜伦对此心中颇有点得意。在索斯威尔，拜伦这本“纯洁无瑕”的《杂诗》却带来了一场风波。因为拜伦在一首诗中又提到了一位叫做朱丽叶的女孩，而他的朋友里克劳夫特家也有个女孩子叫做朱丽叶；而且还有一首《献给莱斯比亚》的讽刺诗，好像也是写给朱丽叶的，而且拜伦在这首诗里表现出很是高傲、很是蔑视的意向。一时间，索斯威尔小镇议论纷纷，互相传言，弄得沸沸扬扬。
这引起里克劳夫特一家对这本诗集的极力反对，朱丽叶的哥哥里克劳夫特上尉严正要求拜伦对这些诗做出解释，否则要和拜伦决斗。这使拜伦烦恼异常，他只好和贝切牧师商议，写了一封措辞谨慎的信，勉强做些解释，几乎有些低三下四的语言，说诗并不是实指，解释干干巴巴、牵强无比。而里克劳夫特上尉仍不肯善罢甘休，这种纠缠使拜伦伤心透顶，出诗集的喜悦荡然无存，对索斯威尔也异常讨厌起来。
他对伊丽莎白·皮戈特说：“你们这个该死的诽谤之地，真是可鄙可憎。即使这儿所有的人都被送进冥河之渊，我也毫不在意，只要这里面不包括你和贝切牧师。至于冥河之渊，我宁可亲自去那儿，也不愿让自己的鞋子染上索斯威尔的污尘。”他对索斯威尔愤恨异常，甚至宁愿到冥河也不愿再留在索斯威尔，他急于要离开这个该死的是非之地。只是稍微有点不舍一直给他真正关怀的伊丽莎白，他称她为“亲爱的白斯皇后”。
临行前，他去向伊丽莎白辞行。她很伤心，但告诉他应该迎接挑战，留下来把诗集重新整理，增加印数，使诗集为更多人所读。
拜伦虽然归心似箭，但他接受了这个劝告，又悉心投入了诗集的再版工作中。这回他把书名改成了《闲散的时光》，并且署名为“乔治·戈登·小拜伦勋爵”，亲自为其作序说：
这些诗是一位19岁的青年在闲暇中创作的。因为这些诗是一个幼稚的头脑所进行的内省，所以人们也许对它不屑一顾。从我的处境和今后的目标来看，我根本不可能再一次来打扰公众。约翰逊博士曾对我的一位贵族亲戚的诗友发表意见说：当一位达官贵人以一个作家的身份出现时，他当然可以巧妙地运用自己的特权。那些口头评论家对这话无动于衷，那些杂志评论家，更是把它当作耳边风。不过，即使情况并非如此，我也不愿意利用这一特权。
他虽如此说，但从署名上我们却可以看出他实是有些利用了他的特权。到1807年6月，拜伦这本诗集终于出版了。他心花怒放，决定马上离开索斯威尔，立即前往伦敦。
他的母亲也毫无挽留他的意思。她说：“拜伦住在我这儿几个月了，还随身带着男仆，他一年要花费500镑，而我却没有收到他一文钱。因此，我没法用我这微薄的收入来供养他和他的仆人们。”拜伦也没什么留恋，匆匆地动身了。