乔治·戈登·拜伦六世的父母系来自英国最富有浪漫色彩的贵族家庭。虽然，他跟别人提起过他的母亲是苏格兰王詹姆斯一世的后裔，但是，观其一斑，似乎他的父系祖先对他较具影响力。
在“征服者威廉”时代，拜伦家族可能是英国北方的大地主，不过，知名度不高。一直到祖先当中有一位叫约翰·拜伦的男爵，从亨利八世那里领受到一块风景优美，位于诺亭汉什尔，叫做纽斯德修道院的土地后，其声望才与日俱增。
约翰·拜伦的儿子，即人称“大胡子”的小约翰男爵，在1575年受女王伊丽莎白的册封而继承其父的爵位，他以供养大批闲人，兼之挥霍无度而成为传奇性的人物。
拜伦的祖先中还有一位，也很出名。他因替查理一世作战而几乎失去纽斯德的家园。曾有人传说：他的妻子是查理二世的第十七号情妇，他因而“夫以妻贵”！
此外，拜伦的祖父和祖父的哥哥——威康·拜伦五世也很有名。这位威康·拜伦五世曾花了一大笔钱，在纽斯德盖了一座小城堡和两个小堡垒，专供他荒淫度日和玩战争游戏之用。
1765年，威廉·拜伦因为酒后与人争论玩游戏的方法，而把自己的亲人杀死，从此有“邪恶的拜伦男爵”之称。事后他虽然被贵族法庭宣判无罪开释，可是儿子却恰好在此时与一个家境贫寒的侄女私奔。于是，他在盛怒之下，把领地内所有的古老橡树砍伐一空，又杀死了森林里养的两千七百多只鹿，拿到市场去拍卖。
比起这位“邪恶的拜伦男爵”来，诗人拜伦的祖父要平易近人得多了。他从1740年，十七岁时起就开始当海军见习生，到1778年升到海军副总司令，他曾经历过无数次的海难、饥饿和艰险，而且在海上经常遭遇暴风雨的袭击，因此大家都叫他“坏天气杰克”。当然，这样的人也免不了有许多关于他的传言。但是在1786年他离开这个世界以前，他的长子约翰（人称“疯狂杰克”）就已经在和妇女谈情说爱、制造丑闻以及任意挥霍等方面“青出于蓝”了！这位老将军几乎气死，最后不得不把儿子的继承权取消。
这位约翰·拜伦即诗人拜伦的父亲，先是在西敏学校读书，后来又到法国的陆军学校去求学。大概因为在法国学到了一口标准的法国语，能和当地的高级人士一起消遣，因而养成了浪费的习性，年纪轻轻就已经声名狼藉。他只在侍卫队服役了一段时间，就于1778年返回伦敦，去当他的花花大少了。同年，他和一位美丽而且拥有一份可观遗产的侯爵夫人私奔到法国，这样一来，这年轻人不但避免了流言的扩散，也躲开了穷追不舍的债主！
这位侯爵夫人一共替他生了三个孩子，但却只养活了一个女孩——奥古斯塔（诗人拜伦的同父异母的姐姐，生于1783年）。说也奇怪，这位风流倜傥的约翰，居然很忠实地和这位侯爵夫人在巴黎共同生活了六年，直到1784年她逝世为止。
隔年春天，当他再度债台高筑时，他又精神抖擞地回到英国去碰他的运气了。
他屡次参加苏格兰、巴斯地区的舞会，总期望能碰到一位像侯爵夫人那样拥有丰厚资产的贵族名媛。最后，终于让他找到了一位双十年华，相貌平庸，却拥有23000英镑家财的凯塞琳·戈登小姐。
他的高雅谈吐和法式礼貌，很快地便赢得了这位少女的芳心。1785年5月13日，他娶了这位女财产继承人。
夏天还未过去，这位痴情的少女已经被他那挥金如土的习性吓坏了，然而，她仍旧倾其所有地供他花用。不到一年，戈登小姐的全部家财就被他耗费净尽，于是，约翰又不得不折返老家想办法。而戈登小姐为了纾解丈夫之围，只好出面恳求她的亲戚替她出售那仅有的家园。不过，所得的17850英镑，半数以上又都用在替她丈夫偿还紧急债务上了。
1787年，约翰为了躲避债主，再度潜逃到法国。当时，大腹便便的戈登小姐，当然也紧跟着到了法国。这时的约翰已囊空如洗，自然乐意从她那里拿一点钱来花用。况且，他还可以把和侯爵夫人所生的女儿奥古斯塔交给她代管呢！
可怜的戈登小姐，不仅一句法语也不会说，还怀着身孕，可是她仍然对她的丈夫一往情深。她一直待到快要生产时，才带着那小女孩回到英国，把她交给她的祖母，自己则在伦敦找了一个地方住下来，等待临盆。
就在这样的环境下，我们这传记的主人翁——诗人拜伦，在1788年的1月22日（星期二）来到了这个世界。但不幸的是，他一生下来，右脚就有点畸形。虽然他的母亲寻遍了名医，也无法弥补这天生的生理缺陷。这缺陷为他带来了不少的痛苦，这很可能也是形成拜伦特殊性格的主要原因。