1885年11月11日，在美国西海岸加利福尼亚圣加布利埃尔的家中，巴顿出生在自己妈妈出生的那个屋子。小巴顿的母亲是加利福尼亚人，她从小就生活在优裕的环境中，受过良好的教育。当时，她年仅24岁，年轻漂亮，举止端庄，谈吐不凡，一派贵夫人的风度。
小巴顿的姨母叫安妮·威尔逊，对巴顿疼爱有加，曾在他就读西点军校期间与他作伴陪读。小巴顿的外公本杰明·戴维斯·威尔逊是帕萨迪纳市的大地主、洛杉矶首任市长，也是加利福尼亚州最大的葡萄酒和白兰地酒制造商。
小巴顿出生的房子是巴顿的外祖父本杰明·戴维斯·威尔逊在大约1830年建的，这儿曾经有他的牧场。
当巴顿外祖父的牧群沿着河谷顺着高山来到丘陵从雷得兰、洛杉矶向下延伸时，他就住在这儿，不像后来的许多人通过政府授予的形式得到牧场那样，巴顿的外祖父买下了这片牧场。
小巴顿的父亲乔治·史密斯·巴顿是一名地方检察官，身材高大，英俊潇洒。1877年毕业于弗吉尼亚军校，曾担任加利福尼亚州圣马力诺首任市长，之后继承了威尔逊事业，生活富裕。
巴顿的祖先原为苏格兰人，是苏格兰东部亚巴登的地主。巴顿家族第一个从苏格兰移民到美国弗吉尼亚州的祖先是罗伯特·巴顿，是一名契约工，后来迎娶安妮·戈登·摩塞为妻，从而晋身到上流社会。
巴顿家族中有多人参与过美国重要战事并是殉职者，其中包括罗伯特·巴顿的岳父，独立战争中的大陆军将领休尔·摩塞。摩塞将军在特伦顿袭击战中表现突出，之后在普林斯顿之战中负伤而死亡。
和许多拥有高贵血统的家族一样，父亲乔治和母亲露茜，用小婴儿祖父和父亲的名字，给他取名为乔治·史密斯·巴顿。由于和他的爸爸的名字一样，习惯上，人们称呼他小乔治或小巴顿。巴顿的祖父是家族第一个叫乔治·史密斯·巴顿的人，出生于弗吉尼亚州的菲德堡。
1852年，巴顿的祖父以全班24人中的第二名毕业于弗吉尼亚军校，同时也是卡巴奥发兄弟会的成员。毕业后继续修读法律，并在查尔斯顿执业。南北战争期间，巴顿的祖父担任联盟国军弗吉尼亚第二步兵团连长，后晋升为第二骑兵团团长、上校，参加厄尔利将军对联邦首府华盛顿进行的偷袭战。
美国内战期间，巴顿的祖母苏珊·铎登·格蕾瑟和4个孩子还有祖母的一个兄弟一起生活，这个兄弟叫威廉·格拉西尔，曾是联盟海军的一位上尉。内战结束一年之后，巴顿祖母的另一位居住在加利福尼亚叫作安德鲁·格拉西尔的哥哥给了祖母600美元的路费，让她陪着她瞎了眼的老父亲和4个孩子取道巴拿马去加利福尼亚。
他们在旧金山登陆后又换乘另一艘船到圣保罗，到洛杉矶后父亲一家人和巴顿的安德鲁舅舅住了一段时间。
后来，巴顿的祖母找到了一所土坯房子并在一家女校教书以谋生。巴顿的父亲那时只有10岁，也帮着支撑家庭。
通过巴顿的祖母，巴顿家族和威廉·铎登家族拉上了亲戚关系，而后者又是乔治·华盛顿的直系亲属。此外，还有一些家系和英格兰国王爱德华一世及他的妻子法王菲利普二世的女儿玛格丽特有关系。
巴顿家族的后人们都以这些尊贵的祖先为荣，他们有着先天的勇气和骑士风度，自然也高人一等。
巴顿家族的后代们认为，他们的血液中有着天生领导权和一种与生俱来的荣誉感和责任感，他们有意识地按照自己的偶像的形象来塑造自己，不仅在举止风度上效仿，在事业上也以他们为榜样。
乔治·休尔·史密斯对4个继子视如己出，最大的孩子乔治·威廉·巴顿，也就是小巴顿的父亲，为了纪念生父和继父，按照合法的程序，在1868年把自己的名字改为乔治·史密斯·大巴顿。
到了小巴顿的时候，再次从父亲和爷爷那里继承了名字，成为第三代乔治·史密斯·巴顿，天生的贵族血统，带给小巴顿的不仅是贵族的出身，更主要的是一种高贵的精神力量，让小巴顿终生为了自己家族的荣誉而奋斗。