1767年3月15日，安德鲁·杰克逊降生了。关于他的出生地点，后世一直存有争议，并引发了一个趣事。
这件事是这样的。在杰克逊出生之前，杰克逊的父亲突然去世了，母亲埋葬了父亲之后，决定从北卡罗莱那州搬到南卡罗莱那州的姐姐家去。就在这段时期，杰克逊出生了。
所以后来有人认为杰克逊是出生在去往南卡罗莱那州的路上的，有人认为是到南卡罗莱那州才降生的。后来南、北南卡罗莱那两个州，都声称杰克逊出生于自己州，争论一直得不到解决。
从1979年开始，被认为是杰克逊诞生地的两个州内的那两个县，每年进行一次老胡桃树橄榄球比赛，赢得比赛的一个县有权对外界宣称该县是杰克逊的诞生地。这项权利一直持续到第二年比赛产生新的冠军为止。
杰克逊在没出生时父亲就去世了，到了14岁时，他的母亲也去世了。这种悲催的遭遇，造就了杰克逊争强好胜，而又非常敏感的性格，平时谁要笑话他一下，他经常就拳脚相加。
因为父母都不在了，杰克逊的生活变得艰难起来，他曾经做过一些小工，例如在姨夫家给马鞍匠做学徒等。
15岁那年，杰克逊的外祖父去世了，杰克逊得到了350英镑的遗产。在当时，这笔钱可不是一笔小数目，杰克逊完全可以用它购买些土地，或者置办些产业，从此过上一个稳定的生活。
但杰克逊并没有这样做，而是到了查尔斯顿狂赌滥饮，很快把这笔遗产花光了。回到家乡之后，杰克逊非常痛恨自己，并痛下决心，以后一定要出人头地。为此，杰克逊选择了一所新知学校上学。
学习了一段时间之后，杰克逊又在学校里做了老师。争强好胜的性格决定了杰克逊不可能喜欢上教师这个职业，做了一年老师之后，他就离开了家乡。
在北卡罗莱那州，杰克逊学习了两年的法律，并最终成为了一名律师。杰克逊的律师做的并不是太出色，这是因为他把更多的时间浪费在赌博、喝酒和追女人上面了。
虽然杰克逊看起来像个浪子，但有时他却是个感情很真挚的人，这主要体现在他对夫人雷切尔的情感方面。当然，他的这个夫人从一开始，就成为了杰克逊的一个麻烦。
杰克逊和雷切尔结婚时，雷切尔的身份有点特殊，她既不是姑娘，也不是寡妇，而是一个有夫之妇。身为一个律师的杰克逊怎么会娶一个有夫之妇呢？这是因为雷切尔和丈夫刘易斯的关系不好，雷切尔被赶回了娘家。这个时候，杰克逊正好在雷切尔的父母家寄宿，两个人随之相爱。
后来，刘易斯把雷切尔接回家，夫妻间的关系依然不好，杰克逊就跑到刘易斯家所在城市，打算“解救”雷切尔。
当时州立法会通过了一项授权法，准许刘易斯起诉离婚。杰克逊把这个法令误认为是离婚判决书，就匆匆地和雷切尔举行了婚礼。
这样一来，杰克逊的这次结婚不仅不合法，而且他们的行为还构成了“通奸”。在当时的美国文化中，这是一项非常严重的道德败坏行为。
在以后的生活中，杰克逊二人一直因此而备受人们指责。1806年，一个叫查尔斯的律师又中伤雷切尔，杰克逊决定和查尔斯决斗。查尔斯先开第一枪，子弹打中了杰克逊的胸部，杰克逊很快倒在地上。杰克逊流了很多血，但他又从地上站了起来。轮到杰克逊开枪，他一枪打中了查尔斯的腹部，查尔斯当场毙命。
在这场决斗中，杰克逊虽然没有死，但子弹就打在了距离他心脏很近的地方，动手术取子弹很危险，所以这颗子弹就一直留在了杰克逊的体内。
这就是杰克逊为自己草率结婚付出的代价，但仅仅这些代价还远远不够，在以后的生活中，每每到了一个关键时刻，他的“通奸”行为都会被他的对手提出来。