1751年3月16日的一个午夜，麦迪逊在弗吉尼亚州乔治王县的外祖父家出生。接受完洗礼之后，麦迪逊就和母亲一起回到了奥林奇县祖父搭建的小木屋中生活。
麦迪逊的童年并没有太多故事，唯一值得一提的是在麦迪逊4岁那年，当地的一支军队被法印军队击败。这件事在弗吉尼亚州引起震动，人们纷纷议论印第安人可能会进攻麦迪逊生活的蒙彼利埃。
后来，虽然蒙彼利埃并没有受到印第安人的攻击，但这件事却给麦迪逊带来了不小的惊吓。在麦迪逊幼小的心灵里，经常会想象出印第安人拿着斧子和火把，进攻蒙彼利埃的情景。
在家乡接受了几年的教育之后，麦迪逊开始要上大学了，他本来想上威廉·玛丽学院的，但麦迪逊身体虚弱，他担心学院所在地的气候可能对自己的身体不利，因此放弃了。
这多少有一些遗憾，因为另一个重要人物杰斐逊，年轻时就读的就是威廉·玛丽学院，如果麦迪逊也就读这所学校，麦迪逊就可以和杰斐逊成为校友。当然，虽然两个人没有成为校友，但后来两个人的关系一直很好。
1769年，麦迪逊进入普林斯顿的新泽西学院（后来改为普林斯顿大学）学习。在新泽西学院，麦迪逊除了学习基本课程之外，他还特别重视学习演讲和辩论，这个爱好为他以后多年的从政生涯提供了不小的帮助。
1772年，麦迪逊完成学业之后，回到老家蒙彼利埃。几年之后，美国独立战争爆发，麦迪逊开始服兵役，被任命为民兵上校。但麦迪逊的身体太弱了，连参加操练、打靶都不能，所以服兵役期间，麦迪逊几乎没有什么作为。
在服兵役之前，麦迪逊就开始步入政界，在当地一个委员会任职。令麦迪逊没有想到的是，刚进入政界，他就遭遇了一次挫折。
这件事的经过是这样的。1776年，根据州宪法规定所有代表都将成为众议院的第一批议员，直到新议员选举出来为止。这样一来，麦迪逊不经选举，就暂时成为了当地众议院的议员。
第二年，议员进行改选，麦迪逊却被一个叫查尔斯·波特的人击败了。麦迪逊在美国建国初期影响很大，理论水平和实际工作能力都很强，年轻时的麦迪逊自然也不会太差。但这个叫波特的人怎么能够击败麦迪逊呢？难道这个人比麦迪逊还要厉害？
其实，这个叫波特的人只是一个很平常的人，他之所以能够击败麦迪逊，是因为麦迪逊自己犯了一个小错误。当时，进行竞选活动时，按照惯例都要给选民免费发放威士忌酒。但不知道是因为忘了，还是有意抵制这种行为，反正麦迪逊没有按照惯例给选民发放免费酒。麦迪逊的这个行动激怒了选民，落选也就在所难免了。
落选之后的第二年，麦迪逊开始在弗吉尼亚州委员会工作，在州长的领导下，参加指挥了弗吉尼亚州的作战行动。
虽然二十多岁就能进入8人组成的州委员会工作，但麦迪逊并不满足这个工作，他认为州委员会不仅是人才的坟墓，还会阻碍行政领导权的执行。
从1780年开始，29岁的麦迪逊成为大陆会议最年轻的代表。虽然刚进入大陆会议时大家都没有注意到这个年轻人，但年轻的麦迪逊很快展露出了他的才华，他反对松散的联邦制度，积极支持建立一个强大的中央政府。麦迪逊的这一思想，为他后来成为“宪法之父”打下了基础。