1777年大陆会议制定的并于1781年批准施行的《邦联条例》规定，由当时13个独立州组成邦联制国家。邦联政府的权限很小，不能有效地行使国家职权。鉴于此，邦联国会于1787年2月邀请各州代表到费城召开制宪会议，讨论修改《邦联条例》。
因为一贯支持建立强大的中央政府，年轻的麦迪逊不仅成为此次制宪会议代表，而且起草了大部分的宪法文件。
宪法制定出来以后，还存在一个问题，那就是要争得必要的9个州批准。当时人们对宪法有些恐惧，这是因为按照以前的《邦联条例》，各个州有很大的权力。但按照新宪法，美国将建立一个强大的中央政府。这样一来，人们就会担心，强大的中央政府会不会威胁到个人的自由。
为了消除人们的顾虑，也为了让新宪法得到批准，麦迪逊和汉密尔顿等人一起撰写了《联邦党人文集》，强调了美国宪法的优势。
在麦迪逊等人的努力下，制宪会议制定的《1787年宪法》终于获得通过。《1787年宪法》是世界上第一部比较完整的资产阶级成文宪法，它奠定了美国政治制度的法律基础，至今仍然有效。
因为在起草和宣传宪法方面，麦迪逊都作出了重要贡献，所以后人把麦迪逊称为“宪法之父”。
根据新制定的宪法，华盛顿被选为总统，麦迪逊在众议院中成为支持华盛顿的领袖人物之一。但当时麦迪逊的影响力还不能和汉密尔顿、杰斐逊等人物相比，当汉密尔顿和杰斐逊发生分歧，而华盛顿又倾向于汉密尔顿时，麦迪逊开始倾向于支持杰斐逊。
1790年代，麦迪逊和杰斐逊一起创建了民主共和党，这是一个和汉密尔顿创建的联邦党相抗衡的政党，这也成为美国政党政治的开端。凭借着这个政党，1800年杰斐逊击败了联邦党总统亚当斯，成为美国第三任总统。
杰斐逊成为总统后，麦迪逊被任命为国务卿。任国务卿时，麦迪逊积极支持杰斐逊所采取的许多政策，其中包括支持对英法等国开展的海上禁运。这是一个不得人心的政策，后来麦迪逊参加竞选时，也因为支持这一政策而受到政敌指责。
1808年，杰斐逊总统的两届任期即将届满，新一轮的总统选举又要开始了。在民主共和党内，当时有三个人有希望获得总统候选人提名，他们分别是麦迪逊、詹姆斯·门罗和乔治·克林顿。
在这三个人中，门罗的支持者非常多，而乔治·克林顿做了几年的副总统之后，也野心勃勃，这两个人对麦迪逊都构成了威胁。
在这个时候，现任总统杰斐逊站了出来，他没有支持自己的副总统乔治·克林顿，而是选择支持麦迪逊。
杰斐逊是开国元勋，两届总统任期内政绩也是可圈可点，他在民主共和党内深受爱戴，所以他的表态，立即让麦迪逊获得了更多的支持者。
1808年1月，民主共和党召开政党核心会议，推选总统候选人，结果麦迪逊获得了83票，而门罗和克林顿都只获得了3票。
以83票对3票，麦迪逊赢得似乎是太顺利了，实际上情况是，会前得知门罗赢的希望不大以后，门罗的大部分支持者抵制这次会议，所以门罗才会得到如此少的选票。如果没有杰斐逊之前对麦迪逊的支持，麦迪逊和门罗哪个能够胜出，还真会有一点悬念呢！
麦迪逊获得民主共和党总统候选人提名后，现任副总统克林顿再一次被提名民主共和党的副总统候选人。
这一次和麦迪逊争夺总统的是联邦党总统候选人查尔斯·平克尼，自从亚当斯和杰斐逊参加竞选争夺开始，这个平克尼就连续或以副总统候选人，或以总统候选人的身份，出现在这几次美国大选中。
但自从亚当斯总统下台以后，曾经非常强大的联邦党已经今非昔比了，面对早已崛起的民主共和党，平克尼和他的竞选团队显然有些缺乏自信。
要想击败民主共和党，就必须要找出麦迪逊的“劣迹”来。麦迪逊有劣迹吗？经过认真查找，联邦党真的找出来了一个，那就是他曾经支持过《禁运法案》。《禁运法案》既禁止美国船只出港，也不允许其他国家船只来美国港口卸货，这给美国经济造成了巨大损害。
《禁运法案》实际上是杰斐逊总统签署的，本来和麦迪逊没有什么关系，但作为国务卿，麦迪逊曾经支持过这个法案。麦迪逊当初的支持行为，现在被联邦党抓住，希望以此来打垮麦迪逊。
其实，联邦党注定是要白忙一场的，经过杰斐逊8年的总统任期之后，民主共和党已经取得对联邦党的压倒性优势，也就是说联邦党无论如何努力，注定是难以翻身的。