在牛顿的全部科学贡献中，数学成就占有突出的地位。他数学生涯中的第一项创造性成果就是发现了二项式定理。据牛顿本人回忆，他是在1664年和1665年间的冬天，在研读沃利斯博士的《无穷算术》时，试图修改他的求圆面积的级数时发现这一定理的。笛卡尔的解析几何把描述运动的函数关系和几何曲线相对应。牛顿在老师巴罗的指导下，在钻研笛卡尔的解析几何的基础上，找到了新的出路。可以把任意时刻的速度看是在微小的时间范围里的速度的平均值，这就是一个微小的路程和时间间隔的比值，当这个微小的时间间隔缩小到无穷小的时候，就是这一点的准确值。这就是微分的概念。
求微分相当于求时间和路程关系得在某点的切线斜率。一个变速的运动物体在一定时间范围里走过的路程，可以看作是在微小时间间隔里所走路程的和，这就是积分的概念。求积分相当于求时间和速度关系的曲线下面的面积。牛顿从这些基本概念出发，建立了微积分。
微积分的创立是牛顿最卓越的数学成就。牛顿为解决运动问题，才创立这种和物理概念直接联系的数学理论的，牛顿称之为“流数术”。它所处理的一些具体问题，如切线问题、求积问题、瞬时速度问题以及函数的极大和极小值问题等，在牛顿前已经得到人们的研究了。但牛顿超越了前人，他站在了更高的角度，对以往分散的努力加以综合，将自古希腊以来求解无限小问题的各种技巧统一为两类普通的算法——微分和积分，并确立了这两类运算的互逆关系，从而完成了微积分发明中最关键的一步，为近代科学发展提供了最有效的工具，开辟了数学上的一个新纪元。
牛顿没有及时发表微积分的研究成果，他研究微积分可能比莱布尼茨早一些，但是莱布尼茨所采取的表达形式更加合理，而且关于微积分的著作出版时间也比牛顿早。
在牛顿和莱布尼茨之间，为争论谁是这门学科的创立者的时候，竟然引起了一场悍然大波，这种争吵在各自的学生、支持者和数学家中持续了相当长的一段时间，造成了欧洲大陆的数学家和英国数学家的长期对立。英国数学在一个时期里闭关锁国，囿于民族偏见，过于拘泥在牛顿的“流数术”中停步不前，因而数学发展整整落后了一百年。
应该说，一门科学的创立决不是某一个人的业绩，它必定是经过多少人的努力后，在积累了大量成果的基础上，最后由某个人或几个人总结完成的。微积分也是这样，是牛顿和莱布尼茨在前人的基础上各自独立的建立起来的。
1707年，牛顿的代数讲义经整理后出版，定名为《普遍算术》。他主要讨论了代数基础及其（通过解方程）在解决各类问题中的应用。书中陈述了代数基本概念与基本运算，用大量实例说明了如何将各类问题化为代数方程，同时对方程的根及其性质进行了深入探讨，引出了方程论方面的丰硕成果，如，他得出了方程的根与其判别式之间的关系，指出可以利用方程系数确定方程根之幂的和数，即“牛顿幂和公式”。
牛顿对解析几何与综合几何都有贡献。他在1736年出版的《解析几何》中引入了曲率中心，给出密切线圆（或称曲线圆）概念，提出曲率公式及计算曲线的曲率方法。并将自己的许多研究成果总结成专论《三次曲线枚举》，于1704年发表。此外，他的数学工作还涉及数值分析、概率论和初等数论等众多领域。