数的概念是人们长期在数目观念的基础上所产生的认识上的飞跃，因此数的概念的起源是相当早的。
（1）最早的数目观念
数的概念在我国的起源，可以追溯到原始社会。当时人们对数目的认识，最初是从“一”和“多”开始的，后来才逐渐有“二”、“三”等数目观念。
在出土的原始社会文物中，我们可以看到一些与数目有关的内容，例如河姆渡的骨耜有两个孔，半坡的尖底提水器有两个耳。在其他陶器上有两耳或三足，在河姆渡的陶钵底上刻着四叶，这是形成“二”、“三”、“四”等数目的观念的依据。半坡的陶器上有整齐排列的点点，由一个到八个或到九个，可以说是“八”和“九”的反映。还有一些陶器上有近似等份圆周形的刻纹，很规则，有的正好为八十等份，如河北磁县下潘汪村出土的四五千年前的陶器上就有这种例子。至于是否有意识地进行等份和有较大的数目观念，不好确定。
（2）原始记数法
《易·系辞传》上说：“上古结绳而治，后世圣人易之以书契”，说明结绳记数和刻划记数是当时带有普遍性的记数方法。至于中国的结绳起源于何时，很难回答，有些古籍上说轩辕（黄帝）、伏羲、神农等很长一段历史传说时代都是“结绳而用之”，或说伏羲“结绳而治”。如果说结绳是我国新石器时代广泛使用的记数方法的话，恐怕是不会错的。三国时吴人虞翮在所著《易家九义》中引汉郑玄的话说：“事大，大结其绳；事小，小结其绳，结之多少，随物众寡。”这里把结绳的用法说得很清楚。现已找不到早期结绳的实物资料。
刻划记数在我国也起源于原始社会。根据现有考古发掘资料，最早可以追溯到一万多年前的“山顶洞人”。在“山顶洞人”的遗址中出土了四个带有磨刻符号的骨管，可能是一种刻划记数的实物。
这四个骨管上的符号为横向磨制，形状多数是圆点形，有两个长圆形。其中有一个围着骨管形成半圆，展开成平面，则为一长条形。骨管A，相对的两个侧面分别有一各圆点和两个圆点，共三个；骨管B，相对的两个侧面，一面三个圆点，一面两个，共五个；骨管C，相对的两个侧面，一面两个，一面一个，在另外一侧又加一个长圆点，共四个；骨管D，只有一个长条形的符号。从这些符号的排列方式，我们可以推测出“山顶洞人”对于数目的一些观念。“山顶洞人”最基本的数目是一，用一个圆点表示，两个圆点并列的是二，三个圆点并列的是三。同时可以看到，骨管对应两侧的符号带有累计的意义。一个加两个是三个，两个加三个是五个。长圆形可能是代表：“十”。
刻划记数的方法沿用了较长时期。到了原始社会末期，甚至到了奴隶社会和封建社会，都可以找到这方面的资料。例如在青海省乐都县柳湾原始社会末期的遗物中有带刻口的骨片四十件。在骨片的中部一侧或两侧刻有三角形小口，其中的三十五件上各有一个，三件上各有三个，两件上各有五个，被认为“大约是用作记事、记数或通讯联络用的”。这样解释有道理。刻口的排列方式和山顶洞人的骨管刻划非常相似：三个口的是在骨片的一侧有一个口，另一侧有两个口；五个口的是一侧有两个，另一侧有三个，这么多带刻口的骨片，说明它们不但用于记数，而且有可能用于简单的计算，由一到五十四之间的任何一个数都可以用这些骨片迅速地摆出，比如“四”用一个带三个口的和一个带一个口的骨片代表，“十五”用两个带五个口的、一个带三个口的和两个带一个口的代表等等。把这种骨片看作是一种原始的计算工具是并不过分的。
（3）数目字的出现
在结绳和刻划的基础上，进而形成数目字。在半坡出土的陶器上刻划的符号中就包含了数目字，计有“×”（五）、“∧”（六）、“ ”（七）、“）（”（八）、“｜”（十）、“｜｜”（二十）。在陕西姜寨出土的陶器上也有数字符号，比半坡的多“——”（一）、“｜｜｜”（三十），而少“）（”。这也是一种十进制系统，与前面的记数法完全相同。在距今四千年前的上海马桥遗址出土的陶片上有“X”、“｜”和“ ”相当于五、一（或十）和七。年代与马桥差不多或稍晚的山东城子崖出土的陶片上刻有五个数目字即相当于七、十、十二、二十、三十，后三个数是合书。
事实说明，约四千年前我国的数字写法发生了一次重大变化，如“×”变成了“X”，“｜｜”变成了“∪”，十的倍数采用“合书”形式，对后世影响很大，很显然，这种改变有明显的道理，因为原来的写法容易发生混淆，如，“×”与“ ”，“｜”、“｜｜”、“｜｜｜”与“一”、“—”、“≡≡”孤立来看就分不清了。通过长期实践，当人们发现这种混淆时，必然要想到改变写法。城子崖的数目字与甲骨文早期为近，和殷文化是一个系统。但是比甲骨文早数百年到一千年。