古希腊人和古印度人表示加法都是把两个数字写在一起，例如5 12，就写成512.直到今天，我们学习带分数的写法时，还可以看到它的痕迹。
如果要表示两数相减，他们就把这两个数字写得离开一些，例如“814”的意思就表示“81-4”。
后来，意大利数学家塔塔里亚用意大利文“piu”的第一个字母p表示相加，例如：7P4就表示7 4.古希腊数学家基奥芬特曾使用m表示相减。符号就是先由拉丁文“minus”缩写成。例如：9m5就表示9-5.
中世纪（公元四五世纪到15世纪后期），欧洲商业逐渐发达，一些商人常在装货的箱子上画一个字，表示重量略微超过一些；画一个字，表示重量略有不足。1489年，德国数学家魏德曼在他的著作中正式用这两个符号来表示加减运算。后来，又经过法国数学家韦达的大力宣传和提倡，这两个符号才开始普及，到1630年，终于获得公认。
至于“、÷”符号的使用，也不过300多年历史。据说，英国著名数学家威廉·奥特来德于1631年在他的著作中用表示乘法。但是，德国数学家莱布尼兹认为，符号与英文字母“X”很相似，所以曾反对使用，而赞成用表示相乘。但后来，人们还是把作为乘号沿用至今。在学习了用字母表示数后，也看做乘号，如3×ɑ可写成“3·ɑ”。
中世纪时，阿拉伯数学相当发达，出了一位大数学家阿尔·花拉子密，他曾用“3/4”或“3：4”表示3被4除。许多人认为，现在通用的分数记号即出于此。至于，曾在欧洲大陆流行很长时间，但一直作为减法的符号。到1630年，英国人约翰·比尔在他的著作中使用做除法的符号，人们推测他大概是根据阿拉伯人的除号与比的记号：合并而成的。
在我国，人们曾把单位乘法叫做“因”，单位除法叫做“归”，被乘数、被除数叫“实”，乘数、除数叫“法”，乘的结果叫“积”，除的结果叫“商”。
现在绝大多数国家的出版物中，都用、来表示加与减，而与的使用远没有、来得普遍。