古代人们在生产和生活时不可避免地会涉及有关物体质量的计量这一问题，由此产生了多种质量计量单位。例如中国商周时期的质量单位为“锊”和“钧”，一直沿用到战国时期。后来又流行“斤”和“镒”，此外还有“两”、“铢”等质量单位。秦始皇最早统一了各地的度量衡制度，规定1石等于4钧，1钧等于30斤，1斤等于16两。当时的1斤约合现在的0.256千克。
古埃及人用“格德特”作为质量单位，波斯人用“卡拉萨”、亚述人用“锡克尔”和“米纳”，后来被腓尼基人和希伯来人沿用，此后又传到希腊、罗马乃至南欧一些国家。英国人则习惯以磅、盎司、打兰、格令作为质量单位。
西方各国在进入工业革命时代以后，深感统一质量计量标准的重要性。1799年，法国科学院提议，根据当时采用的长度单位米推导出千克质量单位，定义为1dm3的纯水在4℃时（此时水的密度最大）的质量为千克（1kg）1kg的千分之一为1g，1g的千分之一为1mg。不久，在制作铂质米原器的同时，也制成了铂质千克基准原器砝码，保存在巴黎档案局里。
科学家发现，这个基准原器并不准确。1875年，法、德、美、俄等17个国家的代表在巴黎签订国际米制公约并成立国际计量局，用铂铱合金精心制成3个新的圆柱形千克原器砝码，直径和高度均为3.9cm，选定其中一个作为“国际千克原器”，保存在国际计量局的地下室，保持恒温，并用数层玻璃罩好，最外一层玻璃罩抽成半真空，以防空气和杂质与铂铱合金发生化学反应，影响千克原器的精度。随后又复制了40个千克原器的代用品，分发给各会员国作为国家基准。差不多每隔10年，都要对千克原器进行常规检定，以确保质量基准的可靠性。与此同时，英国仍坚持英尺和磅等作为度量衡标准单位，也用纯铂制成“磅原器”，保存在伦敦国家档案局里。
1971年，第14届国际计量大会决定采用米、千克、秒、安培、开尔文、摩尔和坎德拉作为国际公认的长度、质量、时间、电学、热学、化学和光学标准计量单位，也称基本单位。其他物理量的计量单位则可以通过它们与基本单位的关系来确定，被称为导出单位，例如力的单位牛顿和能量单位焦耳等。
2007年，科学家对保存在国际计量局的国际千克原器进行精确测量时，发现千克原器的质量正在逐渐减少，迄今已损失了12μg（微克）。虽然数量不大，但科学家认为这会对精密物理测量产生重大影响。因此有部分科学家们建议，不再使用人造量具来定义千克，而是把克定义为精确的1摩尔碳12质量的1/12，即18×14074481个碳12原子的质量。