指南针源于中国，是中国古代的四大发明之一。
春秋战国时期，中国人已开始用铁器制造农具。人们在寻找铁矿时，发现了磁铁，并知道了它们所具有的特殊性质。
战国时代（公元前475—前221年），人们利用磁铁制造了指示方向的工具——“司南”（即指南）。司南制成勺状，使用时把它放在一个光滑、水平的底盘中间，用手拨动它的柄，使其转动；当它停止时，勺柄就指向南方，勺口则指向北方。
公元10世纪时，又有人用钢针在磁铁上磨出磁针，这种经过磁化了的钢针就被正式叫做指南针了（由于磁针轴受地球磁极的影响，且地磁轴与地球自转轴有个11度多的交角，磁针所指示的南北方向实际上是地球磁极的南北方向）。自此以后，中国沿海一带的船只就开始使用指南针了。
随着文化交流的日趋频繁，往来于中国船只上的水手们，将指南针传到了世界各地。自12世纪始，欧洲开始自制指南针。这种指南针是一根安装在固定轴上的磁针，能在水平方向转动并指示磁子午线的方向。公元1250年前后，地中海地区所制造的指南针已经把磁针装在了有刻度的卡片上，并与中央旋轴保持平衡。1560年，意大利人卡尔达诺发明了新的磁针装置——利用一种所谓三环式悬挂法的装置，使磁针指示的方位更加精确，无论船舶多么摇摆颠簸，磁针都能准确地保持水平状态，这种装置叫罗盘仪，只适用于木船。时至今日，在有些轮船上，仍配备一个备用的传统式标准罗盘。
指南针因航海需要而发展起来，逐渐扩展到了航空、地质勘探以及探险等方面，对人类的社会发展起着重要的作用。