我国古代劳动人民在实践的过程中，逐渐认识了磁石的性质并最早利用它制成指示方向的仪器。古人在开采铁矿的过程中，会遇到天然磁铁。古人把天然磁铁叫做磁石，它的主要成分是四氧化三铁。古书中最早记载磁石的是《管子·地数》篇，它说：“上有慈石者其下有铜金。”这里的“慈石”原意是指这种石头能像慈母一样吸引和爱护她的子女，也就是说它有吸引铁的性质。《吕氏春秋》中高诱曾注释道：
“石，铁之母也。以有慈石，故能引其子；石之不慈者，亦不能引也。”意思是说，铁矿石中会有铁，因为只有像慈母一样的矿石，才能吸引铁。如果矿石没有慈母一样的吸引力，就不能吸引铁。《山海经》中有更明确的记载：“慈石取铁，如慈母之招之。”显然，这种“慈石”正是我们现在所说的“磁石”。古人甚至传说秦始皇建造的阿房宫的北门就是用磁石造成的，如果有人携带铁制兵器进宫行刺的话，就会立刻被大门吸住。至于磁石指南的性质是什么时候被中国人所认识的，中国人又在什么时候利用磁石的这种性质，制成了指南针，现在我们还不能确切知道。
在《韩非子》一书中，有关于“司南”的记载，说战国时中国已有以天然磁石制成的磁勺——司南，用来指示方向。这是世界上最早的用磁石做成的指南仪器。又据《鬼谷子·谋篇》记载，战国时，郑国有人到远处山中采玉，为了不迷路，就在车子上装有司南，以帮助辨别方向。
“司南”和指南针一样吗？根据东汉时大哲学家王充在他的《论衡·是应篇》中对司南的形状和制法的详细记载，我们知道，“司南之杓，投之于地，其柢指南。”在这里，“杓”即“勺”，也就是像小勺子一样的形状，而不是通常所说的指南针的针形。
我们祖先亲手用过的司南我们现在当然已很难看到了。可是，我们在地底下曾经发掘到一些类似的东西。中国历史博物馆的王振铎先生就根据这些考古发现和王充的记述，把司南“复原”成模型。在这个模型中，最下面那方形的铜盘叫地盘，上面刻有许多文字，从里面第一圈数起，是甲、乙、丙、丁、庚、辛、壬、癸这八干(八天干)，还有三、三等八卦的字样，及十二地支(子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥)、四维(乾、坤、巽、艮)，表示二十四个方向，均匀地分布在地盘上，其中用子代表正北方，午代表正南方。地盘中间的圆形构成“天盘”，这里是用来放置“杓”的。“杓”本是古人的一种生活用具。当人们用磁石做成这种勺子时，它就成了能指南的工具了。杓是用天然磁石做成，为保护磁石的磁性，就不能用熔化铸造的方法，也不能剧烈震动。我们的祖先就用琢磨玉器的方法，把天然磁石轻轻地加以琢磨，以致成为勺的形状。这勺子的类似汤匙盛东西的那头放到天盘中间，勺子的长柄就自然指向南方。因为汤匙底部是圆的，放在平滑的铜面天盘上，可以使它很容易地灵活转动，直到勺柄指南。杓和地盘配合使用，就能确定南北方向。
这就是司南，“司”即操作、经营之义，因此“司南”
就能使你任何时候都知道南方在哪里。显然，上述结构的指南仪器制作起来确实相当费劲，指示精度也不准，而且受震动时几乎不能使用，因此不能广泛地应用到车马行驶和船舶上。这就为后世发展真正的指南针留下了广阔的余地。