公元前300年的战国末年，我们聪明的祖先已经发现了磁石具有吸铁的能力，并且已经开始大量开采使用磁石。
祖先利用磁石的特性，发明了“司南”，这是指南针的雏形。“司南”是把磁石磨成长柄的勺子形，放在一个分成24个方向的铜盘上，“勺子”底很滑，铜盘也很滑，使“勺子”旋转，停止时，勺柄指着的方向便是南方，勺头指的方向就是北方。这是指南针的鼻祖。
但是，天然磁石在强烈的震动和高温下，容易失去磁性，加上使用“司南”还需铜盘等许多辅助设备，很不方便。于是，我们的祖先又对“司南”进行了改造。到了11世纪后，人们又发现了铁在天然磁石上摩擦后，也可以产生磁力，而且比天然磁石稳定，于是便制作了人造磁铁。
后来，有人用人造磁铁制造了“指南鱼”、“指南人”等形状各异的用于辨别方向的指南器具。宋朝科学家沈括在他的著作《梦溪笔谈》中记载了几种“指南针”的构造，但这些“指南针”还存在缺点。后来，人们不断总结经验，对指南针进行改革。磁勺子由粗变细，逐渐改进成为一根针，磁针针尖指南，针尾指北，由此来确定方向，指南针便由此诞生了。后来，指南针的形状越来越完善，于是就出现了像今天我们所使用的指南针。
指南针为我们的生活带来了许多方便，使人们无论是在浩瀚无边的大海，还是在高深莫测的天空，都可以辨别方向，不至于迷路。在现代生活中，指南针有着广泛的用途，它主要用于航海、航空、军事、地质勘测等方面。