指南针原理简单，结构也不复杂，但如果你对它的“家世”稍感兴趣的话，就会发现许许多多的谜团。它的“始祖“究竟是谁？产生于何时？
最初样式如何？我们的祖先至迟在公元前3世纪已普遍地认识到磁的指南性和吸铁性了。那么究竟磁的吸铁性和指南性最早发现于何时呢？虽然有不少学者辛勤探究，但终因文献记载的缺乏和局限，而使它们成为数千年来争论不休的话题。由于磁体的吸铁性及指南性最早发现于何时还不能确切地断定，故如指南针这样的磁指南器最早产生于何时，也就自然而然不甚了之。
“司南”说
有人根据《韩非子·有度篇》“故先王立司南，以端朝夕”，认为战国时期就有了我国最早的磁指南器——司南，并依据《论衡·是应篇》“司南之杓，投之于地，其柢指南”考证说：司南是用天然磁石琢成勺形。它的勺底呈球状，将其南极磨成勺子的长柄，然后放在地盘上，盘的四周刻着“八干”（甲、乙、丙、庚、丁、辛、壬、癸），“十二支”（子、丑、寅、卯、辰、巳、午、未、申、酉、戍、亥），“四维”（乾、坤、巽、艮）二十四方位。盘子中央有直径5～10厘米磨得很光滑的地方用来放勺。使用时，将勺轻拨，使之转动。等勺停下来时，它的长柄便指向南方。
“指南鱼”说
但有些细心的学者根据上述史料反问道：不是说“先王立司南”吗？那么这“先王”到底是指何代的先王呢？这不可不谓是对“司南”说的挑战。天然磁石磁性不强，很难想象经琢磨震动后还能指南。同时，当时的人很难定出磁石的南北极。如不按南北极方向制勺，则勺纵有磁也不会指南。为什么要制成勺形，而不能制得更简单些呢？这就是“指南鱼”说的主要观点。此外，他们认为，除《韩非子》、《论衡》二书有“司南”的资料外，六朝以前的其他文献均无司南的记载，甚至还把司南与指南车混淆。他们认为目前发现的关于磁性指南仪器的最早明确记载是北宋曾公亮著的《武经总要》中的“指南鱼”。这是一种用薄铁叶剪成的6厘米长的鱼形物，通过焯火、磁化等手段而赋予磁性，“用时置水碗于无风处，平放鱼在水面令浮，其首常南向午也。”无论是“司南”说，还是“指南鱼”说，都各自言之有理。究竟孰是孰非呢？或者说还有没有第三种可能呢？这还有待于矢志于此的学者和读者，从浩瀚的文献中去发掘。另外，也有待于考古的新发现。