指南针是我国古代劳动人民的四大发明之一，也是中华民族对世界文明作出的一项重大贡献。最初的指南针是用天然磁石制成的，样子像一只勺，底部光滑，可以在平滑的铜质或木质的“地盘”上自由旋转，等它静止下来，勺柄就会指向南方，人们管它叫“司南”。大约在北宋初期，我国古人又创制了一种新的指南工具——指南鱼。它是根据物理学上磁学原理研制而成。
指南针是磁铁做成的。磁铁能吸铁，通常称为“吸铁石”，古代称为“慈石”，因为它一碰到铁就吸住，好像一个慈祥的母亲吸引自己的孩子一样。后来，人们才称它为“磁石”。
每块磁铁两头都有不同的磁极，一头叫S（南）极，另一头叫N（北）极。我们居住的地球，也是一块天然的大磁体，在南北两头也有不同的磁极，靠近地球北极的是S极，靠近地球南极的是N极。我们知道，同性磁极相斥，异性磁极相吸，所以，不管在地球表面的什么地方，拿一根可以自由转动的磁针，它的N极总是指向北方，S极总是指向南方。
地球是个大磁体，随地理位置的不同，磁场的方向也是不同的。其地磁要素磁偏角因地而异，且一般不为零。个别地方磁偏角较大，致使磁针所指示的方向与地理南北方向完全不同。我国境内的磁偏角比较小，基本上在10°以内，东部西偏，西部东偏。为使用方便，各地都测出磁偏角的大小，在使用指南针时，首先根据该地磁偏角的大小，将测出的方向进行修正后得出该地的地理南北方向。这就是运用指南针来指示地理方向的原理。
春秋时代，人们已经能够将硬度5～7度的软玉和硬玉琢磨成各种形状的器具，因此也能将硬度只有5.5～6.5度的天然磁石制成司南。东汉时的王充在他的著作《论衡》中对司南的形状和用法做了明确的记录。司南是用整块天然磁石经过琢磨制成勺型，勺柄指南极，并使整个勺的重心恰好落到勺底的正中，勺置于光滑的地盘之中，地盘外方内圆，四周刻有干支四维，合成二十四向。这样的设计是古人认真观察了许多自然界有关磁的现象，积累了大量的知识和经验，经过长期的研究才完成的。司南的出现是人们对磁体指极性认识的实际应用。但司南也有许多缺陷，如天然磁体不易找到，在加工时容易因打击、受热而失磁。所以司南的磁性比较弱，而且它与地盘接触处要非常光滑，否则会因转动摩擦阻力过大，而难于旋转，无法达到预期的指南效果。而且司南有一定的体积和重量，携带很不方便，这可能是司南长期未得到广泛应用的主要原理。
《梦溪笔谈》是沈括（1031～1095年）所著的有关我国古代科学技术的著作，书中谈到磁学和指南针的一些问题。他在《梦溪笔谈》的补笔谈中谈到了摩擦法磁化时产生的各种现象：“以磁石摩针锋，则锐处常指南，亦有指北者，恐石性亦不……南北相反，理应有异，未深考耳。”意思是说，用磁石去摩擦缝衣针后，针锋有时指南，也有时指北。从现在的观点来看，磁石都有N和S两个极，磁化时缝衣针针锋的方位不同，则磁化后的指向也就不同。
要确定方向除了指南针之外，还需要有方位盘相配合。最初使用指南针时，可能没有固定的方位盘，随着测方位的需要，出现了磁针和方位盘一体的罗盘。罗盘有堪舆用的罗经盘和水罗盘、旱罗盘。方位盘仍是二十四向，但是盘式已经由方形演变成圆形。这样一来只要看一看磁针在方位盘上的位置，就能断定出方位来。南宋时，曾三异在《因话录》中记载了有关这方面的文献：“地螺或有子午正针，或用子午丙壬间缝针。”这是有关罗经盘最早的文献记载。文献中所说的“地螺”，就是地罗，也就是罗经盘。文献中已经把磁偏角的知识应用到罗盘上。这种罗盘不仅有子午针（确定地磁场南北极方向的磁针），还有子午丙壬间缝针（用日影确定的地理南北极方向）这两个方向之间的夹角，就是磁偏角。
现在人们已经知道，地球的两个磁极和地理的南北极只是接近，并不重合。磁针指向的是地球磁极而不是地理的南北极，这样磁针指的就不是正南、正北方向而略有偏差，这个角度就叫磁偏角。又因为地球近似球形，所以磁针指向磁极时必向下倾斜，和水平方向有一个夹角，这个夹角称为磁倾角。不同地点的磁偏角和磁倾角都不相同。北宋时，曾公亮在《武经总要》中谈到用地磁法制造指南针时，就注意利用了磁倾角。沈括在《梦溪笔谈》也谈到指南针不全指南，常微偏东，也指出了磁偏角的存在。磁偏角和磁倾角的发现使指南针的指向更加准确。