关于刺刀的诞生，欧洲有两种说法：一种是由一位不知名的法国人于1610年发明的；另一种说法是由法国军官马拉谢·戴·皮塞居于1640年发明的。但这两种说法都认为世界上第一把刺刀的诞生是法国小城巴荣纳（Bayonne），所以欧美把刺刀叫做“Bayonne”。
这种最早的刺刀为双刃直刀，长约1英尺，锥形木质刀柄也长约1英尺，可插入滑膛枪枪口。
不论皮塞居是不是第一把刺刀的发明人，他的确是最早用这种插塞式刺刀装备部队的人。1642年，已成为元帅的皮塞居在率军进攻比利时的伊普尔时，为手下的火枪手配备了刺刀，这样就无须再用长矛手来保护火枪手了。
但是，插塞式刺刀存在连接不牢、妨碍射击等缺点。法国军事工程师、陆军元帅德·沃邦于1688年又发明了用专门套管将刺刀固定在枪管外部的套管式刺刀。1703年11月15日，在德国西部的斯拜尔巴赫河会战中，法国步兵首次用刺刀冲锋，战胜了普鲁士军队。这以后，刺刀广泛装备了欧洲各主要国家的军队，长矛从士兵装备中被淘汰。
后来，各国军队对刺刀进行了许多改进和完善。20世纪50年代后，随着步枪的自动化和战场上各种火力密度的增加，刺刀的作用和地位日趋下降，但它仍是步兵进行面对面格斗所不可缺少的利器。