鱼雷的前身是一种诞生于19世纪初的“撑杆雷”。所谓的撑杆雷是用一根长杆固定在小艇艇艏，海战时小艇冲向敌舰，用撑杆雷撞击爆炸敌舰。
1864年，奥匈帝国海军的卢庇乌斯舰长把发动机装在撑杆雷上，利用高压容器中的压缩空气推动发动机活塞工作，带动螺旋桨使雷体在水中航行攻击敌舰。但是由于艇速低、艇程短、控制不灵，卢庇乌斯的发明并没有投入使用。
曾参与上述研制工作的英国工程师罗伯特·怀特黑德，在1866年成功地研制出第一枚鱼雷。该鱼雷借鉴了卢庇乌斯的发明，用压缩空气发动机带动单螺旋桨推进，通过液压阀操纵鱼雷尾部的水平舵板控制鱼雷的艇行深度。当时，鱼雷的艇速仅为每小时11千米，射程为180～640米，但当时还没有控制鱼雷艇向的装置。因为其外形似鱼，因此被称为“鱼雷”，并根据怀特黑德的名字（意译为“白头”）而命名为“白头鱼雷”。
几乎与此同时，俄国发明家亚历山德·罗夫斯基也研制出了类似的鱼雷装置。1887年1月13日，俄国舰艇向60米外的土耳其“因蒂巴赫”号通信船发射鱼雷，并将其击沉，这也是海战史上第一次用鱼雷击沉敌方舰船。
1899年，奥匈帝国的海军制图员路德格·奥布里将陀螺仪安装在鱼雷上，并用它来控制鱼雷定向直航，制成了世界上第一枚控制方向的鱼雷，这也大大提高了鱼雷的命中精度。1904年，美国人布里斯发明用热力发动机代替压缩空气发动机的第一条热动力鱼雷（也称蒸汽瓦斯鱼雷），鱼雷的航速提高至约65千米/小时，航程达2.740千米。
第一次世界大战开始期间，由于鱼雷的出色表现，鱼雷已被公认为是仅次于火炮的舰艇主要武器。第一次世界大战时，被鱼雷击沉的运输船总吨位1153万吨，占被击沉运输船总吨位的89%；舰艇162艘，占被击沉舰艇总数的49%。第二次世界大战期间，被鱼雷击沉的运输船总吨位达1366万吨，占被击沉运输船总吨位的68%；舰艇达369艘，占被击沉舰艇总数的38.5%。
1938年，德国首先在潜舰上装备了无航迹电动鱼雷。它克服了热力鱼雷在航行中因排出气体形成航迹而容易被发现的缺点。1943年，德国最先研制出单平面被动式声自导鱼雷，它可接收舰艇的噪声自动引导鱼雷，从而提高了命中率。第二次世界大战末期，德国又发明了线导鱼雷，舰艇通过与鱼雷尾部连接的导线进行制导，这样，线导鱼雷就不容易被干扰了。
20世纪50年代中期，美国制成双平面主动式声自导鱼雷（又称反潜鱼雷）。它可在水中三维空间搜索，攻击潜航的潜艇。1960年，美国又首先研制出“阿斯罗克”火箭助飞鱼雷（又称反潜导弹）。它由火箭运载飞行至预定点入水自动搜索、跟踪和攻击潜艇。70年代后，鱼雷采用了微型电脑，改进了自导装置的功能，加强了抗干扰和识别目标的能力。鱼雷的航速已提高到90～100千米/小时，航程达46千米。
尽管由于反舰导弹的出现，鱼雷的地位有所下降。但它仍是海军的重要武器，特别是在攻击潜艇方面，鱼雷仍旧是最主要的攻击武器。
目前，世界各国都非常重视鱼雷的研究、改进和制造，目的是使鱼雷更轻便，进一步提高命中率、爆炸力和捕捉目标的能力。