在很早以前，人们就探索研制能在水下行驶的船只。有确切记载，并得到人们公认的世界上第一艘能在水下航行的船只是由荷兰人C。德雷贝尔于1620年发明的。德雷贝尔是物理学家，他在英国制作了一艘木制框架、外包有皮革的小艇。艇峰外涂油，艇内有羊皮囊。向囊内注水，艇就下潜，可潜3－5米的深度。把囊内水排出艇外，艇就能浮上水面。艇身有桨孔，由12名水手划桨行进。这是世界上第一艘人力潜艇，也是现代潜艇的雏形，它曾在泰晤士河成功地潜航了两个小时。
1775年，美国独立战争爆发。美国人D。布什内尔建造了一艘由单人驾驶、以手摇螺旋桨为动力的木壳潜艇“海龟”号。它能在水下停留约30分钟。1776年，“海龟”号潜抵英国战舰“鹰”号舰体下，全力固定炸药炸毁它，但未能成功。这是使用潜艇袭击敌舰的首次尝试。
1863年，法国建造了“潜水员”号潜力艇，它以压缩空气瓶内的压缩空气来推动活塞式发动机作为动力，这是世界上第一艘机械动力潜艇。1881年，爱尔兰籍美国人约翰·霍兰建造了一艘安装有一台15马力汽油内燃机的“霍兰－II”型潜艇，这是世界上第一艘内燃机动力潜艇。这种潜艇还装备了鱼雷，曾在哈德逊河上成功地进行了试航。1884年，俄国工程师C。K。维捷斯基发明了使用蓄电池电动机的潜艇，艇上还装有潜望镜和空气再生系统。现代的常规动力潜艇在水面航行时使用内燃机，在水下航行时使用电动机，正是霍兰和维捷斯基等人的发明为现代潜艇的诞生提供了动力装置方面的物质条件。
一般认为，现代潜艇的诞生是从瑞典人诺德费尔特与英国人加莱德设计建造的“诺德费尔特－1”号开始的。这艘潜艇于1881年开始建造，1885年下水。它以蒸汽机为动力，当潜入水下时，锅炉熄火以剩余蒸汽作为动力。该艇还装有鱼雷发射装置。“诺德费尔特－1”号是当时比较大、也是比较成功的潜艇。
霍兰在“霍兰－II”型取得了成功后，又制造了更为先进的“霍兰－III”型。这种潜艇采用水面以汽油内燃机、水下以蓄电池为动力的双推进系统。该艇机动灵活，操作方便，并装有多枚鱼雷，攻击力强。后来的潜艇基本上都沿用霍兰的设计。1898年，美国海军订购了6艘“霍兰－III”型潜艇，并组建了世界上第一支潜艇部队。1897年，美国人S。莱克建成了第一艘双层壳体潜艇，在两层壳体间布置了可使潜艇下潜上浮的水柜。
20世纪初，潜艇已具有一定的作战能力，到第一次世界大战前，各主要海军国家共拥有260艘潜艇。这些潜艇大多采用柴油内燃机-电动机双推进系统和双层或部分双层壳体，航速和续航力都有了明显提高。第一次世界大战一开始，潜艇就投入海战。战争期间，潜艇共击沉舰艇192艘。潜艇在攻击海上运输船方面取得了更为显著的战果，仅被德国潜艇击沉的运输船就有1300余万吨。
第二次世界大战时，潜艇的战术技术性能又有了很大提高。活动范围几乎遍及各大洋。战争后期，潜艇装备了雷达和自导鱼雷，这使潜艇的攻击能力大为增强。德国潜艇还首先采用了荷兰人发明的通气管，大大增加了潜艇在水下的续航力和航速。
核动力潜艇（简称核潜艇）与常规动力潜艇相比，发动机功率和水下航速都大大提高了。更重要的是，核潜艇水下续航的时间和距离几乎不受限制，而普通潜艇在水下活动一段时间后就必须浮上水面。从这个意义上说，核潜艇才是真正的潜艇。
世界上第一艘核潜艇是由美国科学家海曼·里科弗积极倡议并研制和建造的。他被称为“核潜艇之父”。1947年，里科弗向美国海军和政府建议制造核动力潜艇。1951年，美国国会终于通过了制造第一艘核潜艇的决议。“鹦鹉螺”号核潜艇于1952年6月开工制造，1855年1月开始试航。到1957年4月止，“鹦鹉螺”号在没有补充燃料的情况下航行11万余千米，其中大部分时间是在水下航行。1958年8月，“鹦鹉螺”号从冰层下穿越北冰洋冰冠，从太平洋驶进大西洋，完成了常规动力潜艇所无法想象的壮举。此后，苏联、英国、法国和中国相继制造了本国的核潜艇。
战备导弹潜艇是用艇载核导弹对敌方陆上重要目标进行战备核袭击的潜艇。它大多是核动力的，主要武器是潜对地导弹，并装备有自卫用鱼雷。
潜对地战备导弹分弹道式和巡航式两类。美国从1947年开始研制“天狮星－I”型巡航潜地导弹，1951年在潜艇上发射成功，1955年正式装备潜艇部队，第一批战略导弹潜艇由此诞生。苏联于1955年9月首次用潜艇在水面发射一枚由陆基战术导弹改装的弹道导弹。1960年7月，美国“乔治·华盛顿”号核潜艇首次水下发射“北极星”A1潜地弹道导弹，这是世界上第一艘战备导弹核潜艇。1982年10月，中国用潜艇在水下向预定海域发射运载火箭获得成功。这说明中国拥有自己独立开发研制的潜地弹道式战备导弹和战备导弹潜艇。