中国是世界上最早建立海军的国家。据史料记载，大约在3500年前，夏朝出兵攻打山东半岛上的一个小国，双方都有武士持戈驾舟迎战。到了公元前6世纪，中国就有了较完善的海军组织。当时的吴国在太湖里训练海军，他们把海军战舰划分为“大翼”、“小翼”、“突冒”等许多种类，分别担负进攻、驱逐、冲锋等任务。而那时的西方还根本没有海军，直到公元前483年，雅典才开始组建海军，比中国晚了1000多年。
我国最早记载海战的故事发生于公元前435年，当时吴国海军的军舰从海路进攻山东半岛的齐国，双方的军舰在黄海相遇，展开激烈战斗。结果是齐军大胜而归，吴军狼狈而逃。
在我国古代历史上建立最庞大海军力量的，要数三国时期的东吴。东吴的海军主力主要活动在长江流域，共有战舰500艘。他们的活动范围也非常大，曾航海北到朝鲜，南抵越南。
到了隋朝的时候，中国人民发明了一种叫做“五牙”的大型战舰，战舰上安装了6根木桅，顶上有一个巨石，运用杠杆原理，在战斗中与敌舰接近时，可以迅速把桅杆放下，砸坏敌舰。如果一次没击中，还可以迅速收起再放，如果敌舰四面包围，还可以让6根桅杆同时放下，一次就能击中6艘敌舰。
此外，中国还是世界上第一个在军舰上安装火炮的国家。早在11世纪初期，我国的军舰上就普遍安上了大炮、火箭等远距离大规模杀伤的火力武器，领先世界200多年。