我国什么时候开始建有军队？这个问题一直没有定论。
史书记载中最早的说法是在上古的神农时期。唐代杜佑编撰的《通典》第148卷记载：“三皇无为天下以治，五帝行教兵是兴。所谓大刑用甲兵而陈诸原野。于是有补遂（有的书作斧遂，传说中的古代部落）之战，阪泉之师。”银雀山汉墓出土的《孙膑兵法》“见威王”一段中也有“神戎战斧遂”的记载。最近出现的《中国军事史·历代战争年表》也收录了这次战争，并根据南宋罗泌的《路史·后记三》改为“神农伐斧遂”。这些记载说明了在神农时期已建有军队，而且还因斧遂对神农不臣伏，神农领兵去讨伐，但许多同志认为神农伐斧遂是古代的传说，很可能是一次部落冲突（战争）。因为那时还没有阶级，没有国家。从当时的社会生产力看，似乎也不具备建立军队的条件。当然也不排除部落中有少数从事军事工作的人员。只是由于缺乏当时的文手记载，无法进一步考证。
另一种记载是：在原始社会末期，也就是公元前26至前22世纪黄帝时期。汉代司马迁撰写的《史记·五帝本纪》记载：“炎帝欲侵陵诸侯，诸侯咸归轩辕。轩辕乃修德振兵，……与炎帝战于阪泉之野。……蚩尤作乱，不用帝命，于是黄帝乃征师诸侯，与蚩尤战于涿鹿之野。”以上这段文字中“修德振兵”的兵字，指的就是军队。“征师诸侯”的师，指的也是军队。而是从诸侯那里征调来的。这段文字说明，不仅皇帝有军队，而且诸侯也有军队。明代编纂的《永乐大典》也把它收在8275卷中，但是大家认为《史记·五帝本纪》是根据先秦古籍中的有关传说编写的，虽然作者查阅了大量的先秦古籍，并进行了调查研究，扬弃了“神农伐斧遂”，仍难免有情况不确之处；所以现行的许多历史书上，在记述历史上的军队时，也没有吸收这一观点。
再有一种记载是：公元前21世纪，我国第一个奴隶主专政的王朝——夏朝的建立才建有军队。《尚书·甘誓》记述了夏帝启与有扈氏“大战于甘”。战前，召集了六军的统领——六卿，进行了动员。《史记·夏本纪》也有载：“有扈氏不服，启伐之，大战于甘。将战，作甘誓，乃召六卿申之。”现行的历史教材也都把夏朝作为奴隶社会的起点，奴隶主贵族为了统治奴隶阶级的平民，开始建立军队，制定刑法，修造监狱。《中国大百科全书·军事》也采用了这一说法。从国家学说的角度看，夏朝建有军队是不用怀疑的，夏朝的奴隶主贵族为了维护阶级统治，必然会建有军队。但是，也有的同志认为，夏朝的地下文物至今还尚未得到考古界确切的鉴定，夏朝的历史基本上也是依据古代的传说整理。如果仅是根据《尚书·甘誓》论证军队，那是不够的，因为这篇文章也还有争议，有的认为是后人依据传说的追记或假托，不能作为信史。
再有一种记载是：在公元前16至前12世纪殷代。从河南安阳殷墟出土的甲骨文中已有“口戈”（国）字，字意是用武力保卫人口，这个武力意味着是军队。甲骨文中还有“王乍三自右中左”的记载。“自”是师的简写，“乍”是作字，创立的意思。联起来是：王创立了以师为编制单位的右、中、左三支军队。甲骨文还记述了商代的军队，由徒兵和车兵组成，师是最大的、固定的编制单位，每个师约有10000人。军队使用铜制兵器，采用10进制编组，有百人团体和千人团体。车兵使用的战车，编有驾马两匹或四匹。车上有甲士三人，一人御车，一人持戈矛，一人操弓箭。车后跟随徒卒。从这些资料看，商代的军队无论在数量上、在组织装备上、作战方式上都达到了一定的水平。但是，事物总是有一个由低级向高级逐步发展的过程，而军队也不例外。那么，军队究竟建立在什么时候？看来还有待大家进一步探讨。