众所周知，人睡了一晚上，早晨起来，常常觉得口腔里不好受，甚至还有气味。这是因为，细菌把嵌在牙缝里的食物残屑发酵，产生出酸来腐蚀牙齿，口腔就不舒服，这时候，漱漱口或刷一下牙，除去食物残屑，就会觉得口腔里清新、舒适多了。
大概我们人类祖先也有这种感觉，因此早就有漱口、刷牙的习惯。在公元前3000年，苏美人乌尔城邦的国王墓穴中就曾发现过清理口腔用的最早工具——牙棒。2000~2500年前，希腊人、罗马人、希伯来人及佛教徒的早期著作中都有使用洁牙剂的记载。
早期用来清洗牙齿的主要是白垩土、动物骨粉、浮石甚至铜绿。18世纪，英国开始工业化生产牙粉，牙粉才作为一种商品。19世纪，人们也还在使用牛骨粉和乌贼骨粉制成牙粉。用食盐刷牙和盐水漱口至今在某些部落也还存在。
牙膏是在牙粉的基础上改进形成的。牙粉是用碳酸钙粉末掺进香料和薄荷配置而成的，刷牙时细腻、润滑而又适口。它能除垢洁齿，使人感到清凉爽口。
1840年，法国人发明了金属软管，为一些日常用品提供了合适的包装，这导致了一些商品形态的改革。1893年，维也纳人塞格发明了牙膏并将牙膏装入软管中。牙膏比牙粉前进了一大步，它质地细腻、润滑爽口，使用方便，泡沫多，去污能力强。从此，牙膏开始大量发展并逐渐取代牙粉。
19世纪40年代起，由于科技的迅速发展，牙膏工业也得到很大的改进，一方面是新的摩擦剂、保湿剂、增稠剂和表面活性剂的开发和应用，使牙膏产品质量不断升级换代；另一方面，牙膏还从普通的洁齿功能发展为添加药物成为防治牙病的口腔卫生用品，最突出的是加氟牙膏，使龋齿病发病率大大减少。1945年，美国在以焦磷酸钙为摩擦剂、焦磷酸锡为稳定剂的牙膏中添加氟化亚锡，研制出了世界上第一支加氟牙膏。
20世纪初，我国已有牙粉生产，那时著名的“无敌牌”牙粉，曾经风靡一时。20世纪20年代，我国开始了牙膏的生产，其中有一种上海出产的“三星牌”牙膏，算得上是我国牙膏的“元老”了。