1899年12月29日生于中国四川省江津县吴滩镇。1907年入私塾读书，6年后入小学读书。1917年7月毕业于江津县九如镇立高等小学，入江津县立中学（今江津中学）读书。1919年，因参加五四运动，支持当地学生爱国斗争，被迫离校。12月，怀着“工业救国”的愿望赴法国勤工俭学。1920年1月，到达法国，曾先后进蒙塔尔纪中学、德洛中学、胡乃尔中学就读，进蒙塔尔纪橡胶厂、克鲁邹钢铁厂等工厂做工。1921年，参加了“二八运动”、“拒款运动”、“争回里昂中国大学运动”等留法学生的爱国运动。1922年夏就读于比利时沙洛瓦大学化学工程系。开始学习马列主义，改变了“工业救国”的想法。8月参加旅欧中国少年共产党（后改称中国社会主义青年团旅欧支部），与刘伯坚一起负责过旅比利时支部工作。1923年春加入中国共产党，曾任旅欧社会主义青年团执行委员会委员、团的训练部副主任。1924年10月到苏联莫斯科，入东方劳动者共产主义大学学习。1925年2月，入苏联红军学校中国班学军事。1925年9月回国，任黄埔军校政治部秘书兼政治教官，党内职务为黄埔军校党团领导小组成员，并为中共广东区委军委成员。1926年“中山舰事件”后到广东区委做周恩来的助手。7月，北伐战争开始后任军委特派员，负责党的联络工作和向各军分配党员干部。10月10日，随北伐军进攻武昌。组建湖北省军委，任中共湖北省委军委书记，后在中共中央军事委员会参与向北伐军中派遣中共党员等工作。1927年“四一二”反革命政变后被派往上海，协助周恩来整顿遭受破坏的工人纠察队，处理善后工作。
1927年7月中旬，武汉国共分裂，被指定为中共前敌军委书记，赴九江准备组织武装起义，8月1日在南昌起义中组织张发奎部第二十五师两个多团起义，后任起义军第11军党代表，与军长叶挺率部南下。潮汕失败后，转赴香港。同年12月11日，参与领导广州起义。在起义军受挫的紧急情况下，与叶挺果断决定撤退，保存了部分革命武装力量。1928年1月，任中共广东省委军委书记，负责训练军事干部和指导两广各地的武装斗争。1930年1月，任中共顺直省委组织部部长，同年5月调上海，在中共中央特科和中央军委工作，1931年1月任中共中央军委参谋长。1931年4月，中央特科负责人顾顺章叛变，协助周恩来紧急搬迁了中央机关和负责人住址。12月，进入中央革命根据地，先后任中国工农红军总政治部副主任、第一军团政治委员。曾当选为中华苏维埃共和国中央执行委员。1932年3月，在“左”倾冒险主义的执行者要中央红军夺取赣江两岸城市时，他支持毛泽东关于红军主力向国民党统治薄弱的地区发展的意见。同年4月，作为红军东路军政治委员，参与指挥漳州战役。1932年冬以后，与军团长林彪率部参加第四、第五次反“围剿”，在战斗关键时刻到前沿指挥。长征开始后，在突破国民党军第三道封锁线时，坚决执行军委关于控制九峰山的命令，保障中央纵队左翼的安全。在1935年1月召开的遵义会议上，支持毛泽东的主张。过金沙江后，任中央红军先遣队政治委员，与司令员刘伯承一起，率部通过彝族聚居区，强渡大渡河。随后和林彪率第一军团翻雪山，过草地，攻占腊子口，打开前进道路。在第一方面军与第四方面军会合后，反对张国焘的分裂活动。到陕北后，率部参加直罗和东征、西征战役。1936年11月，参与指挥山城堡战役。抗日战争爆发后，任八路军第115师副师长、政治委员。与林彪一同指挥平型关战斗，歼灭日军坂垣师团一部一千余人，取得全国抗战开始后的第一个大胜利。
1937年11月，任晋察冀军区司令员兼政治委员，率领3000人的武装，在晋察冀三省边界地区创建了敌后第一个抗日根据地。
在根据地的建立、巩固与发展中，正确执行中共中央关于抗日战争的战略方针和各项政策，发动和组织人民群众，发展抗日武装，加强党和政权的建设，到1938年底，晋察冀边区发展到七十二个县，曾被中共六届六中全会主席团誉为模范抗日根据地。1939年冬指挥雁宿崖、黄土岭战斗。在黄土岭战斗中歼灭日军第二混成旅团一千五百余人，击毙被日军称为“名将之花”的阿部规秀中将旅团长。1940年春，率晋察冀南下支队到晋东南参加反击国民党顽固派朱怀冰部的作战。1940年8月，在百团大战中，组织指挥部队在正太、津浦、平汉、北宁等铁路线进行破击战。1941年秋，日军七万余人对北岳、平西地区大举“扫荡”时，指挥主力相继转至外线作战，同时率领党政军机关一万余人，在只有一个团的兵力掩护下，突出重围，粉碎了日军围歼晋察冀领导机关及主力部队的企图。1942年，在斗争极其残酷、根据地日益缩小的情况下，适时提出“向敌后之敌后挺进”的斗争方针，组建多支武装工作队，深入敌占区袭击和夺取日伪军力量薄弱的据点，扩大游击区。至1943年后，逐步挫败了日伪军频繁的“扫荡”、“蚕食”和“清剿”，扭转了困难局面。1943年秋回延安参加整风运动。1945年6月被选为中共第七届中央委员。8月11日起，部署晋察冀军区部队开展对日反攻作战。
解放战争时期，根据中共中央的战略意图，陆续抽调大量晋察冀部队和干部支援东北战场。1946年8月，组织大同、集宁战役，歼敌一万二千多人。10月，指挥保卫张家口战役，歼敌一万多人。1947年4月指挥正太战役，以大踏步进退的行动，集中优势兵力，击敌薄弱环节，歼国民党军三万五千余人，攻克正太铁路沿线七城及井陉等重要矿区，使晋察冀与晋冀鲁豫解放区连成一片。同年11月，在取得清风店战役胜利后，又组织晋察冀野战军乘胜发起石家庄战役，创攻克坚固设防大城市的范例。1948年5月任华北军区司令员。12月，以华北部队为主，先后解放新保安、张家口，歼敌七万三千多人。1949年1月，根据中共中央决定，与林彪、罗荣桓组成平津前线总前委，指挥平津战役。2月，兼任平津卫戍司令员，9月任北平市市长兼军管会主任。10月，任人民解放军副总参谋长。
1950年初，任人民解放军代总参谋长。协助中央军委领导人部署人民解放军继续解放西南地区、解放东南沿海岛屿、清剿国民党军残余武装和土匪。参与抗美援朝的组织工作。为人民解放军实行精简整编，组建各军种、兵种领导机构和军事院校，制订军事条令、条例做了大量工作。1953年2月，任全军军衔实施委员会主任。1954年任中央人民政府人民革命军事委员会副主席，分工主管军队武器装备和军工生产工作。1955年7月，任原子能事业三人领导小组成员。9月，被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。1956年11月任国务院副总理，主管科学技术工作。1958年6月，任中央科学小组组长。10月，兼任国防科学技术委员会主任。11月兼任中华人民共和国科学技术委员会主任。1959年任中共中央军委副主席，主管尖端武器的研制工作。领导科技攻关，组织全国大协作，仅用五年时间就研制成功多种导弹和原子弹，不久又研制成功氢弹，并在研制常规武器和民用科研项目方面取得显著成果。他在领导科学技术工作中，坚持贯彻群众路线和以自力更生为主、争取外援为辅的方针，重视和关心知识分子，调动和发挥科技人员的积极性和创造性，推动了科技事业的不断发展。在“文化大革命”中，他与林彪、江青反革命集团进行了坚决斗争。1969年夏，受毛泽东、周恩来委托，在陈毅主持下，与叶剑英、徐向前等一起，全面深入地研究了国际形势，为打开对外工作的新局面提出了战略性的意见和建议。1976年9月21日，向叶剑英提议，用断然措施解决“四人帮”的问题。10月6日，“四人帮”反革命集团被一举粉碎。他是中共第八届至第十二届中央委员，第八届（十一中全会补选）、第十一届和第十二届中央政治局委员，第四届、第五届全国人大常委会副委员长。1980年7月，开始撰写回忆录。8月，写信给中央，提出辞去人大常委会副委员长职务。1983年6月至1988年4月任中华人民共和国中央军事委员会副主席。1985年8月，写信给党中央，因年高体弱，请求退出中央委员会。1987年11月，在中共第十三次全国代表大会上辞去党内外一切职务。
1992年5月14日，聂荣臻在北京逝世。享年九十三岁。他是十位元帅中最后一位辞世的元帅。