1949年9月21日至30日，新中国召开政协第一届全体会议，决定新中国的首都定在北平，并改名为北京。此时，党中央已作出调叶剑英南下的决定，叶剑英短暂的北平市市长任期就此结束。叶剑英的职务由聂荣臻接任，聂荣臻成为新中国成立后的第一任北京市市长。
叶剑英早在8月份就已确定调华南工作，根据毛泽东的指示，南下广东任华南分局书记兼广东省人民政府主席和广州市市长，9月初就前往江西赣州了。中央任命聂荣臻为北京市市长、北京市军管会主任时，他可谓身兼数职，同时担任中共华北局第三书记、中国人民解放军副总参谋长、华北军区司令员、平津卫戍区司令员。
1949年6月，中国人民政治协商会议筹备会议决定，10月1日在北京天安门广场举行开国大典，阅兵和群众游行是主要内容。8月，中央军委正式下达开国大典阅兵通知，并决定了参加阅兵的各个方队。可是，谁来担任这个“阅兵总指挥”呢？开国之初，人民解放军兵强将广，帅才众多，有多个人选能担此重任。毛泽东征求周恩来、刘少奇、朱德、任弼时等人意见，大家不约而同地说出同一个名字：聂荣臻。
为什么党中央要将开国大典阅兵总指挥的重任交给聂荣臻呢？
在开国十大元帅中，聂荣臻是在毛泽东身边工作时间较长的一位，他长期在毛泽东的直接领导下工作，毛泽东信任、器重他，尤其看重他“老实、厚道”的性格和勤勉、务实的工作作风。
在人民军队的征战史上，记录有3次极为重要的武装起义——南昌起义、广州起义和秋收起义。在这3次起义中，聂荣臻就亲身经历了南昌起义和广州起义的血雨腥风。
长征途中，聂荣臻出席了中共历史上具有重大转折意义的遵义会议。他在会上坚决支持毛泽东的正确意见。遵义会议后，聂荣臻在毛泽东指挥下，与林彪率部四渡赤水，巧渡金沙江，摆脱了敌重兵的围追堵截。
在决定红军长征最后落脚点的关键时刻，又是聂荣臻发挥了关键作用。聂荣臻率部作为先遣队，越过大草地，攻占腊子口之后，乘胜占领哈达铺，他命令侦察员去买些锅盔回来。锅盔就是当地人做的一种大烧饼，有脸盆那么大，吃着很香，也便于携带。侦察员把身上所有的钱都掏了出来，买了4个香喷喷的大锅盔，用一张国民党的《山西日报》包着就跑了回来。聂荣臻边吃锅盔边看报纸，发现上面载有一条阎锡山部队进攻陕北红军刘志丹部的消息，便抬起头来对林彪说，赶紧派通信员把这张报纸给毛主席送去，陕北还有一个根据地哩！这真是天大的喜讯！毛泽东根据这张《山西日报》上提供的消息，决定挺进陕北苏区，从而结束了历时一年、行程二万五千里的长征。
聂荣臻在中国革命的关键时刻，发挥了令人瞩目的关键作用。把他选做阅兵总指挥，可谓众望所归。
这位南征北战、戎马倥偬的武将，具有一种不寻常的将帅风范。即使在硝烟弥漫的峥嵘岁月里，他也一丝不苟地注意着自己的仪表，缀满补丁的旧军服整洁、干净，风纪扣扣得严严实实，神清气爽，儒将气质，武将雄风。他率领的部下无一例外地具有良好的军人素质。部队入城后，中南海的警卫战士一听见聂荣臻咳嗽，就赶紧下意识地整理军装。由于将帅的言传身教，以身作则，使得进入北平的人民解放军受到了市民的热烈拥戴和爱护，与先前国民党的队伍形成了截然不同的对比。因此，党中央将阅兵总指挥的重任交给聂荣臻，真可谓慧眼识英才。
毛泽东指示：“我们历来主张慎重初战，这次阅兵也是初战。开国第一次嘛，告诉同志们，一定要搞好，不许搞坏。”
毛泽东的指示更使聂荣臻感到肩上的责任重大。有着丰富作战经验的他，深知从前线打仗转到在直线加方块的操场上走队列，对于流血负伤、战功累累的指战员们来说，无疑是一次新的严峻考验。他说：“我们这支军队走过雪山草地，从金沙江到黑龙江，从长白山到南海边，英勇作战，一往无前，用鲜血和生命换来了今天的胜利。在这次阅兵中，我们一定要展示出这种精神风貌，让领袖和人民检阅一支军姿庄严、仪容威武的新型军队。”
他后来也在回忆录中说，建国前后他“很是忙了一段时间”。部队入城之后，聂荣臻首先抓了稳定华北的两件大事：一是迅速改编国民党军傅作义部20万起义部队，二是剿灭土匪，根除匪患。北平的社会治安状况，干系重大，影响极大。
在聂荣臻卓有成效的领导下，这两件大事进展顺利并大获全胜。仅仅半年时间，北平人民就第一次享受到了和平与太平的幸福。聂荣臻还没有喘口气，毛泽东又指名道姓，让他担任开国大典阅兵总指挥。
开国大典的安全工作十分重要。北平解放不久，城内潜伏特务难以一下肃清，而且国民党飞机还不断袭扰。1949年5月4日，国民党就从青岛派出6架B24型轰炸机轰炸南苑，投弹30枚，毁伤我飞机4架，房屋196间，死伤24人，因此聂荣臻一直十分重视防空问题。人民空军还未正式组建，军委航空局专门在南苑机场组建了一个飞行中队，担任北平防空。聂荣臻考虑很细，下令万一敌机前来，在场人员一定要原地不动，不能乱跑，听从指挥，对受阅的1000多匹战马也都作了安排。
这段时间，聂荣臻经历了他一生中最繁忙的时期。身兼数职的聂荣臻感到分身乏术。由于新中国成立在即，他只好把主要精力集中在开国大典上，集中在开国阅兵上。当他走上阅兵总指挥这个岗位时，距离开国大典只有50天时间。受阅部队的选调和编组、阅兵程序和训练等等，都还没有最后确定下来，都需要他亲自拍板，心里非常着急！他多次主持召开阅兵工作会议，听取受阅部队的情况汇报，陆军受阅部队陆续到位，分别集结于北平郊区北苑、丰台等地，进行受阅前的针对性训练，他还多次到先农坛、北苑、黄寺等受阅部队营地指导训练。天安门前的阅兵预演，他更是亲临现场指挥。
激动人心的时刻终于到了。1949年10月1日中午，聂荣臻匆匆吃了几口饭，就去检查受阅部队。林伯渠宣布典礼开始，军乐队高奏国歌，毛泽东庄严宣告：“中华人民共和国中央人民政府已于本日成立了！”
开国大典的重头戏拉开大幕，在聂荣臻总指挥的陪同下，朱德总司令检阅各兵种部队。看着受阅部队井然有序地通过天安门前，聂荣臻深深地吸了一口长气。在这万人欢腾的节日里，没有谁比他的心情更紧张了。现在，他终于胜利地完成了这个神圣而艰巨的任务，心里比刚刚打完一个大胜仗还要舒畅。但他没有留下来观看群众游行，而是回到庆王府寓所睡觉去了。这几个月来，他实在太累了！