1949年1月31日，中国人民解放军第四野战军14兵团所属第41军，奉命首批从西城区西直门、德胜门、复兴门入城接管北平防务，千年古都北平宣告和平解放。2月1日，聂荣臻与林彪、罗荣桓一起进入北平，住进离天安门不远的北京饭店。为了庆祝北平和平解放，聂荣臻建议搞个入城仪式，向北平市民展示解放军的光辉形象和威武英姿，建议得到林彪、罗荣桓的赞同，并获中共中央批准。
根据聂荣臻的指示，入城仪式由平津前线司令部负责筹划，具体入城路线由第四野战军拟定。参加入城式的第四野战军14兵团41军，就是辽沈战役塔山阻击战中留下赫赫英名的英雄部队，第四野战军参谋长刘亚楼担任入城式总指挥。
按照预定计划，第41军的121师和特种兵6个团参加入城仪式。接到命令后，部队立即组织开赴南苑机场集中训练。当时社会治安形势复杂，为防止特务破坏，聂荣臻要求入城式的具体时间和地点都要严格保密。
2月3日，农历春节刚过，北平的天气很冷，呼啸的北风不时从楼宇间吹过。聂荣臻怀着喜悦而激动的心情，以平津卫戍区司令员的身份，和平津前线司令部司令员林彪、政治委员罗荣桓、中共北平市委书记彭真、北平市市长叶剑英等领导人一起，兴致勃勃地登上前门箭楼，检阅参加仪式的人民解放军入城部队。
上午10点，入城仪式正式开始。聂荣臻看到，英姿飒爽的人民解放军穿着整齐的军装，迈着矫健的步伐，从永定门入城，沿着北京古老的中轴线，向着前门大街一路走来。入城队伍以挂有毛泽东、朱德肖像的彩车为前导，各路方队以强大、威武的英姿向前门驶来。许多汽车上都插着鲜艳的红旗，在呼呼的北风中飒飒做响。行驶在前面的装甲车引领着车队一条线似地列队前进，过了珠市口就是前门大街，车队被欢迎的群众围了起来。学生们爬上装甲车贴标语，标语贴完了，就用笔在炮筒上写。最后，战士们的身上也被写上了标语：“庆祝北平解放！”“欢迎解放军！”“解放全中国！”全城200多万群众走上街头，夹道欢迎。人们挥动着彩旗，高呼口号，欢声笑语响彻北平上空。
参加入城仪式的当天，聂荣臻与薄一波联名签署了《平津卫戍司令部布告》。布告明确指出：一切反共、反人民、反民主的反革命党派，均属非法组织，要立即解散，停止一切活动；一切残余敌军、散兵游勇、土匪武装，应立即向警备司令部、公安局缴械投诚，收缴所有国民党政府文武官吏、保甲人员的枪支及其他民间枪支。布告还明确规定，严禁破坏工厂、仓库、公共建筑、交通设施以及抢劫、偷盗、放火、暗害、造谣等一切破坏活动。布告要求中国人民解放军全体军政人员，严格遵守人民政府法令，遵守三大纪律八项注意和有关的入城守则。