彭真担任北平市委书记后，从1948年底开始，接管北平的工作全面展开，工作效率非常高，受到了中外舆论的赞扬，就连国民党统治区的《新闻天地》也刊文说：“中共干部打稳中共未来首都的基础。接管是审慎、周到、仔细、严密的”，“几乎做到尽善尽美的程度”。叶剑英南下广东后，彭真继续加强接管北平的各项工作，维护社会稳定，恢复发展生产，为新中国首都北京的建设与发展奠定了坚实基础。
和平解放的北平，最初是一片战后的混乱。美国和国民党特务机关的活动非常猖狂，安排了大批间谍、特务潜伏下来，为他们配备了间谍工具和武器弹药，妄图伺机刺探情报，从事破坏活动。国民党特务机关曾专门派遣了一批行动特务潜入北平搞暗杀活动，解放前曾在北平市长何思源家安放炸弹炸伤何思源、炸死他小女儿的台湾“保密局”特务段云鹏，在解放初又被派回来，秘密策划暗杀郭沫若并且刺探到了周恩来的办公地点和毛泽东的座车牌号。在这个100万人口的都市里，败兵、难民四处流散，特务、土匪横行不法。经常发生敌特和匪徒埋地雷、打冷枪、抢劫、凶杀、投毒、放火、破坏等恶性案件，有时一天就发生几起大案。国民党潜伏特务、散兵游勇和土匪不甘心失败，到处搞破坏。不是这里放火，就是那里爆炸，北平的安全稳定面临严峻考验。
彭真指出，北平这座千年古都重新回到人民手中，我们必须在很短的时间内迅速打碎旧的国家机器，建立人民政权，恢复社会秩序，安定人民生活，给人民展示一个崭新的北京。
在彭真的具体领导下，市委常委会专门研究社会稳定工作。彭真提出当前首要任务是把敌情搞清，并具体提出了肃清反革命要“先武后文、先上后下”的方针，即先迅速抓捕搞行动破坏的武装特务和阴谋暴动的匪徒，先清理上层反动分子，“擒贼先擒王”。建国初期北京抓捕武装特务，影响最大的是美国间谍李安东案。
李安东是意大利人，效命于美国特务组织，他与日本人山口隆一秘密策划，企图在1950年国庆节庆典举行时炮轰天安门城楼，谋害我国家领导人。俩人经过密谋，草拟了具体行动计划，并上报到日本东京美国占领军总部。为此，山口隆一多次跑到天安门广场，测量了广场周围的地形，绘制了行动计划图，上面注明了炮击的目标和毛泽东检阅群众队伍时的位置。
在彭真和中共北京市委的领导下，北京市公安机关与有关部门密切配合，成功破获了这起特务间谍案件。1950年9月26日，正当北京大街小巷呈现出节日喜庆气氛之时，北京市公安局、北京市军管会采取果断行动，迅速擒获了李安东和山口隆一，并搜获了大量罪证。此时，距离新中国成立一周年仅有4天时间。
彭真获悉这一消息后，脸上露出了欣慰的笑容。
以此为契机，彭真指示公安机关打响摧毁美蒋潜伏特务组织的战役，在北京市委的领导下，市公安部门根据地下党和解放军派驻北平的地下情报人员所提供的名单展开大搜捕，两三个月内就破获重大潜伏特务案和阴谋武装暴动案10余起。北平市军管会发布限令特务分子悔过登记的布告，并颁布《北平市国民党特务人员申请悔过登记实施办法》，此举沉重打击了潜伏特务和间谍组织的嚣张气焰。
在肃清敌特、进行反动党团登记工作取得成绩的基础上，彭真遵照中共中央关于镇压反革命的指示精神，1950年10月开始部署大规模镇压反革命的运动。彭真坚决执行中央的重大战略决策，多次召开会议精心部署，经常听取工作汇报，并亲临一线视察，还召集各民主党派负责人及各界知名人士座谈会通报情况，征求意见。中山公园几次公审大会，彭真都亲自主持。从1950年10月至1952年底，北京市共逮捕反革命分子3506名，大张旗鼓地分4批集中处决了反革命分子940名。在彭真的领导下，这些案件都经过反复审讯定案，并由市各界人民代表协商委员会扩大会议和市、区各界人民代表扩大联席会议分组审议，最后报请市委审批。
由于北京市镇反成绩显著，毛泽东决定以北京为示范，指导全国的镇反运动。1951年5月党中央根据北京等地的镇反经验召开了全国第三次公安会议，彭真到会作报告介绍了北京的经验，毛泽东亲自为会议写了决议。