1936年10月，叶若夫取代亚果达被任命为内务人民委员。他一上任就把他从中央带来的300多人分散到所属各分局和地方分局去担任副局长。对这种作法，政治局的解释是：“为了把内务部的工作提高到更高的水平。”
叶若夫刚上任的头几个月，同亚果达手下原来那些领导干部在工作上配合得还很不错。他们对叶若夫来讲暂时还是不可缺少的。第二次莫斯科审判正在紧锣密鼓准备之中，新进来的人还有个要学习和掌握侦讯业务的过程。
第二次莫斯科审判之后，大规模清洗内务部的行动便开始了。为了斩草除根，不仅消灭了那些确实了解内务部罪行的干部，而且还干掉了许多可能了解这些罪行的一般工作人员。当然，首先被逮捕的，是内务部的上层人物。
1937年3月的一个晚上，叶若夫召开了一个小型会议。出席会议的是亚果达时期的几个副人民委员和内务部几个主要分局的局长。主持人通知大家，中央委托他们分别前往各有关州市，考查当地党委会领导干部的政治表现。叶若夫详细介绍了这一任务的具体要求后，当场分发了中央委员会对他们的委任书，然后命令他们第二天奔赴指定地点。没有被分派这一任务的只有外事局局长斯卢茨基，边防军司令、斯大林私人卫队队长保克尔，莫斯科州内务局局长斯坦尼斯拉夫·列坚斯（他是斯大林的连襟）。
所有得到委任的人都按时从莫斯科出发了。但谁也没想到，他们乘坐的火车刚开到莫斯科郊外的第一个车站，他们就在各自的包厢里被秘密逮捕，押送监狱。两天以后，叶若夫又召集各主要分局的副局长，命令他们立即出发执行同样的任务。
这些领导人失踪的消息，直到几个星期之后才传到内务部其余工作人员的耳里。而这时叶若夫已经调换了内务部的卫队，撤换了莫斯科市各地的内务部队的指挥官。绝大多数新任命的指挥官是从外高加索内务分局抽调来的格鲁吉亚人。
为了防止人员外逃，叶若夫命令外事局停止发放出国证件，并把这一权限收归他的秘书处。他还撤销了内务部航空队原来的指挥官，杜绝内务部人员在绝望中乘飞机逃的可能。
为了预防万一，叶若夫在内务部大楼侧面构筑了工事，还为自己搞了一支庞大的卫队。每个想进入他的办公室的人，都得先乘电梯上5楼，然后沿一条长长的走廊走到另一个楼梯口，顺着梯子下到1楼，再穿过一条走廊，才能乘另一部电梯上到3楼，进入叶若夫的接待室。在这个迷宫中，来访者将三番五次地被卫兵检查证件。任何人都得受检查，无论内部人员还是来找叶若夫办事的外单位官员。
在完成了这些万无一失的准备工作之后，叶若夫便开始肆无忌惮地放手清洗内部人员了。凡是参加莫斯科审判工作的侦讯人员，以及其他知道或可能知道内务部上层阴谋的工作人员，几乎无一漏网地被投进了监狱。逮捕行动是分别进行的，白天在这些人的工作岗位上，夜里则是在他们的家中。逮捕切尔托克是在凌晨。当行动小组冲进他的卧室时，他高喊一声：“你们别想抓住我！”接着就跨上窗台，从12层楼上跳了下去，当场摔死了。
在第二次莫斯科审判的被告们被执行枪决的当天，就有一名参加过侦讯工作的内务部秘密政工局干部自杀了。传说，自杀者是由于“受到了良心的折磨”。
过了不到两个月时间，高尔基市内务分局局长波格列宾斯基也开枪自尽。在第一次莫斯科审判的准备过程中他曾亲自带人逮捕了该市马列主义学校的几名教师，还强迫他们承认曾企图在“五·一”游行时暗杀斯大林。
外事局干部费利克斯·古尔斯基荣获红旗勋章之后没过几天，也从9楼上的办公室跳窗身亡。效仿他的还有几位秘密政工局的工作人员。
当初，在准备莫斯科审判的全过程中，如果内务部的人能认真分析斯大林下达各项指令的全过程，他们肯定会推断出：斯大林最终还要消灭他们这批人，因为他们直接参与了消灭列宁的老布尔什维克们的阴谋活动，是不受斯大林欢迎的这些罪行的见证人。不仅如此，斯大林还要消灭那些曾经为这场审判闹剧出过力的小人物，因为他们一旦成为证人，就完全能够把斯大林消灭内务部首脑机关的计划暴露在光天化日之下。
当米罗诺夫把赖因霍尔德诽谤季诺维也夫和加米涅夫的供词交给斯大林时，斯大林就曾命令他在供词上作过补充：“季诺维也夫和加米涅夫认为，国家政治保安总局很可能已经掌握了他们组织策划反国家阴谋的情况。因此，他们认为在夺取政权后的首要任务是消灭一切可能留下的罪证。为此，他们将任命巴卡耶夫为国家政治保安总局主席，并建议授权他从肉体上消灭一切曾直接实施暗杀斯大林和基洛夫的人员，同时消灭那些了解犯罪预谋的国家政治保安总局的工作人员。”
内务部的工作人员应该十分清楚，季诺维也夫和加米涅夫根本就没有杀过什么人，也没有打算杀什么人。因此，看了斯大林要求在赖因霍尔德的供词中增加的这段话，他们应该得出一个结论：按照斯大林的逻辑，一切为夺取政权而不惜用暗杀来消灭政敌的政客，都必须不择手段地消灭自己犯罪的全部痕迹，包括毫不留情地干掉其暗杀指令的执行人。
内务部的头头们早就明白，导演审判闹剧的不是别人，正是斯大林本人。因此，他们应该意识到，斯大林在消灭自己的政敌之后，必将杀人灭口——干掉所有参与策划和了解莫斯科审判的知情人，包括内务部的领导和一般工作人员。