1936年10月，葉若夫取代亞果達被任命為內務人民委員。他一上任就把他從中央帶來的300多人分散到所屬各分局和地方分局去擔任副局長。對這種作法，政治局的解釋是：“為了把內務部的工作提高到更高的水平。”
葉若夫剛上任的頭幾個月，同亞果達手下原來那些領導幹部在工作上配合得還很不錯。他們對葉若夫來講暫時還是不可缺少的。第二次莫斯科審判正在緊鑼密鼓準備之中，新進來的人還有個要學習和掌握偵訊業務的過程。
第二次莫斯科審判之後，大規模清洗內務部的行動便開始了。為了斬草除根，不僅消滅了那些確實了解內務部罪行的幹部，而且還幹掉了許多可能了解這些罪行的一般工作人員。當然，首先被逮捕的，是內務部的上層人物。
1937年3月的一個晚上，葉若夫召開了一個小型會議。出席會議的是亞果達時期的幾個副人民委員和內務部幾個主要分局的局長。主持人通知大家，中央委托他們分別前往各有關州市，考查當地黨委會領導幹部的政治表現。葉若夫詳細介紹了這一任務的具體要求後，當場分發了中央委員會對他們的委任書，然後命令他們第二天奔赴指定地點。沒有被分派這一任務的隻有外事局局長斯盧茨基，邊防軍司令、斯大林私人衛隊隊長保克爾，莫斯科州內務局局長斯坦尼斯拉夫·列堅斯（他是斯大林的連襟）。
所有得到委任的人都按時從莫斯科出發了。但誰也沒想到，他們乘坐的火車剛開到莫斯科郊外的第一個車站，他們就在各自的包廂裏被秘密逮捕，押送監獄。兩天以後，葉若夫又召集各主要分局的副局長，命令他們立即出發執行同樣的任務。
這些領導人失蹤的消息，直到幾個星期之後才傳到內務部其餘工作人員的耳裏。而這時葉若夫已經調換了內務部的衛隊，撤換了莫斯科市各地的內務部隊的指揮官。絕大多數新任命的指揮官是從外高加索內務分局抽調來的格魯吉亞人。
為了防止人員外逃，葉若夫命令外事局停止發放出國證件，並把這一權限收歸他的秘書處。他還撤銷了內務部航空隊原來的指揮官，杜絕內務部人員在絕望中乘飛機逃的可能。
為了預防萬一，葉若夫在內務部大樓側麵構築了工事，還為自己搞了一支龐大的衛隊。每個想進入他的辦公室的人，都得先乘電梯上5樓，然後沿一條長長的走廊走到另一個樓梯口，順著梯子下到1樓，再穿過一條走廊，才能乘另一部電梯上到3樓，進入葉若夫的接待室。在這個迷宮中，來訪者將三番五次地被衛兵檢查證件。任何人都得受檢查，無論內部人員還是來找葉若夫辦事的外單位官員。
在完成了這些萬無一失的準備工作之後，葉若夫便開始肆無忌憚地放手清洗內部人員了。凡是參加莫斯科審判工作的偵訊人員，以及其他知道或可能知道內務部上層陰謀的工作人員，幾乎無一漏網地被投進了監獄。逮捕行動是分別進行的，白天在這些人的工作崗位上，夜裏則是在他們的家中。逮捕切爾托克是在淩晨。當行動小組衝進他的臥室時，他高喊一聲：“你們別想抓住我！”接著就跨上窗台，從12層樓上跳了下去，當場摔死了。