Не менее враждебен Ягоде был Ежов. Его избрали на роль партийного контролера за работой ОГПУ не случайно. Прежде всего, он был известен чрезвычайной дотошностью и невероятной работоспособностью. Трудолюбие Ежова приводило к тому, что у него несколько лет почти не было личной жизни: почти все свое время он проводил на работе. Близких друзей у него было всего трое: замнаркомзема Ф. Конар, замнаркомтяжпрома Г. Пятаков и Председатель правления Госбанка СССР Л. Марьясин (с Пятаковым Ежов впоследствии прекратил общение после пьяной ссоры, перешедшей в потасовку). Из них с Конаром Ежов проводил больше всего времени: по воспоминаниям секретарши Ежова Серафимы Рыжовой, тот запросто приходил в кабинет Ежова в любое время и проводил там по несколько часов.
В 1933 г. Сталин решил свалить ответственность за организованный им в стране чудовищный Голодомор, унесший жизни нескольких миллионов человек, на группу работников наркомзема, которых обвинили в «контрреволюционном вредительстве». 35 из них были расстреляны, еще 40 осуждены к длительным срокам лишения свободы. В списке казненных фамилия Конара стояла первой. Поскольку Ежов в прошлом тоже являлся заместителем наркомзема, а после ухода из наркомата по оперативным материалам проходил «близкой связью» Конара, Ягода вызывал его к себе на допрос и задавал весьма неприятные вопросы . Вероятно, Ягода предполагал возможность арестовать Ежова по этому делу, но не получил соответствующей санкции.
На XVII съезде партии в 1934 г. Ежова избрали членом ЦК. Одновременно он стал заместителем Кагановича по Комиссии партийного контроля при ЦК (этот орган был создан взамен ЦКК). Поручая теперь партийный надзор за Ягодой Ежову, Сталин и Каганович могли быть уверены, что тот не простит Ягоде ни малейшей оплошности.
Тем временем как у самих ягодовцев, так и у Сталина сложилось впечатление, что все попытки мирным путем отстранить эту группировку от руководства ОГПУ обречены на неудачу. Поэтому Сталин, как и всегда в подобных случаях, поспешил сменить тактику и внешне стал проявлять себя доброжелателем Ягоды и его выдвиженцев. После смерти Менжинского в 1934 г. Ягода официально возглавил НКВД. В 1935 г. Сталин ввел для работников НКВД специальные звания, руководители этого ведомства щеголяли в генеральских кителях и шинелях тонкого сукна с золотым шитьем, все окружение Ягоды щедро награждалось орденами и другими наградами. Частыми гостями сталинского кабинета стали не только сам Ягода, но также его первый заместитель Я. Агранов и даже начальники отделов: Миронов, Молчанов, Паукер. Агранов и Паукер в тот период являлись собутыльниками Сталина, он запросто приезжал к Агранову в гости на дачу в Зубалово , причем фамильярно называл его «Яней», а с Паукером охотно развлекался: тот был большой шутник и балагур, неистощимый на выдумки . Естественно, Ягоду и его чекистских Лепорелло это вполне устраивало, поскольку к большой политике они оставались в целом равнодушны. Их честолюбие вполне удовлетворялось благосклонностью вождя и самого Ягоды: в 30-е гг. Агранов, Молчанов, Миронов, Гай, Шанин и Паукер удостоились звания «Почетного чекиста» по два раза каждый, все (кроме Шанина) получили также по ордену Красного Знамени, Миронов, кроме того, еще и орден Красной Звезды, Агранов – два ордена Красного Знамени, а Паукер – два ордена Красного Знамени и орден Красной Звезды . Для первой половины 30-х гг., когда ордена и звания выдавались чрезвычайно скупо, а большинство орденов и званий сталинской эпохи еще не было даже учреждено, столь обильное награждение представителей одного ведомства, да еще в мирное время, выглядело беспрецедентно.
«Легкомыслие, проявляемое Ягодой в эти месяцы, доходило до смешного, – свидетельствует А. Фельдбин-Орлов. – Он увлекся переодеванием сотрудников НКВД в новую форму с золотыми и серебряными галунами и одновременно работал над уставом, регламентирующим правила поведения и этикета энкаведистов. Только что введя в своем ведомстве новую форму, он не успокоился на этом и решил ввести суперформу для высших чинов НКВД: белый габардиновый китель с золотым шитьем, голубые брюки и лакированные ботинки. Поскольку лакированная кожа в СССР не изготовлялась, Ягода приказал выписать ее из-за границы. Главным украшением этой суперформы должен был стать небольшой позолоченный кортик наподобие того, какой носили до революции офицеры военно-морского флота.
Ягода далее распорядился, чтобы смена энкаведистских караулов происходила на виду у публики, с помпой, под музыку, как это было принято в царской лейб-гвардии. Он интересовался уставами царских гвардейских полков и, подражая им, издал ряд совершенно дурацких приказов, относящихся к правилам поведения сотрудников и взаимоотношениям между подчиненными и вышестоящими. Люди, еще вчера находившиеся в товарищеских отношениях, теперь должны были вытягиваться друг перед другом, как механические солдатики. Щелканье каблуками, лихое отдавание чести, лаконичные и почтительные ответы на вопросы вышестоящих – вот что отныне почиталось за обязательные признаки образцового чекиста и коммуниста».