Агранов сам невольно этому содействовал, неуемной активностью в борьбе с «врагами народа» затягивая петлю на собственной шее. По прибытии в Саратов он оказался в эпицентре отчаянной борьбы за власть двух местных группировок: одну возглавлял областной партийный босс А. Криницкий, другую уполномоченный КПК по Саратовской области А. Яковлев . Оба не покладая рук направляли в Москву взаимные доносы с обвинениями в политической слепоте, потакании троцкистам и прочих антипартийных грехах. Агранов, собаку съевший на подковерных интригах, опытным глазом сразу определил, что обе группировки обречены на гибель и попросту съедят друг друга (так в итоге и произошло). Ловким движением профессионального фальсификатора он нашел способ запрячь двух непримиримых врагов в одну упряжку, на которой он рассчитывал, вероятно, выехать из крутившейся вокруг него мясорубки. Для начала он «изобличил» второго секретаря обкома П. Липендина в том, что тот в 20-е гг. учился в Институте красной профессуры с некими троцкистами Рубаном и Пожидаевым «и не разоблачил их». Арестованный Липендин под соответствующим нажимом «признался» в том, что Криницкий и Яковлев поручили ему создать антисоветскую террористическую группу. Соответствующее сообщение полетело в Москву – и попало в руки Маленкова, который по прибытии в Саратов сразу же заговорил о виновности Агранова в укрывательстве антисоветской деятельности Криницкого и Яковлева.
Агранов, отчаянно пытаясь выкрутиться, пошел ва-банк: он поспешил направить Сталину письмо, в котором предлагал арестовать теперь уже Маленкова как «врага народа», а заодно с ним и вдову Ленина Крупскую, о которой Агранову было известно, что Сталин ею недоволен. Этот шаг на грани отчаяния оказался последним шагом в пропасть. Письмо Агранова ничего не изменило в ходе событий, разве что дополнительно озлобило Маленкова. 19 июля тот переслал в Москву доклад, в котором утверждал, что среди партийно-государственного руководства Саратовской области сложилась «серьезная правотроцкистская шпионская организация» во главе с первым секретарем Саратовского обкома членом ЦК Александром Криницким. Эта шпионская организация, по словам доклада, «остается до сих пор неразоблаченной и неизъятой… Агранов, видимо, и не стремился к этому… Сам аппарат Саратовского УНКВД до сих пор остается нерасчищенным от врагов… Агранов ничего в этом отношении не сделал. На основании этого считаем целесообразным Агранова сместить с должности и арестовать» .
На следующий же день Криницкий отозван в Москву, по прибытии сразу вызван в кабинет Маленкова в здании ЦК на Старой площади и при выходе из него арестован; Агранов в тот же день взят под стражу и возвращен на Лубянку, но уже в качестве секретного заключенного Внутренней тюрьмы (узники такого ранга содержались в ней под номерами и персоналу тюрьмы не полагалось знать, кто у них находится) . Попав в лапы своих бывших подчиненных, Агранов был обвинен в том, что состоял в заговоре вместе с Ягодой, Мироновым и Молчановым. Впереди его, как и упомянутых «сообщников», ждала неизбежная смертная казнь. Летом, в душной камере Внутренней тюрьмы, он находился всего в нескольких метрах от хорошо знакомых ему кабинетов Лубянки. Агабеков применительно к периоду, когда он возглавлял Восточный сектор ИНО в главном здании на Лубянке, описывает свой кабинет так: «Это была небольшая комната с одним окном, выходящим во внутренний двор. Из окна напротив виднелись тоже окна, которые, однако, были завешены высокими, смотрящими вверх, окрашенными в серый цвет щитами. Щиты не позволяли видеть, кто и что скрывается за этими окнами, но мы знали, что это камеры Внутренней тюрьмы ОГПУ, где содержались арестованные. Летом при открытом окне мы говорили очень громко, и, вероятно, арестованные слышали наши беседы, но это никого не беспокоило, ибо из Внутренней тюрьмы ведь редко кто выходил на свободу» .
По ночам Агранов из своей камеры мог слышать не менее впечатляющие звуки. Тех, кто подобно Агранову, весною и летом 1937 г. был этапирован в Москву из провинциальных тюрем, непривычно поражали слышавшиеся по ночам вопли истязаемых арестантов: вскоре ежовские методы следствия распространятся по всему СССР, и уже никого не будут удивлять, но тогда с непривычки это шокировало. Евгения Аксенова-Гинзбург, мать известного писателя Василия Аксенова и жена советского градоначальника (в терминах того времени председателя горисполкома) Казани, этапированная летом 1937 г. в один из московских следственных изоляторов, упоминает невозможность уснуть летом, когда окна были открыты для вентиляции, примерно между полуночью и тремя часами ночи из-за близости следственного корпуса: «Сейчас оно начнется. Неотвратимое, как смерть… Началось все сразу, без всякой подготовки, без какой-либо постепенности. Не один, а множество криков и стонов истязаемых людей ворвалось сразу в открытые окна камеры…
Над волной воплей пытаемых плыла волна криков и ругательств, изрыгаемых пытающими. Слов разобрать было нельзя, только изредка какофонию ужаса прорезывало короткое, как удар бича: «мать! мать! мать!» Третьим слоем в этой симфонии были стуки бросаемых стульев, удары кулаками по столам и еще что-то неуловимое, леденящее кровь.