В связи с обнаружением на складе учебного лагеря «Майбах-II» в Цоссене запасов взрывчатки гестапо в конце августа предприняло тщательный обыск всех сейфов бывшего управления. При этом оно, конечно, наткнулось на обширные материалы из офиса Канариса, которые в 1942 г. по соображениям безопасности были помещены в сейф Прусского государственного банка. В связи с усилением угрозы в конце 1943 г. подполковник Хайнц переложил эти документы, бегло их просмотрев, в недоступный бункер «Цеппелин» на запасных квартирах ОКХ. Здесь, в особой заградзоне «Майбах-II», располагались во время войны управление общих дел ОКХ и несколько подразделений абвера. Подполковник Шрадер должен был еще раз их просмотреть и в случае серьезной опасности уничтожить.
Среди найденных в Цоссене материалов оказались записи, касавшиеся подготовки государственного переворота в 1938 г., установления контактов с Ватиканом с целью подготовки мирных переговоров с Англией, далее — обобщенный обзор обстановки после польской кампании, сделанный генерал-полковником Беком, рукопись карандашом о проведении переворота, написанная рукой Остера, дневник на 20 страницах, который Канарис вел в 1939 г. и где были записи о поездках на фронт с целью склонить командующих к участию в перевороте и, наконец, корреспонденция об усилиях пастора Бонхёффера, устанавливавшего связи для подготовки мирных переговоров после устранения Гитлера. Однако среди всех этих материалов не было пяти папок с дневниками Канариса.
Просмотр и оценка материалов впервые позволили увидеть связь между событиями 20 июля и давно действовавшим Сопротивлением. Подробно изучив документы, Хуппенкотен подготовил свое заключение на 160 страницах с приложением фотокопий некоторых материалов. Копии этого заключения получили Гиммлер, Кальтенбруннер и Мюллер. Разумеется, все это держалось в полном секрете. Гитлер оставил принятие всех решений строго за собой и приказал провести самое тщательное расследование всех обстоятельств и связей, чтобы точно установить виновность арестованных. О ходе расследования ему должны были докладывать постоянно.
В последующие месяцы расследование велось под личным наблюдением Хуппенкотена. Выяснилось, что круг причастных к заговору значительно шире, чем предполагалось. Бывший шеф абвера в ходе допросов, чувствуя свое духовное и душевное превосходство, вернул себе прежнюю твердость духа и поэтому мог легче переносить физические и моральные неудобства тюрьмы. К своему удивлению, он в дальнейшем, видя примитивность мышления гестаповской следственной машины, убедился в том, что до сих пор сильно преувеличивал интеллектуальные способности и деловые качества своих противников. Все РСХА уже давно бюрократизировалось сверх всяких мер и было наводнено многочисленными выдвинувшимися благодаря режиму «полицейскими фюрерами», являвшимися кем угодно, но не профессионалами. Начался 1945 г., а расследование под руководством Хуппенкотена все более затягивалось, чему немало способствовало ухудшение обстановки на фронтах. А это, в свою очередь, затрудняло поиск улик не только за рубежом, но и на постоянно сокращавшейся территории, подвластной рейху.
Так проходили недели и месяцы в страшных и мрачных подвалах здания на Принц-Альбрехтштрассе. Канарис сидел в камере № 16, фон Пфульштайн — в камере № 13. Доктор Йозеф Мюллер, один из немногих оставшихся в живых, рассказывал, что имел с Канарисом короткий разговор о ходе учиненного РСХА «расследования». Это случилось, как рассказывал автору сам доктор Мюллер, «между 2 февраля, когда во время налета вражеской авиации были серьезно повреждены бункер и часть тюрьмы, и нашим переездом 7 февраля 1945 г. В общем разговор должен был происходить 5 или 6 февраля, когда один из надзирателей потребовал, чтобы мы с Канарисом и Гере вымели коридор, замусоренный в результате бомбежки. Когда мы прибирались, надзиратель сказал, обращаясь к Канарису: «Эй, ты, матросик! Ты, наверно, никогда не думал, что тебя однажды заставят драить коридор?».
За время долгого ареста в душе Канариса окончательно утвердились все те страхи, жуткие опасения и кошмарные представления о крахе этой системы, достойной только проклятий. Он всегда предчувствовал, что Гитлер приведет рейх к полному уничтожению, к погружению в ад. Так почему же этот умный человек не обеспечил себе своевременного побега за рубеж, где у него было столько надежных связей? Ответ лежит на поверхности. Вспомним об Ульрихе фон Хасселе, который сразу после неудачного покушения отправился в свою берлинскую квартиру и спокойно дожидался сыщиков гестапо, сидя гордо за своим письменным столом. В жизни, нацеленной на исполнение какого-то обета, есть такие моменты, и именно они в конечном счете определяют цену жертвы.
7 февраля 1945 г. арестованные, обвинявшиеся в причастности к событиям 20 июля, были вывезены из Берлина. По неизвестной причине, они были сведены в две группы, одну из которых, включавшую Канариса, Остера и Штрюнка, доставили в концентрационный лагерь Флоссенбург, а вторую, в которой были доктор Йозеф Мюллер, Лидиг и другие, сначала отвезли в Бухенвальд. Этот перевод заключенных диктовало близящееся к катастрофе положение на фронтах, и, конечно, никаких надежд арестованным это не давало.