Тем не менее Канарис оставался командиром «Шлезвига» до 30 января 1933 г. Как и почти все высшие военные, он не сделал ничего, что могло способствовать приходу Гитлера к власти, но он не был и против этого. Из высказываний Гитлера он усвоил только возможность дальнейшего развития ВМФ. Перемены в Германии никак не отразились поначалу на его карьере. Правда, начальник управления ВМФ адмирал Редер с известным холодком относился к необычной личности, какой он считал Канариса. И того не слишком удивило, когда после окончания положенного срока командования кораблем Редер не нашел для него никакого дела. Последовавшее 29 сентября 1934 г. назначение Канариса комендантом военно-морской крепости Свинемюнде выглядело как конец карьеры. Однако неожиданно для него самого и многих его сослуживцев приказом, вступавшим в силу 1 января 1935 г., капитан I ранга Канарис был назначен начальником абвера. Он вряд ли стремился к этому посту после 30 лет службы на флоте, но ему издавна казалась заманчивой эта сфера, подчас соприкасавшаяся с его деятельностью. Когда капитан I ранга Патциг, передавая ему дела, заговорил о трудностях, чинимых абверу гестапо и СД, и назвал некоторых лиц, от которых надо ждать неприятностей, Канарис весьма самоуверенно заявил: «Ну, с этими молодчиками я живо расправлюсь!» На что Патциг заметил: «В далекой перспективе сегодняшний день станет началом вашего конца».
Канарис пришел в уже сработавшуюся и жестко управляемую организацию. Здесь все знали друг друга и держались заедино, понимая к тому же, что они делают «нечто сомнительное». Общий дух абвера тогда можно было назвать консервативным. Поэтому офицеры абвера поначалу совсем не радовались приходу Канариса, которого считали настроенным пронацистски. Конечно, вначале он приветствовал падение плохо функционировавшей парламентарной демократии Веймара и перестройку рейха в централизованное единое государство. Но он не мог не видеть и эксцессов СА, а также равнодушие Гитлера и его паладинов к вопросам чести и морали. По убеждению Канариса, «убийствами и пытками» правительство неспособно завоевать авторитет у народа. Только надежда на то, что президент Гинденбург создаст с помощью армии противовес дикости нацистского движения, позволяла ему на время заглушать свои тревоги.
Когда Канарис впервые собрал в Берлине начальников отделений абвера на местах, большинство его сотрудников встретили нового шефа весьма настороженно. Как поведал один из участников совещания, «в отличие от Патцига он выглядел неброско и даже несколько неряшливо — невысокий, уже сильно потрепанный жизнью моряк с седыми волосами, кустистыми бровями и усталыми глазами. Вступительное слово, явно выдержанное в нацистском духе, он зачитал по бумаге. Затем предложил высказываться собравшимся. У меня сложилось было впечатление, что мой доклад вызывает у него зевоту. Но он неожиданно стал задавать дельные вопросы, из чего следовало, что он внимательно слушает и полностью понимает сказанное. Он настоятельно рекомендовал сохранять добрые отношения с партией и тесное взаимодействие с гестапо, которое стало для нас исполнительной организацией для слежки, арестов и т. п., а также с только начинавшей складываться службой СД. Он не допускал при этом никаких сомнений в том, что мы, руководители отделений абвер-I и абвер-III, должны сохранять руководство в своих руках».
Тем самым был обозначен общий курс. И чем больше видел Канарис методы нацистских фюреров, тем сильнее возникало в нем внутреннее отстранение от новых владык. Жестокое подавление якобы вот-вот грозившего начаться «путча Рёма» в июне 1934 г. и связанное с этим убийство генералов Шлейхера и Бредова, а также ряда «личных врагов» коричневых главарей наряду с растущим бойкотом евреев скоро привели Канариса к выводу, что Гитлер вовсе не думает о реформах по оздоровлению государства и о введении порядка, основанного на праве и законе. Весьма показательно в этом плане одно событие, имевшее место в декабре 1937 г. Канарис пригласил своего товарища-моряка Патцига (оба они тогда уже были адмиралами) на завтрак, чтобы обсудить некоторые серьезные вопросы с глазу на глаз. Он начал разговор с фразы: «Там наверху одни преступники!» На что Патциг вполне логично возразил: «Тогда вам больше нельзя руководить отделом. Подайте рапорт о переводе, и я как начальник отдела кадров позабочусь, чтобы вы получили соответствующую командную должность». Канарис раздумывал несколько секунд, потом подчеркнуто сказал: «Нет, я не могу это сделать. Тогда на мое место придет Гейдрих».
Ситуация уже тогда была для него далеко не радостной: опоры на друзей-моряков не оставалось, не было контакта и с адмиралом Редером. Большинство морских офицеров приняли сторону Гитлера, которому удалось в июне 1935 г. заключить соглашение по флоту и тем не менее упорно продолжать строительство германского ВМФ. Канарис же довольно быстро понял, что Гитлер мыслит исключительно в масштабах Европы и совершенно не понимает значения фактора «морской мощи». Неудивительно, что флотские товарищи не разделяли скептицизма Канариса и считали его «чужаком». Гросс-адмирал Дениц так объяснил это отношение моряков перед Нюрнбергским военным трибуналом: «Он был совершенно отличным от нас, и у нас о нем говорили: у него в одной груди семь душ».