При отборе офицеров в 100 тысячный рейхсвер, разрешенный Версальским договором, в расчет по указанию Носке принимались только военные заслуги на фронте и при подавлении внутренних беспорядков. Политическая ориентация никого не интересовала. Носке стремился держать рейхсвер вообще подальше от всякой политики. Он считал, что армия будет тем сильнее, чем меньше политических идей будет фигурировать при ее создании. Армия должна быть целиком в распоряжении государства. Этот тезис был оправдан тем, что с помощью своих аполитичных солдат Носке спас Германию от большевизма, подавил коммунистические мятежи и сохранил молодую Веймарскую республику.
После консолидации внутриполитической обстановки Канарис, переведенный в марте 1920 г. в новый ВМФ, снова оказался на рельсах нормальной военной службы с ее обычной переменой мест из штаба на корабль и обратно. В июле 1920 г. он был назначен первым заместителем начальника абверштелле Балтийского моря, чьей задачей было находить пути повышения возможностей немногочисленного германского флота в будущем вопреки требованиям Версаля. В середине 1923 г. Канариса откомандировали на должность первого помощника командира крейсера «Берлин», который впервые после 1918 г. должен был продемонстрировать германский флаг за рубежом. Судьба пожелала, чтобы среди его подчиненных оказался Рейнхард Гейдрих, ставший впоследствии шефом Главного Управления Имперской Безопасности (РСХА) и злейшим врагом Канариса. Хотя у Канариса была блестящая служебная характеристика, он вдруг решил, что ни физически, ни духовно не соответствует требованиям службы. Однако командующий ВМС Балтийского моря контр-адмирал фон Гагерн стал уговаривать его остаться и добился того, что Канарис забрал рапорт обратно.
Благожелательность старшего начальника благотворно подействовала на его душевное и физическое состояние. С мая по октябрь 1924 г. Канарис был направлен в Японию, где знакомился со строительством подводных лодок концерном «Кавасаки» по немецким проектам. Затем он стал референтом в штабе начальника управления ВМФ в министерстве рейхсвера. В этом качестве Канарису пришлось заниматься вопросами развития подводного флота, а в связи с ограничениями Версаля и строгим контролем за их исполнением эту задачу можно было решать только в нейтральных странах — Испании, Голландии и Финляндии. Это была секретная работа, но еще не тайная служба. Особой радости она ему не доставляла. Бумажная волокита была ему не по душе. Тем не менее это давало ему превосходные шансы для проявления своих разносторонних способностей. В характеристике от 1 ноября 1926 г. говорится: «Тонкое знание психологии и менталитета других народов и отличное владение иностранными языками позволяют Канарису умело общаться и ладить с иностранцами, быстро завоевывать их расположение. Получив задание, он не останавливается ни перед чем, ничуть не робеет, и нет таких запоров, через которые он бы не проник и не вышел на нужного ему человека, чтобы тут же оседлать его с детски наивным лицом».
В июне 1928 г. он снова был переведен на строевую службу первым помощником командира линкора «Шлезвиг», базировавшегося в Вильгельмсхафене, а уже в июле он получил звание капитана II ранга и вскоре стал начальником штаба военно-морской базы Северного моря. 1 октября 1932 г. он был произведен в капитаны I ранга и назначен командиром линкора «Шлезвиг». Листая его личное дело, часто видим весьма положительные характеристики. Например, в докладе по начальству контр-адмирала Бастиана, командующего линейными кораблями, говорится: «…рекомендуется использовать Канариса на тех должностях, где он смог бы полнее применить свои способности наблюдать и свой дипломатический талант, а также свои духовные свойства, но так, чтобы его скептицизм не передавался в повседневной жизни слишком большому кругу лиц». Командующий ВМФ вице-адмирал Фёрстер подчеркнул это место в докладе Бастиана и приписал к этому, что Канарис больше подходит для занятий в военно-политической сфере, нежели в чисто военной.
Тем не менее Канарис оставался командиром «Шлезвига» до 30 января 1933 г. Как и почти все высшие военные, он не сделал ничего, что могло способствовать приходу Гитлера к власти, но он не был и против этого. Из высказываний Гитлера он усвоил только возможность дальнейшего развития ВМФ. Перемены в Германии никак не отразились поначалу на его карьере. Правда, начальник управления ВМФ адмирал Редер с известным холодком относился к необычной личности, какой он считал Канариса. И того не слишком удивило, когда после окончания положенного срока командования кораблем Редер не нашел для него никакого дела. Последовавшее 29 сентября 1934 г. назначение Канариса комендантом военно-морской крепости Свинемюнде выглядело как конец карьеры. Однако неожиданно для него самого и многих его сослуживцев приказом, вступавшим в силу 1 января 1935 г., капитан I ранга Канарис был назначен начальником абвера. Он вряд ли стремился к этому посту после 30 лет службы на флоте, но ему издавна казалась заманчивой эта сфера, подчас соприкасавшаяся с его деятельностью. Когда капитан I ранга Патциг, передавая ему дела, заговорил о трудностях, чинимых абверу гестапо и СД, и назвал некоторых лиц, от которых надо ждать неприятностей, Канарис весьма самоуверенно заявил: «Ну, с этими молодчиками я живо расправлюсь!» На что Патциг заметил: «В далекой перспективе сегодняшний день станет началом вашего конца».
Канарис пришел в уже сработавшуюся и жестко управляемую организацию. Здесь все знали друг друга и держались заедино, понимая к тому же, что они делают «нечто сомнительное». Общий дух абвера тогда можно было назвать консервативным. Поэтому офицеры абвера поначалу совсем не радовались приходу Канариса, которого считали настроенным пронацистски. Конечно, вначале он приветствовал падение плохо функционировавшей парламентарной демократии Веймара и перестройку рейха в централизованное единое государство. Но он не мог не видеть и эксцессов СА, а также равнодушие Гитлера и его паладинов к вопросам чести и морали. По убеждению Канариса, «убийствами и пытками» правительство неспособно завоевать авторитет у народа. Только надежда на то, что президент Гинденбург создаст с помощью армии противовес дикости нацистского движения, позволяла ему на время заглушать свои тревоги.
Когда Канарис впервые собрал в Берлине начальников отделений абвера на местах, большинство его сотрудников встретили нового шефа весьма настороженно. Как поведал один из участников совещания, «в отличие от Патцига он выглядел неброско и даже несколько неряшливо — невысокий, уже сильно потрепанный жизнью моряк с седыми волосами, кустистыми бровями и усталыми глазами. Вступительное слово, явно выдержанное в нацистском духе, он зачитал по бумаге. Затем предложил высказываться собравшимся. У меня сложилось было впечатление, что мой доклад вызывает у него зевоту. Но он неожиданно стал задавать дельные вопросы, из чего следовало, что он внимательно слушает и полностью понимает сказанное. Он настоятельно рекомендовал сохранять добрые отношения с партией и тесное взаимодействие с гестапо, которое стало для нас исполнительной организацией для слежки, арестов и т. п., а также с только начинавшей складываться службой СД. Он не допускал при этом никаких сомнений в том, что мы, руководители отделений абвер-I и абвер-III, должны сохранять руководство в своих руках».
