Крах империи не был для Канариса неожиданным. Но как и для всех офицеров, воспитанных в монархических традициях, 9 ноября было тяжелым потрясением. Будучи монархистом, Канарис до этого не придавал большого значения тому, какая форма государственного устройства предпочтительнее, но, когда в повестку дня встал вопрос остаться верным государству, т. е. теперь — социалистическому правительству республики, или «отойти в сторону» и приобрести гражданскую профессию, Канарис пошел по первому пути, решив и дальше служить пострадавшему отечеству. Летом 1919 г. Канарис перешел в личный штаб министра рейхсвера Веймарской республики Густава Носке, где занялся комплектованием и обустройством двух морских бригад.
Во всех перипетиях тех бурных дней Канарисом владело опасение, что рано или поздно коммунисты возьмут верх, и это отчасти объясняет, почему он в годы подъема нацизма приветствовал его антикоммунистическую составляющую. Но после того как Гитлер пришел к власти и использовал во вред предоставленные ему полномочия, Канарис стал все отчетливее усматривать в нацизме «зародыш национал-большевизма и даже определенный перелом в сторону коммунизма».
При отборе офицеров в 100 тысячный рейхсвер, разрешенный Версальским договором, в расчет по указанию Носке принимались только военные заслуги на фронте и при подавлении внутренних беспорядков. Политическая ориентация никого не интересовала. Носке стремился держать рейхсвер вообще подальше от всякой политики. Он считал, что армия будет тем сильнее, чем меньше политических идей будет фигурировать при ее создании. Армия должна быть целиком в распоряжении государства. Этот тезис был оправдан тем, что с помощью своих аполитичных солдат Носке спас Германию от большевизма, подавил коммунистические мятежи и сохранил молодую Веймарскую республику.
После консолидации внутриполитической обстановки Канарис, переведенный в марте 1920 г. в новый ВМФ, снова оказался на рельсах нормальной военной службы с ее обычной переменой мест из штаба на корабль и обратно. В июле 1920 г. он был назначен первым заместителем начальника абверштелле Балтийского моря, чьей задачей было находить пути повышения возможностей немногочисленного германского флота в будущем вопреки требованиям Версаля. В середине 1923 г. Канариса откомандировали на должность первого помощника командира крейсера «Берлин», который впервые после 1918 г. должен был продемонстрировать германский флаг за рубежом. Судьба пожелала, чтобы среди его подчиненных оказался Рейнхард Гейдрих, ставший впоследствии шефом Главного Управления Имперской Безопасности (РСХА) и злейшим врагом Канариса. Хотя у Канариса была блестящая служебная характеристика, он вдруг решил, что ни физически, ни духовно не соответствует требованиям службы. Однако командующий ВМС Балтийского моря контр-адмирал фон Гагерн стал уговаривать его остаться и добился того, что Канарис забрал рапорт обратно.
Благожелательность старшего начальника благотворно подействовала на его душевное и физическое состояние. С мая по октябрь 1924 г. Канарис был направлен в Японию, где знакомился со строительством подводных лодок концерном «Кавасаки» по немецким проектам. Затем он стал референтом в штабе начальника управления ВМФ в министерстве рейхсвера. В этом качестве Канарису пришлось заниматься вопросами развития подводного флота, а в связи с ограничениями Версаля и строгим контролем за их исполнением эту задачу можно было решать только в нейтральных странах — Испании, Голландии и Финляндии. Это была секретная работа, но еще не тайная служба. Особой радости она ему не доставляла. Бумажная волокита была ему не по душе. Тем не менее это давало ему превосходные шансы для проявления своих разносторонних способностей. В характеристике от 1 ноября 1926 г. говорится: «Тонкое знание психологии и менталитета других народов и отличное владение иностранными языками позволяют Канарису умело общаться и ладить с иностранцами, быстро завоевывать их расположение. Получив задание, он не останавливается ни перед чем, ничуть не робеет, и нет таких запоров, через которые он бы не проник и не вышел на нужного ему человека, чтобы тут же оседлать его с детски наивным лицом».
В июне 1928 г. он снова был переведен на строевую службу первым помощником командира линкора «Шлезвиг», базировавшегося в Вильгельмсхафене, а уже в июле он получил звание капитана II ранга и вскоре стал начальником штаба военно-морской базы Северного моря. 1 октября 1932 г. он был произведен в капитаны I ранга и назначен командиром линкора «Шлезвиг». Листая его личное дело, часто видим весьма положительные характеристики. Например, в докладе по начальству контр-адмирала Бастиана, командующего линейными кораблями, говорится: «…рекомендуется использовать Канариса на тех должностях, где он смог бы полнее применить свои способности наблюдать и свой дипломатический талант, а также свои духовные свойства, но так, чтобы его скептицизм не передавался в повседневной жизни слишком большому кругу лиц». Командующий ВМФ вице-адмирал Фёрстер подчеркнул это место в докладе Бастиана и приписал к этому, что Канарис больше подходит для занятий в военно-политической сфере, нежели в чисто военной.