В 1875 году он женился на дочери преподавателя музыки Анне Коммер. Первые двое их детей — оба мальчики — умерли в младенчестве; следующие двое — дочери Мария и Анка — росли и благоденствовали. Позднее Киллинг стал отцом еще двух сыновей.
К 1878 году он вернулся в свою старую школу, но на этот раз в качестве учителя. У него была большая нагрузка — около 36 учебных часов в неделю, но каким-то образом он находил время продолжать математические штудии (самым великим такое всегда удается). Он опубликовал ряд важных статей в ведущих журналах.
В 1882 году Вейерштрасс обеспечил для Киллинга должность профессора в Лицее Хозианум в Браунсберге, где Киллинг и провел последующие десять лет. В Браунсберге не было значительной математической традиции и не с кем было обсуждать свои исследования, но Киллингу, по-видимому, такие стимулы и не требовались. Ибо именно там он сделал одно из наиболее важных открытий во всей математике, принесшее ему изрядную долю разочарования.
Цель, которую он исходно перед собой ставил, была невероятно амбициозна: описать все возможные группы Ли. Лицей не приобретал журналы, в которых публиковался Ли, и Киллинг имел очень ограниченное представление о его работах, но в 1884 году независимо открыл роль алгебр Ли. Таким образом, Киллинг знал, что каждая группа Ли связана с алгеброй Ли, и быстро понял, что исследовать алгебры Ли должно быть проще, чем группы Ли, поэтому его задача свелась к классификации всех возможных алгебр Ли.
Эта задача оказалась безнадежно сложной — теперь мы знаем, что скорее всего у нее просто нет внятного ответа в том смысле, что нет простой конструкции, которая произвела бы все алгебры Ли в рамках единообразной и прозрачной процедуры. Поэтому Киллингу пришлось согласиться на нечто менее амбициозное: описать основные «кирпичики», из которых можно собрать все алгебры Ли. Это несколько похоже на желание описать все возможные архитектурные стили, но придерживаться при этом некоторого списка из допустимых форм и размеров кирпича.
Эти «кирпичики» известны как простые алгебры Ли. Они выделены свойствами, очень похожими на идею Галуа о простой группе — группе без нормальных подгрупп, не считая тривиальных. На самом деле простые группы Ли имеют простые алгебры Ли, и обратное тоже почти верно. Потрясающе, что Киллинг преуспел в перечислении всех возможных простых алгебр Ли. Математики называют подобные теоремы классификацией.
В глазах Киллинга эта классификация была предельной версией чего-то гораздо более общего, и его огорчал ряд ограничительных предположений, которые ему пришлось сделать, чтобы добиться хоть какого-то результата. Особенно ему докучала необходимость предполагать простоту, что заставило его перейти к алгебрам Ли над комплексными числами, а не над вещественными. Первые ведут себя лучше, но менее прямым образом связаны с геометрическими проблемами, владевшими воображением Киллинга. Из-за этих, им же наложенных, ограничений он не считал, что его работа заслуживает опубликования.
Ему удалось установить контакт с Ли, который, впрочем, оказался не слишком плодотворным. Сначала Киллинг написал Клейну, который свел его с помощником Ли Фридрихом Энгелем, в то время работавшим в Христиании. Киллинг и Энгель сразу нашли общий язык, и Энгель превратился в активного сторонника его деятельности, помог ему преодолеть некоторые сложности и призывал развивать свои идеи и дальше. Без Энгеля Киллинг мог бы и забросить это дело.
Сначала Киллинг полагал, что знает полный список простых алгебр Ли и что это алгебры so(n) и su(n), соответствующие двум бесконечным семействам групп Ли — специальным ортогональным группам SO(n), состоящим из всех вращений в п-мерном пространстве, и их аналогам SU(n) для комплексных п-мерных пространств, так называемых специальных унитарных групп. Историк Томас Хокинс представлял себе «изумление, с которым Энгель читал письмо Киллинга, содержащее эти смелые предположения. Какой-то малоизвестный профессор из Лицея, посвятившей себя образованию лиц духовного звания в глухом углу Восточной Пруссии, поддерживает общение с авторитетнейшими учеными и высказывает гипотезы о глубоких теоремах из разработанной Ли теории групп преобразований».
Летом 1886 года Киллинг посетил Лейпциг, где работали Ли и Энгель. К сожалению, между Ли и Киллингом возникли трения; Ли никогда не отдавал должного работам Киллинга и старался принизить их значимость.
Киллинг быстро обнаружил, что его исходное предположение о простых алгебрах Ли было неверным, ибо он открыл новую алгебру, которой соответствует группа Ли, известная сейчас как G. Ее размерность равнялась 14, и она, в отличие от специальных линейных и ортогональных алгебр Ли, судя по всему, не принадлежала к какому-либо бесконечному семейству. Она представляла собой одинокое исключение.
Если это казалось странным, то еще более странной была окончательная классификация, которую Киллинг получил зимой 1887 года. К двум бесконечным семействам Киллинг добавил третье — алгебры Ли sp(2n), соответствующие тому, что сейчас известно как симплектические группы Sp(2n). (В наше время ортогональные группы разбивают на два различных подсемейства в зависимости от того, действует ли группа на пространстве четной или нечетной размерности, что приводит к наличию четырех семейств; на то есть веские причины.) А исключительная группа G приобрела пятерых спутников: двух с размерностью 56, а также короткое семейство, быстро подходящее к концу, с размерностями 78, 133 и 248.