Тем не менее Йена не оставлял мыслей о физике. Берлинский университет находился неподалеку, а кого там можно было увидеть, как не Планка и Эйнштейна вкупе с другими знаменитостями? Йена не преминул воспользоваться этой географической близостью и стал ходить на лекции бессмертных. Он закончил свою диссертацию об образовании и распаде молекул и, как и планировалось, начал работать на кожевенном заводе. Как и следовало ожидать, идея оказалась не слишком удачной. «Дела мои в дубильне шли не очень хорошо… Я чувствовал себя там не в своей тарелке… У меня не было ощущения, что это моя жизнь». Его жизнью были математика и физика.
В 1926 году с ним связался кристаллограф из Института Кайзера Вильгельма, которому требовался ассистент. Обязанности соединяли в себе в химическом контексте оба основных интереса Вигнера. Эта работа оказала огромное влияние на его карьеру, а тем самым и на развитие ядерной физики, поскольку познакомила Вигнера с теорией групп — математикой симметрии.
Первые существенные применения теории групп к физике состояли в классификации всех 230 возможных кристаллических структур. Вигнер писал: «Я получил письмо от кристаллографа, который хотел найти ответ на вопрос, почему положения, которые занимают атомы в кристаллической решетке, соответствуют осям симметрии. Кроме того, он сказал мне, что это должно иметь отношение к теории групп и что мне следует прочитать книгу по теории групп, а после этого найти ответ и сообщить ему».
Возможно, Антал Вигнер был в не меньшем ужасе, чем его сын, от сомнительных успехов последнего в области кожевенного дела, а потому позволил ему стать асситентом кристаллографа. Йена начал с чтения нескольких статей Гайзенберга по квантовой теории и развил теоретический метод вычисления спектра атома с тремя электронами. Он также понял, что этот метод может стать невероятно сложным, когда число электронов превысит три. В этот момент он обратился за советом к своему старому знакомому фон Нейману, который предложил ему почитать о теории представлений групп. Эта область математики в избытке содержала известные в то время алгебраические концепции и сложные методы, в особенности — матричную алгебру. Однако благодаря своим занятиям кристаллографией и близкому знакомству с основным на тот момент учебником по алгебре — Lehrbuch der Algebra Генриха Вебера — Вигнер преодолел матрицы без проблем.
Совет фон Неймана оказался очень хорош. Если атом обладает некоторым числом электронов, то, поскольку все электроны тождественны, атом «не знает», какой электрон какой. Другими словами, уравнения, описывающие излучение, испущенное данным атомом, должны быть симметричны относительно всех перестановок его электронов. Используя теорию групп, Вигнер разработал теорию спектра атомов с любым числом электронов.
До этого момента его работа шла в традиционном русле классической физики. Но все по-настоящему захватывающее творилось в квантовой теории. Тогда Вигнер и принялся за главный труд своей жизни — применение теории представлений групп к квантовой механике.
Занятно, что занимался он этим несмотря на свою новую работу, а не благодаря ей. Мэтр немецкой математики Давид Гильберт выказывал живой интерес к математическим принципам, лежащим в основе квантовой теории, и ему в работе требовался ассистент. В 1927 году Вигнер отправился в Геттинген и был принят там в возглавляемую Гильбертом исследовательскую группу. По идее, его роль должна была состоять в том, чтобы поддерживать связь с физикой, которая подпитывала бы обширные математические таланты Гильберта. На деле же получилось не совсем так, как задумывалось. Гильберт и Вигнер виделись за год всего пять раз. Гильберт был уже стар, утомлен и все более склонялся к уединению. Так что Вигнер вернулся в Берлин, прочитал лекции по квантовой механике и продолжил работу над своей самой знаменитой книгой «Теория групп и ее применения к квантовой механике атомных спектров».
Его частично предвосхитил Герман Вейль, также написавший книгу о группах в квантовой теории. Но основной интерес Вейля концентрировался на фундаментальных вопросах, тогда как целью Вигнера было решение конкретных физических задач. Вейль гнался за красотой, а Вигнер искал истину.
Подход Вигнера к теории групп можно понять в простом классическом контексте — на примере колебаний барабана. Музыкальные барабаны, как правило, округлые, но в принципе могут быть любой формы. При ударе палочкой мембрана барабана начинает вибрировать и создает звук. Барабаны различных форм производят различные звуки. Полоса частот, которые может создать данный барабан, называемая его спектром, сложным образом зависит от его формы. Если барабан симметричен, то можно ожидать, что симметрия появится и в его спектре. Она там и появляется, но довольно тонким образом.
Представим себе прямоугольный барабан — из числа тех, какие нечасто увидишь за пределами математических факультетов. Типичные колебания такого барабана разбивают его поверхность на некоторое число меньших прямоугольников, как, например, показано на рисунке.
На рисунке мы видим различные картины колебаний с двумя различными частотами. Это мгновенные снимки этих колебаний. Темные области смещены вниз, а светлые — вверх.