Накануне рождения Transformer: почему восемь исследователей Google осмелились полностью отказаться от рекуррентных нейронных сетей?

Автор: Robonaissance

Адаптация: TechFlow

Введение TechFlow: До 2017 года все считали, что рекуррентные нейронные сети являются обязательными для машинного перевода, а механизмы внимания — лишь вспомогательным инструментом. Восемь исследователей из Google сделали ставку на радикальную идею: выбросить костыль и оставить только внимание. Теоретическим фундаментом этой крупной ставки стала цитата Уильяма Джеймса, написанная в 1890 году в его работе «Принципы психологии».

В 1985 году Джеффри Моран и Роберт Десимон ввели микроэлектрод в зрительную кору макаки и стали ждать.

Эту обезьяну приучили выполнять простую и странную задачу. В пределах рецептивного поля единичного нейрона предъявлялись два стимула: один размещался в точке, на которую животному указали сосредоточиться, а другой — там, где требовалось его игнорировать. Эта клетка регистрировала оба стимула. Вопрос заключался в том, замечала ли она разницу.

Она действительно обращает на это внимание. Когда обезьяна фокусировалась на одном из двух стимулов, реакция нейронов в области V4 примерно соответствовала ситуации, когда второй стимул вообще отсутствует. Реакция на ненаблюдаемый объект, по словам авторов исследования, была существенно подавлена. Клетки первичной зрительной коры такого поведения не проявляли. Внимание — это не метафора того, о чём думает животное. Это измеряемое событие на уровне отдельной клетки, механизм которого основан на вычитании. Мозг не усиливает важное. Он приглушает всё остальное.

За 95 лет до этого, без микроэлектродов и без обезьян, Уильям Джеймс сказал то же самое, используя ту же логику. В одиннадцатой главе «Принципов психологии» он написал, что каждый знает, что такое внимание, но всё же предложил своё определение: разум захватывает один объект из числа нескольких возможных одновременно. Затем идёт важнейшее предложение. Джеймс писал, что внимание означает уход от некоторых вещей ради эффективной обработки других.

Уход. Не усиление. Самые древние определения в этой области и первые записи с одиночных клеток сходятся во мнении: внимание — это то, от чего вы отказываетесь (вычитаете).

Запомните эту мысль. Примерно через две тысячи слов она вернётся, облачённая в другую символику.

Цена, которую все согласны платить

К 2016 году машинный перевод устоялся. Вы берёте предложение, пропускаете его через рекуррентную нейронную сеть слово за словом, накапливаете скрытое состояние, чтобы сохранить всё увиденное на данный момент, а затем используете это состояние для пошаговой генерации перевода на другом конце цепи. Доминирующими вариантами были LSTM и GRU. Они работали хорошо. Google уже перевёл их в продуктивную фазу.

У этой архитектуры есть особенность, которую постоянно обсуждали в индустрии, но перестали считать проблемой. Рекуррентные модели вычисляют скрытое состояние в позиции t как функцию скрытого состояния в позиции t−1. Это не деталь реализации. Это основа архитектуры. Позиция пять должна ждать позиции четыре, позиция четыре должна ждать позиции три.

Статья Transformer формулирует последствия с необычной прямотой для раздела, который обычно следует держаться этикета. Авторы пишут, что эта врождённая последовательная природа исключает параллелизацию внутри обучающей выборки, и проблема становится критической при увеличении длины последовательности, поскольку объём памяти ограничивает количество образцов, которые можно обработать батчами для компенсации.

Подумайте, что это значит, когда аппаратное обеспечение в комнате — это GPU. Графический процессор — это машина, которая делает тысячи вещей одновременно. Рекуррентная сеть — это машина, делающая вещи по очереди. Запускать первую на второй равносильно найму оркестра, которому дают партитуру для скрипки-солости. Все собрались. Большинство ждёт.

Индустрия это знала. Были способы исправления. Статья ссылается на техники факторизации и условные вычисления, обе повысили эффективность, одна из них — также качество. Затем она приводит ключевую фразу, определившую дальнейшее развитие событий: тем не менее, фундаментальные ограничения последовательных вычислений сохраняются.

Так выглядит ситуация, когда целая область заложена стоимость в свою картину мира. Никто не считал, что рекуррентность бесплатна. Все считали её необходимой.

Пришествие внимания как помощника

Внимание вошло в машинный перевод в 2014 году, выступая в роли заплатки.

Исправляемая им проблема была конкретной и заслуживает точного описания, так как форма этого первого исправления определила, как область будет думать о внимании следующие три года. В существовавших тогда моделях «кодировщик-декодировщик» кодировщик читал всё исходное предложение и сжимал его в один вектор фиксированной длины. Декодировщик затем генерировал перевод исключительно на основе этого вектора. Каждое слово предложения длиной в сорок слов должно было сохраняться в массиве чисел, размер которого не менялся независимо от длины предложения.

Дзмитрий Баданау из Университета Якоба в Бремене, работавший совместно с Кюнхином Чо и Ёшуей Бенджио из Монреаля, назвал это узким местом. Их предложение заключалось в прекращении принудительного сжатия. Кодировщик должен был сохранять состояние для каждой входной позиции, а декодер на каждом шаге вывода рассчитывал набор весов для всех этих состояний и брал взвешенную сумму. Модель училась смотреть туда, куда нужно. Их заголовок чётко описывал возникающую способность: Нейронный машинный перевод через совместное обучение выравниванию и переводу. Выравнивание, которое статистические системы перевода ранее требовали ручной сборки для аппроксимации, здесь спонтанно формировалось как побочный продукт обучения.

Механизм сработал и быстро распространился. Год спустя Минь-Тханг Лuong, Хьеу Фам и Кристофер Минн опубликовали серию улучшений, сделавших его дешевле и универсальнее. К 2016 году внимание стало стандартом де-факто практически в любой конкурентоспособной системе перевода.

И в каждой такой системе оно располагалось поверх рекуррентной сети.

Эта деталь станет поворотным моментом всей истории, на которую статья Transformer указывает одной фразой во введении. Авторы отмечают, что механизмы внимания стали неотъемлемой частью моделирования последовательностей, позволяя моделировать зависимости вне зависимости от расстояния. Однако во всех случаях, кроме редких исключений, эти механизмы сочетались с рекуррентными сетями.

Прочитайте ещё раз, обратив внимание на то, чего здесь *не* сказано. Тут не говорится, что внимание недооценено. Сказывается: три года область владела механизмом, напрямую связывающим любые две позиции за один шаг, независимо от их удалённости, но привязала его к архитектуре, которая принципиально не способна это обеспечить. Внимание — пассажир. Рекуррентность — автомобиль. Никто не спросил, тянет ли эта машина нагрузку.

Человек, задавший вопрос

Почти никто, в любом случае.

Якоб Ушкорейт изначально не планировал заниматься языками. Он оказался в этой сфере случайно. Его отец, Ханс Ушкорейт, был лингвистом-вычислителем; будучи подростком, он провёл пятнадцать месяцев в тюрьме Восточной Германии за протест против вторжения советских войск в Чехословакию. После освобождения он бежал на Запад, изучал информатику и лингвистику в Берлине, в итоге нашёл дорогу в лабораторию искусственного интеллекта в Менло-Парке, где родился его сын. Вся семья вернулась в Германию. Якоб поступил там в университет, прошёл стажировку в офисе Google в Маунтин-Вью и попал в группу перевода. Он описывал это как окончательный выход в семейный бизнес. Докторскую степень он так и не защитил.

В 2012 году он присоединился к команде Google над созданием системы, способной напрямую отвечать на вопросы на странице поиска. Apple недавно выпустила Siri, и руководство Google сочло это экстренной ситуацией. Как мы знаем сейчас, эта паника была необоснованной. Но ресурсы были брошены на команду, занятую созданием машины, способной вести подобный диалог, и именно здесь Ушкорейт уперся в стену.

Рекуррентные сети, даже с добавлением долгосрочной краткосрочной памяти (LSTM), не могли связывать длинные фрагменты текста. Классический пример предложения, где раннее утверждение определяет смысл поздней фразы, требует, чтобы модель, двигаясь слева направо, всё ещё хранила ранний факт при достижении позднего фрагмента. LSTM позволили расширить такой диапазон по сравнению с обычными рекуррентными сетями. Однако они не заработали в масштабах, которых хотел достичь Ушкорейт. Его оценка инструментов области того времени заключалась в том, что применяемые им методы, если говорить его словами, «по сути являлись пластырями».

Примерно в 2014 году он начал разрабатывать альтернативу под названием «собственное внимание»: позволять модели переводить слово, непосредственно ссылаясь на любые другие части абзаца, взвешивая каждую часть в зависимости от того, насколько она проясняет текущее слово. Его волновало два момента. Первый: возможно, это просто работает лучше. Второй, менее очевидный, но оказавшийся важнее: собственное внимание просматривает множество входов одновременно, а не последовательно, что означает полное соответствие формы его вычислений чипам параллельной обработки, массово выпускавшимся в период бума машинного обучения. Механизм и оборудование были созданы друг для друга. Никто ранее так не проектировал.

Реакция была прохладной. Отказ от рекуррентности означал сброс архитектуры, которую вся область оттачивала годами, и, по словам Ушкорейта, люди отнеслись к этому предложению скептически, слегка подняв брови. Среди скептиков оказался его отец; согласно его же описанию, у них с отцом на кухне не всегда сходилось во взглядах.

Он убедил нескольких коллег провести эксперименты, несмотря ни на что. Результаты оказались достаточно перспективными для публикации в 2016 году в малом масштабе с использованием коротких текстовых фрагментов. Авторами статьи стали Анкур Парикх, Оскар Текстром, Дипанджан Дас и Якоб Ушкорейт под названием «Декомпозиционный механизм внимания», опубликованной на конференции EMNLP 2016. Она выполняла логический вывод в естественном языке исключительно на базе внимания, полностью избегая рекуррентности.

Затем его коллеги пошли дальше. Технология оказалась достаточно хорошей для внедрения, поэтому они развернули её повсюду в Google Search и в рекламе. По любым меркам это был успех. Ушкорейт остался единственным, кто увидел в маленьком эксперименте намёк на большой потенциал.

Поэтому, когда ровно через год вышла статья «Attention Is All You Need», во введении которой признавалось, что внимание почти всегда сочетается с рекуррентными сетями, ссылка после фразы «за исключением редких случаев» указывала именно на ту статью 2016 года. Исключение из правила, занимающее место номер двадцать семь в списке литературы, содержало работу человека, который собирался это правило сломать.

Кофейня, коридор и кофемашина

Transformer был собран на основе подслушанных разговоров. Это не литературный приём; так описывают участники процесса.

Обедая в корпоративной столовой Google в 2016 году, Ушкорейт услышал, как Илля Полощихин жаловался, что команда, строящая прямые ответы для страницы поиска, должна выдавать результаты за миллисекунды, но терпит неудачу. Совет Ушкорейта касался собственного внимания. Полощихин иногда сотрудничал с Ашишем Васвани, который получил докторскую степень по машинному переводу в Университете Южной Калифорнии и пришёл в Google Brain, ища крупную проблему. Здание Васвани находилось рядом с помещением Полощихина. Узнав об идее, он подключился.

Эти трое составили техническое описание. Имя в названии выбрали сразу: теория гласила, что механизм трансформирует информацию, проходящую через него, а также потому, что в детстве у Ушкорейта было две игрушки «Трансформеры». Документ заканчивался иллюстрацией, на которой шестеро человек стреляют лазерными лучами друг в друга в горах. Вступительная фраза сообщала читателю, что авторы великолепны.

Ники Пармар присоединилась из отдела Google Search, где она уже работала с Ушкорейтом над вариациями моделей. Ллион Джонс узнал о собственном внимании от коллеги Мэта Келси и тоже вступил в проект; позже Келси ознакомился с брифингом проекта, предупредил Джонса о сомнениях в успехе и теперь считает это самым неверным прогнозом в своей жизни. Лукаш Каир пришёл из отдельного начинания Google Brain по языковым моделям вместе со своим студентом-стажёром Эйденом Гомезом, бакалавром, который получил должность, зарезервированную для аспирантов, просто благодаря разговору, и несколько месяцев даже не знал об этом. Каир и Гомез решили объединить свои проекты.

В начале 2017 года Полощихин покинул Google, чтобы открыть собственный стартап, поэтому в графе аффилиации авторов его компании нет.

Затем группа уперлась в стену. Они создали модель перевода на основе собственного внимания, оценили её по стандартным бенчмаркам и обнаружили, что она примерно равна лучшим LSTM-системам того времени. Равна. Не превосходит. Радиальная архитектура, отвергающая накопленные в области приоритеты и дающая лишь равенство, не могла быть результатом. Это дорогой способ остаться на месте.

Стена рухнула, потому что один человек прошёл через дверь.

Ноам Шазер работал в Google с 2000 года и был известен благодаря своему вкладу в ранние рекламные системы компании. Пять лет он посвятил глубокому обучению, интересуясь языковыми моделями, которые, по его мнению, ещё не достигли той гладкости, которой они потенциально способны. Проходя мимо рабочего места Каира в здании 1965, он случайно услышал жаркую дискуссию Васвани и Пармар о собственном внимании. Ему казались раздражающими рекуррентные сети. Предложение заменить их показалось ему одновременно верным и интересным.

Утверждение Ушкорейта относительно вклада Шазера заслуживает тщательного изложения, поскольку оно описывает то, о чём в индустрии говорят редко. По его словам, теоретически обоснованные механизмы часто требуют очень тщательной реализации несколькими опытными инженерами, прежде чем начнут хоть как-то работать. Шазер не отлаживал код команды. Он прочитал концепцию, написал свою реализацию с нуля, изредка сверяясь с Каиром, на время исчез, а затем вернулся с рабочей версией. Коллеги описывали его работу такими словами, как магия и алхимия. Джонс просто называл его волшебником.

Конкретный вклад Шазера станет темой следующих трёх статей серии. Благодарности в научной статье приписывают ему масштабированное точечное произведение, многоголовое внимание и непараметрические позиционные представления — это опорные тексты частей 2, 3 и 4. Один человек, работавший в интенсивном темпе, создал три из четырёх компонентов, которые разбирает данная серия.

В чём заключалась реальная ставка

Резюме формулирует позицию одним предложением. Авторы предлагают новую простую архитектуру сети, основанную исключительно на механизмах внимания, полностью отказавшись от рекуррентности и свёртки.

Ключевое слово здесь — «полностью».

Устранение рекуррентности

Само устранение рекуррентности не было самой радикальной частью. Другие тоже пробовали. В разделе 2 статьи приводится список аналогичных работ: Extended Neural GPU, ByteNet и ConvS2S, заменившие рекуррентность на свёртку для параллельного вычисления представлений всех позиций. Авторы признают, что цель снижения последовательных вычислений легла в основу тех исследований.

Но свёртка покупает параллелизм ценой потерь, точно описанных в тексте. В этих моделях количество операций, необходимых для связи любых двух позиций, растёт с расстоянием: линейно в ConvS2S, логарифмически в ByteNet. Это всё ещё не бесплатно. Связь слов на краях длинного предложения по-прежнему остаётся дорогостоящей; статья ссылается на общепринятый вывод: более длинные пути затрудняют обучение долгих зависимостей.

Собственное внимание сжимает эту проблему до константного уровня. Любая позиция связана с любой другой за один шаг, независимо от дистанции. Таблица 1 сравнивает три типа слоёв в одном ряду; ключевой столбец — максимальная длина пути: для рекуррентных сетей он порядка O(n), для свёрточных O(log n), для собственного внимания — O(1).

В этом и заключается ставка. Речь не о том, что внимание полезно (в индустрии это уже знали). Ставка заключалась в том, что ценность константной длины пути настолько велика, что позволяет отказаться от всех прочих структурных предрассудков индустрии и всё равно выйти победителем.

В статье не скрывали, чем приходится жертвовать. Сразу после заявления о константном количестве операций идёт признание, которое редко сохраняется в последующих обзорах: константная цена достигается за счёт снижения эффективного разрешения, поскольку внимание усредняет взвешенные позиции. Многоголовое внимание существует именно для компенсации этого эффекта. Уже на второй странице авторы прямо указывают, что их основной механизм порождает размытие, а один из самых высоко оценённых компонентов по факту является скорее заплаткой. Вопрос вновь поднимется в Части 3.

Есть вторая цена, упомянутая в Таблице 1 и обоснованная в Разделе 4: статья рассматривает это как оправданный компромисс, хотя в ближайшие десятилетия это станет центральным вопросом инфраструктуры искусственного интеллекта. Сложность слоя собственного внимания составляет n² × d. Обоснование статьи состоит в том, что для типовых длин предложений в задачах перевода n обычно меньше d, что справедливо для 2017 года, но перестаёт быть верным, когда возникает желание накормить модель книгой. Счёт за это будет бит в Части 7.

Двенадцать часов

Срок подачи материалов истекал 19 мая для конференции в декабре. Последние две недели прошли в здании 1965 отчасти потому, что у некоторых участников команды там были рабочие столы, а отчасти потому, что местный эспрессо-аппарат работал значительно лучше, чем в здании 1945. Стажёр Гомез описывает длительные периоды отладки, когда никто особо не спал, систематически убирая компоненты, чтобы проверить, сможет ли модель работать без них. Всё, что сегодня известно как Transformer, по большей части осталось после того процесса: это детали, которые невозможно было убрать.

Затем появились цифры.

Базовая модель обучалась на одной машине с восемью графическими ускорителями NVIDIA P100 в течение 100 000 шагов. Реальное время составило 12 часов. Этот результат превзошёл все ранее опубликованные модели машинного перевода немецкого языка на английский и их ансамбли. Большая модель тренировалась на той же конфигурации с 8 GPU полтора дня и достигла 28.4 баллов BLEU, превысив предыдущий лучший результат (включая ансамбли) более чем на два очка. Ушкорейт открыл бутылку шампанского, которое всегда возил с собой в своём горном внедорожнике.

Теперь обратите внимание на Таблицу 2, самую тихую и самую разрушительную таблицу в статье. В ней перечислены затраты на обучение в операциях с плавающей запятой. Конкурентные ансамбли тех дней стоили от 1,1×10²¹ до 7,7×10¹⁹. Большая модель Transformer потребовала 2,3×10¹⁹, а базовая модель оказалась ещё на порядок дешевле. Новый абсолютный рекорд установила самая дешёвая система из таблицы.

Отрасль, годами тратившая ресурсы на обмен масштабом на качество, увидела модель, обменивающую структуру на качество. Поскольку эта структура идеально ложится на параллельное оборудование, та же архитектура впоследствии стала идеальным носителем для расходования вычислительных мощностей, как только появилась возможность позволить себе такие затраты. Результаты 2017 года читаются как история об эффективности. Если оглянуться назад, это история о ёмкости, замаскированная под историю об эффективности.

До истечения срока оставалось около двух минут. По словам Пармар, данные по переводу с английского на французский пришли примерно за пять минут до сдачи; она сидела на маленькой кухне, ожидая последнее число. Возможно, это объясняет небольшую несогласованность, сохранившуюся в опубликованной статье до сих пор: в резюме и таблице 2 указан балл 41.8 для англо-французского перевода, тогда как в разделе 6.1 стоит 41.0. Самая влиятельная статья в современном машинном обучении содержит противоречивые цифры, потому что эксперименты завершились уже после написания основного текста.

Заголовок был окончательно утверждён за несколько дней до дедлайна. Валлийец Джонс отметил, что команда отвергла общепринятую в индустрии практику и выбрала одну технологию, а The Beatles уже написали для них эту фразу. Он говорит, что идея заняла около пяти секунд, и не ожидал, что ею кто-то воспользуется.

Они воспользовались.

Возвращение к обезьянам

Transformer вычисляет для каждой позиции взвешенную сумму по всем другим позициям, где веса генерируются через softmax. Softmax — это не просто сортировка. Это подавление. Повышение одного балла приводит к снижению всех остальных в распределении, поскольку сумма жёстко зафиксирована на уровне 1. Этот механизм в ядре архитектуры носит соревновательный характер; его выходные данные определяются тем, что механизм загоняет в ноль, и тем, что он повышает.

Это именно то, что обнаружили Моран и Десимон в нейронах области V4 при наличии двух объектов в их рецептивных полях. Это в точности соответствует описанному Джеймсом уходу от одних вещей ради эффективной обработки других.

Утверждать, что авторы 2017 года буквально воплощали идеи Джеймса, было бы сильным преувеличением. Но это не совсем так. Запросы, ключи и значения пришли из информационного поиска, а не из психологии, генеалогию которого корректно проследит Часть 2. Однако и подбор терминов не случаен: область вычищала стоящие за ними концепции целый век. Когда Энн Трейсман и Гарри Геладе в 1980 году опубликовали теорию интеграции признаков, они аргументировали, что признаки регистрируются на ранних этапах параллельно, а внимание выполняет операцию связывания их в объекты. Параллельная регистрация, затем селективное связывание. Это описание слоя Transformer, записанное исследователями человеческого зрения тридцать семь лет назад.

Является ли такое совпадение отражением объективных законов интеллекта или случайностью лексики — последний вопрос данной серии. Попытка ответить на него содержится в Части 8.

Однако есть гораздо лучший финал, произошедший во время выставки постеров на конференции в декабре 2017 года. Комната заполнилась за четыре часа. Охранникам пришлось в конце концов расчистить помещение. В тот вечер один мужчина подошёл к стенду и заявил авторам, что впечатлён их работой. Этим человеком стал Зеп Хокрайтер.

Хокрайтер соавтором разработал сеть долговременной краткосрочной памяти (LSTM). Он пришёл поздравлять людей, которые только что объявили её устаревшей.

Ставка. Рекуррентность не нужна для моделирования последовательностей. Архитектура, целиком построенная на внимании, без единого рекуррентного или свёрточного слоя, может сравняться с оптимальными результатами и превзойти их; константная длина пути между любыми двумя позициями ценнее всех отвергнутых структурных предрассудков.

Вознаграждение. Победа, причём быстрее, чем ожидали авторы. Примерно за два года эта архитектура вытеснила рекуррентные модели в обработке естественного языка. Все передовые языковые модели, созданные с тех пор, являются её потомками. Заявленная в заключении статьи амбиция расширить этот метод на другие модальности и сделать генерацию менее последовательной получила целый индустриальный сектор в качестве награды.

Статус. Сделка закрыта, со звёздочкой. Эта ставка была выиграна на компромиссе, чётко обозначенном в статье и верно оценённом для 2017 года: квадратичная плата за длину последовательности в обмен на константную длину пути. Все сегодняшние проблемы длинного контекста в искусственном интеллекте представляют собой выплату процентов за этот компромисс. В Части 7 этот счёт будет выставлен.