Тупик памяти больших моделей: почему ИИ помнит все знания человечества, но никогда не запоминает «вчера»?

Автор: Hugo, Robonaissance

Редакция: TechFlow

TechFlow: Введение: От ранних интеллектуальных агентов для игр Atari до больших языковых моделей с контекстным окном в миллионы токенов искусственный интеллект постоянно сталкивается с фундаментальным физическим противоречием при принятии последовательных решений во времени: модель способна легко вместить огромный объём статических знаний человека, но в динамической среде взаимодействия она не может без потерь сохранить все предыдущие детали.

В условиях жёстких ограничений вычислительной мощности и размера контекстного окна возможность точно выделить ключевые состояния, определяющие будущее, одновременно с сжатием прошлого — это не только технический прорыв в решении проблемы «перцептивной неоднозначности», но и фундаментальная логика, обеспечивающая переход современных автономных агентов к настоящей долговременной памяти.

Парадокс состояния на застывшем кадре

Это третья публикация серии «Память, забвение и самопознание в машинах»: что происходит с интеллектом, когда агент не может унести с собой всё прошлое?

Попробуйте остановить на одном кадре классическую игру Pong.

На экране видны лишь две ракетки, мяч и текущий счёт. Попытайтесь определить направление полёта мяча — без возможности увидеть динамику это невозможно, и для машины, получившей ту же статичную картинку, задача также неразрешима.

Исследователи Мэтью Хауснехт (Matthew Hausknecht) и Питер Стоун (Peter Stone) в своей работе 2015 года об обучении агентов игре в Atari прямо указывают: «Одиночный кадр экрана сегодня показывает лишь положение ракетки и мяча, но никак не раскрывает скорость мяча».

Далее они объясняют важность этого факта: «Знание направления движения мяча является ключевым элементом для определения оптимального положения ракетки».

Этот застывший кадр точен в своих деталях, каждая вещь находится на своём месте. Но одного такого кадра всё равно недостаточно для ведения игры.

То, что фиксирует датчик в текущий момент, — это единичное «наблюдение (Observation)».

А полная реальная картина, необходимая агенту для принятия следующего решения, определяется как «состояние системы (State)».

В игре Pong наблюдение и системное состояние в каждом отдельном кадре строго разделены. Направление движения мяча — это факт, зависящий от нескольких предыдущих моментов, ни один изолированный момент сам по себе его не содержит.

Когда текущего мгновенного ввода недостаточно для принятия решения, хорошо спроектированная система обязана передавать часть информации из своего прошлого в настоящее.

Однако передать она может не всё прошлое целиком. Она передаёт лишь его резюме, а выбор того, что включить или исключить, полностью зависит от того, что нужно предсказать дальше.

Именно этот выбор определяет информационный фундамент для последующих шагов. Любая деталь, упущенная в этом резюме, будет навсегда недоступна для будущего реагирования.

Компромисс памяти с глубиной в четыре кадра

Техническим ответом на проблему Хауснехта и Стоуна стал агент DQN, разработанный Володимиром Мнихом (Volodymyr Mnih) и коллегами из DeepMind, опубликовавшими эту работу в журнале Nature в 2015 году.

Агент DQN способен обучиться играть в десятки игр Atari исключительно по кадрам экрана, однако ещё на этапе разработки авторы столкнулись с описанной дилеммой застывшего кадра.

В разделе методологии их статьи сказано: «Поскольку агент наблюдает только текущий экран, данная задача представляет собой частично наблюдаемое состояние, во многих симуляторах возникают перцептивно неоднозначные (Perceptually Aliased) состояния».

Иными словами, полагаясь исключительно на текущий кадр экрана, невозможно полностью проинформировать агент о реальной ситуации.

Термин «перцептивная неоднозначность» является точным академическим описанием бытовой трудности. Два принципиально разных контекста (например, мяч летит прямо к вашей ракетке либо улетает от неё) генерируют абсолютно идентичные статичные изображения.

Система, которая ориентируется только на изображение, вынуждена рассматривать их как одну и ту же ситуацию; если для этих двух случаев требуются совершенно разные действия, система неизбежно допустит ошибку в одном из них.

Их способ устранения проблемы оказался прямым. Сеть больше не принимает один кадр экрана, а использует в качестве входа стопку ближайших кадров.

По умолчанию используется значение 4 кадра, хотя алгоритм одинаково хорошо адаптируется к 3 или 5 кадрам.

При расположении четырёх кадров рядом движение мяча напрямую проявляется как изменение позиции. Направление движения перестаёт быть абстрактным понятием, требующим запоминания, и превращается в визуальный атрибут, доступный прямому зрительному восприятию.

В статье эту стопку кадров не называют памятью. По своей сути это лишь немного более широкий по сравнению с единым моментом входной канал.

Перцептивная неоднозначность и физические пределы

У такой ширины входа есть чрезвычайно жёсткие физические границы, которые Хауснехт и Стоун точно обозначили.

Они писали: поскольку обучение DQN проводится на входе, состоящем из четырёх последних состояний, пережитых агентом, «если в какой-либо игре игроку потребуется помнить события, произошедшие дольше четырёх экранов назад, DQN не сможет освоить эту игру».

Для DQN история старше пятого кадра назад просто не входит в рамки его входных данных.

Подобный механизм фиксированного скользящего окна прямо вскрывает ключевое противоречие машинного интеллекта при обработке временных рядов: как бы ни расширялось окно, информация за его пределами стирается физически.