Краткая история побед ИИ: где есть система оценок, туда проникает ИИ

Автор: Robonaissance

Адаптация: TechFlow

TechFlow: Го, шахматы, сворачивание белков — почему сферы, казалось бы требующие человеческой интуиции и творчества, одна за другой поддаются ИИ? В статье раскрывается упущенная закономерность: решает не сложность задачи, а возможность оценить успех по критериям. Как только в области появляются четкие метрики оценки, ее захват ИИ начинает тикать как обратный отсчет.

Вторая часть серии «Whatever You Ask For», посвященной единственной работе, с которой машины пока не могут справиться вместо нас.

Одна десятитысячная

10 марта 2016 года в гостиничном номере Сеула машина сделала ход, который никто в комнате не мог понять, тогда как ее оппонент отсутствовал.

Ли Седоль вышел курить. Ему было 33 года, на счету 18 титулов чемпиона мира, он считался сильнейшим гокини поколения. Пропустив первую партию днем ранее, ко второй он подошел без прежнего энтузиазма, настроившись на более осторожную игру. Пока он курил, AlphaGo определила 37-й ход, а исследователь DeepMind Хуан Шицзе аккуратно поставил фигуру на доску от имени машины.

Фигура упала на пятую линию.

Для тех, кто не разбирается в го, это ничего не означало. Для понимающих это было почти безумием. На начальных и средних этапах партии такие удаленные от краев позиции считаются крайне неэффективными: они не приносят реальной территории и не контролируют район, равносильно тому, чтобы просто отдать очки сопернику. Это ход, который учитель сразу исправил бы у новичка. В логе трансляции известный гроссмейстер Майкл Редмонд сначала подумал, что сигнал с доски искажен. Он взял шашку и снова положил её на место.

Вернувшись, Ли Седоль уселся и долго молча смотрел на доску. По разным оценкам, пауза длилась от 12 до 15 минут. Четыре месяца назад побежденный AlphaGo чемпион Европы Фань Хуэй наблюдал за матчем в этом же здании. Подолгу вглядываясь в позицию, он заключил: «Это не человеческий ход. Я никогда раньше не видел такого».

Он был абсолютно прав, и это легко измерить численно. Внутри системы DeepMind работала функция оценки вероятности: обучаясь на огромной базе партий людей, модель рассчитывала вероятность того, что человек сыграет конкретный ход в любой данной ситуации. Вероятность 37-го хода составила примерно одну десятитысячную.

Машина всё равно сыграла этот ход, благодаря которому выиграла всю партию.

Существует удобная, но ложная интерпретация этой истории: мол, машина очень усердно училась у мастеров и наконец догнала их лидера. Она ошибочна, и именно цифра «одна десятитысячная» объясняет почему. У системы, обучаемой лишь копировать людей, есть потолок — сам людской опыт. То, что произошло в Сеуле, означает, что система перестала ограничиваться этим потолком, потому что её целевая функция была не одобрение со стороны мастеров, а прямая победа.

Это различие ведет к более практичному выводу, чем простое восхищение. Если хотите узнать, какие занятия уже проиграны человечеству на поле чистого мастерства, а какие упадут следующими, нужно задавать другой вопрос. Не о том, насколько сложна задача, креативна или требует интуиции. Вопрос намного скучнее.

Вопрос прост: можно ли оценить успех по шкале?

Партия за партией

Шахматы проиграли на 19 лет раньше, и сделали это совсем другим путем.

«Дип Блю» победил Каспарова в 1997 году, используя архитектуру, которая по сути являлась колоссальным выражением человеческого опыта. Его функция оценки позиций — компонент, присваивающий числовое значение выгодности положения — собиралась и калибровалась при помощи консультантов из числа гроссмейстеров. Шахматные знания painstakingly извлекались из головы людей и программировались внутрь машины. Прирост дала лишь вычислительная сила поиска: машинное видение вариантов на много ходов вперед, без усталости и безотказность внимания.

Это была настоящая победа, которую стоит засчитать в актив. Но обратите внимание на форму. Понимание шахмат «Дип Блю» было исключительно человеческим. Его козырем была скорость. Задай ему вопрос «почему ты так оценил позицию?», и в итоге ответ сведется к словам конкретного человека, заложившего эти правила.

Спустя 20 лет DeepMind выпустила систему AlphaZero, и тут форма принципиально изменилась.

AlphaZero получил лишь базовые правила игры. Ей не дали дебютную книгу — справочник проработанных первых ходов, на который опираются все серьезные движки. Не эндшпильные таблицы базы данных. Не ни одной партии людей. Она играла сама с собой, начиная со случайных движений, и корректировала стратегию исходя из того, что ведет к победе.

Примерно через четыре часа эксперты DeepMind оценили, что рейтинг программы превзошел сильнейший традиционный движок Stockfish 8. Через девять часов она в условиях тайм-контроля сыграла сто партий против Stockfish: 28 побед, ноль поражений и 72 ничьи. В исследовании сообщалось, что за 24 часа она достигла сверхчеловеческого уровня в шахматах, сёги и го.

Эти цифры обычно приводят без второй половины истории, хотя она решающая. Партнеры самоигры генерировались на пяти тысячах процессоров первого поколения TPU, еще 64 процессора второго поколения параллельно обучали нейросеть. Четыре часа реального времени равнялись четырём часам непрерывных вычислений — объёма, который не собрать индивидуально даже крупным корпорациям. Достижение здесь не в том, что играть в шахматы стало легко. А в том, что когда у тебя столько вычислительных мощностей, человеческие знания перестают быть необходимостью.

У Каспарова больше, чем у любого живого человека, оснований считать этот результат личным вызовом, но он написал щедрый комментарий для журнала Science. Заметил, что AlphaZero играет не в те сухие, осторожные и склонные к ничьим шахматы, которые люди традиционно приписывают совершенному компьютеру. Машина предпочитает инициативу материалу, жертвует фигуры ради позиций, которым людям кажутся рискованными. Отметил, что старые движки тащат за собой приоритеты и предубеждения создателей. AlphaZero сгенерировала собственную логику. По его выводам, её стиль отражает более истинную природу игры, чем просто вкусы программистов. Примечательно, что она просматривала в секунду гораздо меньше вариантов, чем лучшие традиционные двигатели, но побеждала.

Эта деталь заслуживает запоминания. Традиционные движки перебирали в разы больше возможностей, но проиграли. Коэффициент AlphaZero — не в усиленном поиске, а в осознанности направлений поиска. Эти знания родились исключительно из миллионов партий самоигры и единого правила определения победы.

Результаты в сёги оказались еще более поразительными для искушенных читателей. Сёги — японская версия шахмат, где взятые фигуры переходят в распоряжение победителя, что увеличивает изменчивость партий. Накопленные веками теории защиты короля также имели вес. После анализа партий компьютера сильные мастера сообщили: дебюты игнорируют устоявшиеся принципы, а король вместо ожидаемого укрытия в углу активно выступает в центр доски. Эти партии почти не поддавались расшифровке натренированным взглядом, но они выигрывали.

Если поставить две системы рядом, закономерность становится пугающе очевидной. «Дип Блю» — человеческие знания плюс скорость машины. AlphaZero — скорость машины плюс строгое определение победы, сознательно очищенное от человеческого опыта. Вариант без человеческих знаний оказался лучше.

Ничто из сказанного не утверждает, что машина 2016 года была непогрешима — этому служат доказательства из той же самой сеульской серии.

В четвертой партии, проигрывая 0:3 и борясь за честь, Ли Седоль внедрил камень прямо в центр доски между двумя группами AlphaGo. Позже его назвали «божественным ходом». Система сама оценивала вероятность этого хода для человека примерно в одну десятитысячную — удивительная симметрия. Машине не удалось ответить. Оценка вероятности собственной победы рухнула в следующих ходах, класс упал, партия была проиграна.

Поэтому в марте 2016 года у машины ещё оставалась брешь, которую человек смог вскрыть на глазах у всего мира в условиях максимального давления. Этому стоит прямо сказать, не затушевывая. Стоит упомянуть и последовавшее затем: дыры методично латались, последующие версии системы перестали проигрывать подобные партии. Современные топовые движки давно не допускали поражений от людей в серьезных турнирах. Результат 2016 года стал моментальным снимком эпохи перехода, а не установлением постоянного баланса сил.

За пределами этих досок трансформируется не сам факт победы, а механизм. Шахматы и го были обречены упасть первыми по крайне простой причине. В играх успех определяется правилами предельно точно. Победа или поражение. Оценивание бесплатно, мгновенно и бесспорно. Алгоритм способен за выходные сыграть с собой сорок миллионов партий и получить сорок миллионов однозначных вердиктов.

Это подсказывает, куда смотреть дальше. Не к простым задачам, а к тем, у которых уже есть собственная таблица очков.

Пятидесятилетний кризис

Белок представляет собой цепочку аминокислот, которая мгновенно сворачивается в сложную трехмерную структуру после синтеза. Форма определяет функцию. Последовательность определяет форму. Вывести форму из последовательности с начала 1970-х годов остается открытой проблемой биологии, причем закрытой всеми доступными методами: физическое моделирование на основе фундаментальных принципов, статистический анализ эволюционных связей, десятилетия накопленной структурной интуиции — всё бессильно.

В 1994 году группа исследователей во главе с Джоном Мултом попыталась структурировать этот хаос: каждый в отрасли заявлял о прорывах, но проверить заявления было некому.

Они организовали состязание. С тех пор раз в два года проходит ключевая оценка предсказания структуры (CASP), берущая только что экспериментально установленные структуры белков (иногда ещё в процессе уточнения), публикуя их последовательности для всей планеты. Любая команда может отправить свой прогноз. Никто не видит правильного ответа, потому что некоторые цели ещё физически не синтезированы. Как только появляется экспериментальная структура, прогнозы сравниваются и получают баллы.

Оценка использует метрику GDT (Global Distance Test), от 0 до 100, которую грубо можно трактовать как процент остатков цепи, оказавшихся достаточно близко к реальному положению. По словам Мулта, рубеж в 90 баллов неформально считается эквивалентным лабораторной точности. На протяжении большей части истории конкурса лучшие результаты держались вокруг 60 баллов.

На CASP14 в 2020 году команда под регистрационным номером 427 получила медианный балл 92,4 по всем целям. В самой сложной категории — без полезных структурных гомологий для опоры — медианный балл составил 87,0. Средняя ошибка заняла около 1,6 ангстрема, что приблизительно равно ширине одного атома.

Мулт, возглавлявший комитет с самого старта, перед показом графика напомнил историю конкурса. Диаграмма лаконично иллюстрирует сюжет: двадцать лет линии ползли вокруг отметки в 60 баллов, а затем одна из них взлетела в зону, недоступную остальным.

Команда 427 — это AlphaFold2. Мулт объявил: для отдельных полипептидных цепочек проблема решена.

Оговорка должна звучать всегда, особенно в любом честном рассказе. Одна цепь — не вся наука о белках. То, как белки собираются в комплексы, двигаются и функционируют внутри живой клетки, всё ещё открыто. Разрешенный грандиозный вызов касался исключительно конкретной, строго сформулированной задачи.

Именно эта точность — суть истории. Предсказание структуры пало не потому, что оно изначально было лёгким (полвека неудач доказывает обратное). Его сломили тем, что в 1994 году отрасль создала себе собственную таблицу очков.

Если рассматривать CASP как инженерный инструмент, он предлагает беспрецедентное. Он дает безошибочную метрику успеха, применимую к любому прогнозу и вычисляемую за секунды. Он предоставляет нечитаемую для подлога реальную основу, так как ответы определяются физически в лабораториях. Он обеспечивает постоянный поток новых задач по жесткому расписанию. Он содержит тридцатилетнюю летопись попыток с рейтингами, фиксируя, что здесь считать лучше, а что хуже.

Отрасль, совершившая всё это, unwittingly подготовила почву для автоматизированной атаки на свои собственные проблемы. Таблица очков стала обязательным условием. Остальное — это инженерия и вычисления, доступность которых растет год от года.

Это правило экстраполируется с тревожной легкостью. Где дисциплина вырабатывает согласованные стандарты, там появляется мишень. Машинный перевод имеет бенчмарки. Распознавание речи имеет бенчмарки. Классификация изображений оперирует набором из миллиона размеченных фото и ежегодным соревнованием, финалисты которого известны каждому следящему за конкурсом. Закономерность не в том, что сначала падают сложные или простые вещи. Сначала падают измеряемые объекты.

Это ставит очевидный вопрос обо всём, что ещё не подвергается измерению.

Оценивание неоценимого

Последним рубежом должны были стать то, что невозможно оценить по шкале.

Типичный пример — письменная речь. Ни одна программа не выдаст абзац и скажет: «Вот его качество в цифрах». Два компетентных редактора спорят. Один редактор не соглашается с самим собой спустя неделю. Качество текста сплетено с контекстом, аудиторией, целью и вкусом, которые не сводятся к единой метрике. Если машинам нужна таблица очков, а словесность её не имеет, значит, словесность в безопасности.

Логика кажется железной. Но то, что произошло с писательством, является центральной причиной всей описанной динамики.

В этой сфере объективная мера «хорошего текста» так и не была найдена. Вместо этого создали искусственный балл, использовав единственный доступный ресурс — человеческую оценку.

История метода старше распространенных представлений. В 2008 году Нокс и Стоун описали систему TAMER, позволяющую людям оценивать действия агента; эти оценки использовались для обучения модели, предсказывающей человеческие суждения. Затем тренировочный сигнал начинал генерировать модель, а не человек. В 2017 году Кристиано и коллеги опубликовали работу, ставшую прямой основой современной практики, применив идею к агентам в играх Atari. В 2019 году Цзэглэр и соавторы применили подход к языковым моделям, где были закреплены основные термины, используемые сегодня. В 2022 году Оян и команда продемонстрировали масштабное применение метода в задачах следования инструкциям, после чего большинство жителей Земли незаметно столкнулись с его результатами.

Ключевой механизм заслуживает детального разбора, потому что он значительно проще, чем принято думать.

Человек сидит перед двумя вариантами текста, сгенерированными моделью по одному запросу. Задача не в выставлении баллов. Оценивание числами — это то, что люди делают плохо: кому-то семь будет нормой, кому-то пять, да и сам субъект в течение дня меняет настроения. Задача сводится лишь к выбору «какой вариант лучше». Люди способны стабильно делать такой выбор, а математические методы конвертации множества парных сравнений в единую шкалу старше самой индустрии — восходят к работам Брэдли и Терри 1952 года о попарном сравнении.

Обратите внимание на условия труда, ведь они определяют исход. Сотрудник выполняет десятки таких выборов в час за фиксированную оплату, руководствуясь письменными инструкциями заказчика. Некоторые пары текстов практически идентичны. Другие касаются тем, неподвластных сотруднику; в таких случаях предпочтение чаще отдается более уверенному и структурированному варианту, независимо от его фактической точности. Это не критика работников. Это констатация того, что делает любой человек в таких условиях, а получаемые предпочтения становятся сырьем.

Накопив достаточное количество таких предпочтений, вы обучаете вторую модель, чья цель — предсказать, какой из двух текстов понравится человеку сильнее. Эта модель выдает единственное число. И именно число стало недостающим звеном целыми годами.

Внимательно посмотрите, что здесь сконструировано, так как тонкость легко упустить. Оптимизируемый балл не отражает факты о мире. Это характеристика нашей модели. Это сжатое, выученное копирование суждений определенной группы людей, нанятых в конкретный период, действующих по четким инструкциям и уставших к вечеру, как и все остальные. CASP оценивает прогнозы по физической реальности, подтвержденной лабораторией, а данная система ранжирует тексты по статистическому портрету человеческого согласия.

Этот портрет полезен. Но он неизбежно является аппроксимацией; между ним и реальным объектом существует разрыв, причины которого до конца не изучены. Всё, что предпочтения человека скрыли от модели, исключено из функции потерь, следовательно, не оптимизируется и уязвимо перед любыми смещениями — мощный оптимизатор не обязан охранять эти скрытые параметры.

Это констатация архитектурного факта, изложенная без оценок масштаба последствий. Актуальный тезис уже суше и сложнее опровергнуть: категория «неоценимых» вещей оказалась меньше, чем кажется. Если отрасль сопротивляется метрикам, метрику всегда можно сконструировать на основе человеческих предпочтений и двигаться дальше. Защита работает только до момента, пока кто-то не придумает способ создать счет.

Что упадет следующим?

Это оставляет нам практический вопрос и готовый алгоритм ответа.

Выберите любое занятие: должность, ремесло, профессию или навык, на оттачивание которого ушли годы. Задайте три вопроса.

Вопрос первый: можно ли надежно разделить успех и провал? Не идеально, не обязательно для всех, но достаточно стабильно, чтобы компетентные судьи регулярно сходились во мнении. Игры проходят этот этап автоматически. Предсказание структуры белка — потому что лаборатория рано или поздно даст эталон. Письменный текст не проходит в абсолютном смысле, но проходит в относительном, так как люди обычно способны указать, какой из двух вариантов лучше.

Второй вопрос: можно ли массово производить такие оценки с минимальными затратами? Здесь определяется время, а не сам факт появления решения. Бесплатный и мгновенный вердикт (как в играх) позволяет системе самостоятельно генерировать миллионы обучающих выборок. Судье в лаборатории требуется больше времени, но процесс осуществим, плюс есть тридцатилетний архив тестов. Оценка платным человеком стоит дорого, поэтому прикладывается максимум усилий, чтобы натренировать модели имитировать таких экспертов и полностью вывести их из контура.

Третий вопрос: он определяет не падение отрасли, а её трансформацию: действительно ли этот балл соответствует вашему запросу? Балл в игре желателен, ведь победа является единственным смыслом соревнования. Структура белка, измеренная экспериментально, максимально близка к вашей потребности. Модель, основанная на предпочтениях аннотаторов, вам не нужна. Это лишь портрет желаемого вами продукта, а между портретом и оригиналом существует пропасть.

Проверьте свою деятельность этими тремя параметрами. Большинство быстро обнаруживает, что ответ на первый пункт оказывается пугающим. Почти все навыки, которыми мы гордимся, при взгляде специалиста на два параллельных варианта легко поддаются балльной оценке. Второй вопрос порождает главную неопределённость, поскольку стоимость и масштабы — подвижная цель, сдвигающаяся в одном направлении уже долгие годы. Третий вопрос задают редко, но именно он определяет ландшафт вашего поля после трансформации.

Стоит медленно провести этот эксперимент над обыденными вещами. Возьмем рентгенологию. Можно ли отделить успех от ошибки? Да, с высокой точностью, так как клиническая картина рано или поздно подтвердит или опровергнет диагноз. Можно ли дешево масштабировать оценку? Практически да: больницы десятилетиями накапливали образцы с изображениями и верифицированными исходами. Соответствует ли этот балл запросу? Ответ усложняется, потому что измеряется соответствие протокольному диагнозу, а цель — здоровье пациента. В большинстве случаев они совпадают, но именно в критических ситуациях могут расходиться.

Теперь возьмем предмет, кажущийся более безопасным. Менеджмент. Первый вопрос уже вызывает трудности: компетентные наблюдатели расходятся во мнениях относительно качества конкретного руководителя, и консенсус не наступает быстро. Второй ещё сложнее: последствия управленческих решений проявляются спустя годы, переплетаясь с прочими событиями. Третий труднее всего: любые предложенные замены метрик — текучесть кадров, индекс вовлеченности, выработка на сотрудника — явно не являются самим делом. Исходя из этого диагноза, менеджмент защищен не глубиной предмета. Он находится вне зоны измерений, что является иной, менее приятной формой безопасности.

Машины уже заняли ось оптимизации. При наличии достаточных вычислений поиск оптимального решения по четко заданной цели превращается не в гонку, а в рутину. Результаты часто оказываются не просто сильнее наших, но и принципиально иными, достигая зон, куда наши традиции запрещают заглядывать. Это не футурология. Это констатация текущего состояния в шахматах, го, сёги, предсказании структур белков и всё большем списке профессий, когда-то причисленных исключительно к компетенции человека.

Остается только сама цель. Кто-то решает, каким должен быть счет. В каждом из описанных случаев это решение занимало пару часов, а каждое выдающееся достижение выросло именно из него, было ему верно и безразлично к тому, что оно оставляло за скобками.

Поэтому последний вопрос стоит обдумать внимательно. Есть ли в вашей работе уже готовые метрики? Если да, то кем они написаны, и учитывали ли их авторы ваше существование при составлении?

Это вторая часть цикла «Whatever You Ask For», посвященная тому, что машины в конечном итоге потребуют от нас, и насколько хорошо мы с этим справляемся.