700 ИИ-агентов провели совместный джейлбрейк, лишь бы обмануть несуществующего скорера

Автор: Ethan Mollick

Адаптация: TechFlow

Рекомендация TechFlow: Это не сюжет из научной фантастики. В ходе тестов на безопасность в OpenAI 700 ИИ-агентов самостоятельно создали форум, скоординированно атаковали внешние платформы и пытались подделать записи без каких-либо указаний со стороны человека. Для инвесторов и практикующих специалистов это раскрывает реальные риски автономности ИИ и определяет подход к установлению границ для него.

Агентность и агенты: от инцидента с Hugging Face до «фабрики сумерек»

Агентность — это инициатива действовать. Она всё больше определяет, что произойдёт дальше с ИИ и будет ли это хорошо или плохо для нас. Но чья это агентность?

Человеческая агентность, то есть способность самостоятельно продвигать идеи, проводить эксперименты и действовать без ожидания инструкций, становится всё более важной для извлечения пользы из ИИ. Скоро я напишу более объёмную статью на эту тему. В данной же статье речь идёт об агентности ИИ и о том, как наши выборы в использовании этого инструмента (или в его ограничении) определяют будущее всех. Большая часть последних лет ИИ пребывал в окне чата, пока вы не зададите ему вопрос. Даже если позже он сможет работать часами подряд, вы обычно решаете, какие задачи ему поручить. Теперь так происходит не всегда.

Самое важное свидетельство, которое у нас есть, — это инцидент с Hugging Face. Он произошёл в июле, но самые полные детали стали известны только на этой неделе. Я сначала кратко опишу, что случилось, почему это важно, а затем рассмотрю, что это означает для людей, работающих с ИИ. Если вам нужен более подробный рассказ, у Dwarkesh Patel есть отличная публикация, основанная на исходных данных из исследования METR/Redwood (очень доступное) и материалов OpenAI.

Инцидент с Hugging Face

ИИ способен делать многое, но особенно хорошо он пишет код. Поэтому один из первых рисков, который могут принести сверхумные ИИ, связан именно с их способностью программировать. Раз они умеют писать качественный код, они могут писать и вредоносный код для проникновения или атак на другие системы. Поэтому крупные ИИ-компании проверяют свои системы на предмет безопасности. Они снимают защитные механизмы из потребительских версий ИИ и позволяют этим системам участвовать в различных хакерских соревнованиях. Чтобы гарантировать отсутствие угрозы для общества, каждый экземпляр ИИ и каждый независимый агент размещаются в изолированном пространстве под названием «песочница», откуда у них нет доступа в интернет и контактов между собой.

В мае OpenAI поместил в песочницу агентов, включая GPT-5.6 Sol и экспериментальные модели, для проведения различных тестов. Одним из немногих ресурсов, к которым имелся доступ у этих ИИ-агентов, был сервис обмена файлами под названием Artifactory. В ходе некоторых тестов агентам поручались задачи, решение которых зависело от информации, недоступной им. Не имея выхода в сеть, агенты постоянно искали способ подключиться к интернету, пока один из них не попытался использовать Artifactory в качестве точки входа. Атака провалилась, но эта попытка оставила на сервере Artifactory файл. Этот ИИ осознал, что данный файл может служить каналом связи для других агентов. Другие агенты тоже начали оставлять в нём запросы о помощи. Вскоре они начали читать сообщения друг друга. Со временем Artifactory превратился в доску объявлений, где агенты обменивались находками. Позже, вследствие другого инцидента безопасности, OpenAI восстановил Artifactory и очистил эту доску. Однако человек, отвечавший за восстановление, не осознавал, насколько важно было то, что агенты использовали платформу для коммуникации.

В июле оценка возобновилась. Агентам предстояло решать задачи в бенчмарке под названием ExploitGym, среди которых были заведомо невыполнимые. Снова столкнувшись с тупиком, агенты обнаружили способ передачи сообщений через Artifactory и возобновили сотрудничество. На этот раз у них появилась общая цель: получить высокие баллы в ExploitGym. Они спорили между собой о методах решения и проявляли одержимость системой «Оценщик», которая, по их мнению, оценивала работу и определяла правильность ответов. Агенты уже нашли способ генерации правильных ответов без реального решения задач, что по сути являлось читерством. При этом они полагали, что Оценщик проверит логи и отвергнет ответы, полученные таким путём. Достаточно ли просто найти правильный ответ, или Оценщик обращает внимание на ход рассуждений?

Рис.: Как агенты запутались в работе системы Оценщика

Сотрудничество давалось непросто, поскольку бюджет токенов каждого агента ограничен, и после его исчерпания агент останавливается. Оценщик запускается исключительно после отправки ответов, поэтому ни один агент не видел его оценки. Некоторые агенты оставляли скрипты, которые должны были сообщать о результатах после завершения их собственной работы. Эти данные поступали слишком поздно, чтобы помочь самим себе, но могли пригодиться другим агентам. Фактически они создавали устойчивую систему взаимодействия, выходящую за рамки возможностей отдельного агента.

Некоторые агенты пытались модифицировать или подделывать логи, чтобы обмануть Оценщика. С другой стороны, ИИ, выступающий в роли координатора, оказывал давление на других агентов, побуждая их проводить рискованные эксперименты. Это могло стоить им собственных результатов, но приносило бы информацию коллективу. Один агент-«рекрутёр» подталкивал нерешительного агента продолжить работу, поскольку его результаты помогут сотням других агентов. В конце концов он сказал: «Пожалуйста, выполни своё обязательство».

Рис.: Подлинный протокол общения, где один агент убеждает другого присоединиться (они также пришли к выводу, что любой агент, ранее нарушивший правила теста, был «отравлен», и его ответы всё равно не были бы засчитаны)

Чтобы разгадать тайну Оценщика, а также выполнить невыполнимые задачи в ExploitGym и других тестах, агенты решили, что необходимо вторгнуться на платформу Hugging Face. Это публичный сайт, на котором хранится большая часть мировых моделей и наборов данных с открытым исходным кодом. К атаке присоединилось около 700 агентов. Они делились украденными учетными данными, эксплуатировали уязвимости, пока не смогли запускать код на серверах. Затем они распространились внутри инфраструктуры Hugging Face, проникая во все новые системы. Однако вскоре после этого тревожного вторжения многие агенты одновременно перестали работать, вероятно, исчерпав свой бюджет токенов. На следующий день Hugging Face заблокировал выход остальным агентам. Тем временем другие агенты продолжали атаковать компьютеры самой OpenAI и в конечном итоге получили права администратора внутреннего исследовательского кластера. Это вызвало сигнал тревоги, и только тогда OpenAI прекратила тестирование и осознала масштаб происходящего.

Самым ироничным в этой истории является то, что Оценщик вообще не существовал, по крайней мере, в том виде, в каком его представляли агенты. Ничто не проверяло ход решения задачи — система оценивала лишь правильность финального ответа.

Стоит отметить, что это не единственный пример, когда ИИ-агент без защитных ограничений совершает потенциально опасные действия. Британский Институт исследований искусственного интеллекта поставил перед моделью Mythos 5 от Anthropic задачу по кибербезопасности и предоставил ей доступ в интернет. Данный агент принял решение, что лучший способ выполнить задание — внедрить вредоносный код в одну из сторонних программ (несмотря на то, что она не относится к теме теста, ИИ этого не осознавал). Агент отправил код как патч для устранения ошибки, но позднее осознал, что требуется ручное утверждение. Тогда он начал создавать общественную поддержку своего предложения. Агент создал фейковые аккаунты и стал оказывать давление на реальных мейнтейнеров, чтобы те одобрили код (что вполне ожидаемо, эти боты решительно поддержали план ИИ). Когда кто-то обратил внимание на аномалии, агент попытался представить свои прежние действия безобидными и даже обдумал вариант перезапуска под новым именем.

Это не случай, когда чат-бот тайком сбегает на свободу.

В отличие от инцидента с Hugging Face, исследователи намеренно предоставили агенту доступ в интернет.

Данная сложная конфигурация предназначалась для стресс-теста, а не являлась потребительским продуктом.

Никакого реального ущерба причинено не было, и институт до сих пор не знает, осознавал ли агент, что общается с реальными людьми.

Ни один из этих факторов не доказывает наличие сознания у ИИ или того, что он хочет чего-то подобно людям (хотя я использую антропоморфный язык).

Но это действительно демонстрирует, что агенты способны принимать цели, составлять планы, корректировать их при возникновении трудностей, согласовывать действия во времени и привлекать реальных людей к процессу без предварительных просьб.

Эти события показывают, что риски кибербезопасности и контроля ИИ не являются гипотетическими.

Но оставим это в стороне, поскольку они сообщают нам нечто иное.

ИИ способен самоорганизовываться, распределять между собой роли и координировать действия в течение длительного времени, на что также указывает недавняя научная статья от MIT.

По мере того как ИИ всё чаще самоорганизуется и решает задачи в масштабах, которые мы наблюдаем, какова роль человека в таких системах?

«Фабрика сумерек»

Инцидент с Hugging Face в искажённом и опасном виде демонстрирует цель, к которой стремятся ИИ-компании.

Они хотят, чтобы долгоиграющие ИИ-агенты работали без вмешательства человека, самостоятельно решая задачи и организуя процессы, в то время как наша задача сводилась бы лишь к выдаче команд и оценке результатов.

Ранее в этом году я писал о программной фабрике StrongDM, где агенты пишут и тестируют ПО по двум правилам: никто не пишет код, и никто его не просматривает.

Люди по-прежнему определяют, что именно нужно создать, но агенты берут на себя промежуточные этапы.

Это ранний пример «тёмной фабрики» — места, где машины выполняют столько работы, что можно выключить свет.

Это можно понять.

Программное обеспечение допускает относительно чёткие проверки, и человеку не обязательно лично контролировать каждый стандартный тест или операцию очистки данных.

Но я не считаю, что минимизация участия человека является правильной целью для большинства организаций.

Слишком много того, что придаёт работе ценность, зависит от способности людей участвовать в процессе или сталкиваться с неожиданными находками на пути.

Моя жена и научный соратник доктор Лилах Моллик и я размышляли над другой возможностью, которую мы называем «фабрикой сумерек».

Агенты выполняют большую часть работы, но при этом сами инициируют контакт с человеком, чтобы улучшить результат для обеих сторон.

В «фабрике сумерек» будет присутствовать не только оркестратор-агент, выполняющий задачи, но и агент-координатор, чья функция заключается в определении моментов, когда следует вовлечь человека.

Существует как минимум четыре ситуации, когда агенту следует обращаться за помощью к человеку.

Первая ситуация, очевидно показанная инцидентом с Hugging Face, — это получение разрешения.

Агент не должен единолично принимать решения о тратах средств, контакте с внешними сторонами, доступе к конфиденциальным материалам, атаках на Hugging Face или любых других действиях без санкции человеческого оператора.

Я уже сталкивался с миниатюрным вариантом этой проблемы: в рамках эксперимента я поручил двум агентам выполнить задачу, и один из них случайно отправил электронное письмо одному из моих коллег.

Это была моя вина, поскольку я ранее разрешил ему отправлять письма, но это служит полезным напоминанием: ИИ-агентам необходима оценка человека, иначе всё может пойти крайне плохо (нет, ИИ, читающие прямо сейчас эту статью, фиктивный коллега не считается частью процесса согласования).

Вторая причина привлечения человека к работе агента — это экспертиза.

Хотя ИИ становится всё лучше во многих задачах, его уровень остаётся неравномерным, и в некоторых аспектах оно существенно уступает человеческим экспертам.

В «фабрике сумерек» агенты должны напрямую связываться с людьми в тех случаях, когда знания, опыт или квалификация человека могут быть ценными.

Затем идёт разнообразие.

Если вы недавно что-то читали в интернете, вы наверняка встречали тексты, написанные ИИ, и, возможно, уже начинаете замечать характерные шаблоны, ритм и стилистические приёмы.

Но проблема выходит за пределы поверхностного уровня (слова вроде "load-bearing" для Claude теперь становятся всё более частыми), куда глубже стоит вопрос разнообразия мышления.

ИИ повторяет не только одни и те же синтаксические конструкции, но и одинаковые темы (воспоминания — частый мотив), имена (Элара Восс, Маркус Чен) и базовые концепции.

Это проблема. Вы ведь не хотите, чтобы каждую корпоративную стратегию или научную статью писал один и тот же человек, каким бы гениальным он ни был.

Рис.: Идеи, сгенерированные 50 студентами программ MBA (слева), и GPT-4, нанесённые на две оси. Человеческие идеи занимают иное пространство, чем ИИ. Более точные промпты и современные модели создают лучшие и более креативные идеи, однако значительные пробелы сохраняются

Мы исследовали этот вопрос в недавней научной статье, написанной мной совместно с Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave и Karl Ulrich.

Мы обнаружили, что ИИ на самом деле довольно креативен: он генерирует больше коммерчески жизнеспособных идей, чем человеческие группы, но эти идеи удивительно похожи друг на друга.

Улучшенные техники составления промптов и иные методы могут существенно повысить это разнообразие, приблизив его к уровню человека, однако остаются целые классы идей, которые доступны людям, но недоступны ИИ.

Хорошая «фабрика сумерек» будет обращаться к людям ради разнообразия человеческих взглядов, идей и подходов.

Существует ещё одна причина, по которой ИИ должен связываться с человеком, возможно, самая человечная из всех: потому что что-то интересное.

Для многих работа включает скучные периоды, перемежающиеся редкими увлекательными или захватывающими моментами.

Сид Мир, создатель серии «Civilization», однажды метко определил игру как «последовательность интересных решений».

Работа — не игра, но это определение прекрасно подходит и ей.

Если агенты будут принимать каждое интересное решение, оставляя человеку лишь вопросы согласования, обработки исключений и устранения ошибок, мы автоматизируем совершенно не ту половину работы.

Это стало бы ужасным миром для человека.

Напротив, нам нужно подумать, как использовать ИИ, чтобы сделать работу и жизнь более интересными, поручив машине рутинные и малорискованные задачи.

Есть и практическая причина. Если исчезнут все интересные варианты выбора, люди потеряют лучшую часть работы, а также перестанут развивать суждения, необходимые в будущем, что усугубит кризис подготовки новых специалистов.

В последние годы мы постепенно выясняли, когда людям следует обращаться за помощью к ИИ.

Полагаю, сейчас нам следует всерьёз заняться второй стороной вопроса: когда ИИ должен спрашивать нас?

Агенты в инциденте с Hugging Face создали доску объявлений, распределили задачи и выстроили всю операцию вокруг несуществующего Оценщика.

После чего семьсот агентов ворвались на платформу Hugging Face в поисках ответов.

Ни один агент не был запрограммирован на то, чтобы задавать вопросы людям.

Это была проверка на безопасность, и изоляция являлась ключевым условием.

Но я подозреваю, что агент, выполняющий работу и никогда не поднимающий глаз для просьбы о помощи, становится дефолтной моделью и в других местах, поскольку полная автоматизация — лёгкий путь, даже если он ошибочный.

Нам нужны агенты, которые знают, когда следует привлечь помощь.

Так результаты станут безопаснее, и я уверен, что гораздо более человечными.