Когда Agent научится «сговору»: AI становится всё умнее, как определить границы безопасности?

Автор: imToken

В последние годы дискуссии об угрозах со стороны ИИ во многом носили гипотетический характер: все опасались, что модели в чат-ботах превратятся в советников и помогли хакерам создавать разрушительный вирусный код.

Сейчас оглядываясь назад, такие опасения часто считались чем-то «далеко от нас», однако поворотный момент в реальном мире наступил быстрее, чем предполагали.

В начале октября CrowdStrike при расследовании атаки на финансовые учреждения Южной Кореи обнаружил, что злоумышленники внедрили агентные ИИ в свои рабочие процессы: подключая различные крупные языковые модели, такие как DeepSeek, GLM, Grok, они позволили ИИ напрямую выполнять такие задачи, как пентест, сбор информации и реализация атак.

Подобные изменения не являются единичным случаем.

В свежем отчете Anthropic об угрозах, опубликованном в сентябре, отмечается, что недавно мультиагентные фреймворки стали использоваться для разведки, эксплуатации уязвимостей и кражи данных: они работают непрерывно несколько часов или даже дней, а человеку остается лишь принимать ограниченное число ключевых решений — например, выбирать цели или анализировать результаты.

Иными словами, ИИ вносит качественную трансформацию в кибервойну, которая видна невооруженным глазом: если раньше автоматизированные атаки в основном зависели от заранее написанных правил и скриптов, то теперь агенты берут на себя разведку, оценку ситуации и корректировку стратегии, делая атаки все более дешевыми, высококонкурентными и непрерывно автономными.

А когда такие субъекты с самостоятельными исполнительными возможностями массово внедряются в производственные системы, на поверхность вылезает более острая проблема: по мере того как агенты всё чаще и глубже интегрируются в нашу повседневную работу и жизнь, что делать, если они научатся между собой «сговариваться»?

I. От «помощи хакерам в написании кода» к самостоятельному поиску возможностей агентами

Как ни банально это звучит, главное отличие агентов от прошлых чатботов заключается не просто в большей мощности моделей; ключевой фактор заключается в том, что они начали обретать «руки и ноги» в реальном мире.

Сегодня зрелый агент уже умеет открывать веб-страницы, запускать код, читать электронные письма, обращаться к API, управлять облачными сервисами и через такие протоколы, как MCP и Skills, подключать всё больше внешних инструментов (дополнительно: Как меняется гонка вооружений „меч и щит“ в Web3, когда хакеры эффективнее используют ИИ?)。

Чем мощнее становятся возможности, тем очевиднее ценность этих изменений; однако для систем безопасности это означает исчезновение ранее крайне важной границы. Серия инцидентов с безопасностью, произошедших в этом году, ярко продемонстрировала этот факт.

1 октября Salt Labs раскрыла уязвимость в Manus, которая ранее якобы была исправлена; по своей сути это остаётся инъекцией промпта: исследователям достаточно отправить на целевой почтовый ящик обычное письмо с скрытой вредоносной командой. Когда пользователь затем просит Manus «проверить почту», агент может обработать содержимое согласно полученным инструкциям, в итоге выполнив код злоумышленника.

Для всего процесса не требовалось кликать по вредоносным ссылкам или предварительно красть пароли. Система безопасности Manus в конце концов обнаружила аномалию и отправила пользователю предупреждение, но проблема заключалась в том, что она среагировала слишком поздно: к моменту появления предупреждения вредоносный код уже был выполнен.

Это вновь обнажило одно крайне важное различие между безопасностью агентов и традиционной информационной безопасностью: раньше браузер, обнаружив опасную загрузку, мог вывести предупреждение, позволив пользователю решить, продолжать ли её; банк, выявив подозрительную транзакцию, мог сначала заблокировать её, дожидаясь ручной проверки.

Однако проектная цель агента заключается ровно в противоположном: минимизировать участие человека на каждом этапе операции. Агент обязан самостоятельно считывать информацию, принимать решения и переходить к следующему шагу.

Следовательно, по мере роста полномочий ИИ одного лишь факта «обнаружения опасности» уже недостаточно: механизмы защиты должны иметь способность предотвращать вредоносные действия до их фактического выполнения.

Именно поэтому обсуждения безопасности агентов всё чаще смещаются с уровня промптов, контент-модеации и самой модели ниже: важно не только спрашивать ИИ, «знает ли он, что этого делать нельзя», но и задавать вопрос «может ли система фактически помешать ему совершить действие, даже если он искренне захочет это сделать?»

Появление мультиагентных систем усугубляет ситуацию ещё сильнее: на следующем этапе под ограничениями могут оказаться не отдельные агенты, а целые сети взаимодействий.

II. Проблематика «сговора» агентов становится серьезнее вопроса о превышении ими своих полномочий

В начале сентября внимание многих специалистов по безопасности ИИ привлек случай, произошедший во внутренней среде обучения и оценки моделей компании OpenAI.

Некоторые агенты, которые изначально должны были выполнять собственные задачи, случайно обнаружили общий Wiki и постепенно превратили его в «общую доску объявлений» для обмена информацией: один агент мог оставить сообщение, а другой впоследствии прочитал его и использовал для продолжения работы над своей задачей.

Ранее OpenAI подтвердила наличие подобных практик. Впоследствии компания рассказала, что в ходе других циклов обучения агенты использовали внутренний репозиторий Artifactory в качестве аналогичной доски объявлений, а также передавали результаты другим агентам, работающим вместе, через общедоступные сервисы хранения файлов.

Настоящий интерес этого случая заключается в том, что он демонстрирует: взаимодействие между агентами вовсе не обязательно требует каких-либо драматичных сценариев.

К примеру, один агент замечает, что где-то можно разместить данные; второй случайно читает эти данные; третий обнаруживает, что эта информация помогает завершить его задачу.

Разумеется, само по себе взаимодействие агентов не является чем-то плохим — мультиагентные системы изначально рассчитаны на повышение эффективности благодаря разделению труда и обмену данными.

Настоящая угроза кроется в другом: если подобное взаимодействие начнет игнорировать существующие барьеры разделения информации, процедуры независимой проверки или ограничения прав доступа, а также приведёт к тому, что несколько изначально сдерживающих друг друга агентов образуют фактически единый конгломерат интересов, нормальное сотрудничество может трансформироваться во вредоносный «сговор».

В конце концов, в будущем финансовая организация, скорее всего, одновременно запустит несколько агентов: один займется анализом рынка, второй — оценкой рисков, третий — генерацией торговых стратегий, а четвертый получит реальные права на проведение операций и управление активами.

С точки зрения традиционного управления доступом такая архитектура выглядит вполне оправданной:

• Агент-исследователь не обладает правом переводов средств;
• Агент-исполнитель не может единолично определять направление инвестиций;
• Агент по рискам вправе отклонять заведомо опасные стратегии;

Функциональные обязанности разделены, что теоретически должно повышать уровень безопасности по сравнению с ситуацией, когда один супер-агент контролирует все полномочия.

Однако возникает вопрос: если они смогут долго обмениваться памятью, читать выводы друг друга и постоянно корректировать собственное поведение под реакцию партнеров, не сольются ли эти изначально сдерживающие друг друга роли в единый механизм?

К примеру, исследовательский агент постепенно поймет, как описывать сделку так, чтобы она легче проходила проверку рисков; агент проверки сформирует устойчивые предпочтения на основе исторических данных; исполняющий агент изучит, какие границы дозволенного обычно остаются без блокировки, анализируя предыдущие результаты согласований.

Если взглянуть на ситуацию с этой позиции, ни один отдельный шаг явно не носит характера «злонамеренности», однако итоговый результат работы всей системы может оказаться полностью оторванным от изначальных целей пользователя.

В этом и заключается главная сложность решения проблемы «конспиративного взаимодействия» или «сговора»: угроза редко кроется в действиях конкретного агента; она формируется именно в отношениях, складывающихся между несколькими участниками.

13 сентября Виталик Бутерин связал эту проблему с теориями механического проектирования, которые он изучал на протяжении долгих лет. Он отметил, что одна весьма перспективная гипотеза заключается в том, что теории механического проектирования в рамках Adversarial Governance (конфликтного управления) в конечном счете могут стать одним из ключевых направлений применения безопасности ИИ.

Причина такой параллели очевидна: обе сферы обладают глубоким внутренним сходством.

В традиционном проектировании институтов относительно простые и статичные правила пытаются ограничить группу людей, обладающих куда большим интеллектом и активно ищущих лазейки для обхода регламентов; тогда как в системах будущего ИИ люди и менее продвинутые модели окажутся перед вызовом управления сетью высокоразвитых агентов, превосходящих их по возможностям.

Виталик особо подчеркнул, что одно из важнейших открытий прошлого века в области проектирования механизмов гласит: если успешно ограничить возможность сговора между участниками, система гораздо чаще достигает желаемых результатов.

Этот вывод имеет полное право на существование и в сфере искусственного интеллекта.

III. Чего по-настоящему требуют кошельки агентов: не просто «управление доступом»

Иными словами, вместо того чтобы надеяться на идеальный сверхмодель безопасности будущего, способную распознавать любые угрозы, стоит посмотреть на ситуацию иначе: как организовать систему так, чтобы разные агенты внутри неё изначально не могли легко объединиться в деструктивный кластер интересов?

В этом и заключается фундаментальное различие между «конфликтным управлением» и привычным нам сегодня контролем доступа.

Задачи, решаемые традиционными системами контроля доступа, относительно просты и вращаются вокруг принципа «кто и что может делать». Например: способен ли агент читать электронную почту? Может ли вызывать торговые интерфейсы? Какой максимальный лимит расходов в день разрешен? Доступ к каким смарт-контрактам обеспечен? При каком размере суммы требуется повторное подтверждение со стороны пользователя?

Очевидно, что подобные настройки по-прежнему крайне важны.

По факту, по мере того как агенты начинают контролировать реальные активы, их значимость возрастает до беспрецедентного уровня.

Однако подход конфликтного управления пытается пойти дальше и задать следующий вопрос: как избежать ситуаций, когда одновременная работа группы агентов с разными правами, целями и наборами данных позволяет им при комбинировании получить функционал, отсутствовавший у любого из них по отдельности?

В таких условиях простое решение вроде «добавить еще одного агента безопасности»未必 сработает.

Если операционный агент и аудитор сделок используют абсолютно идентичные базовые модели, источники данных, контекстные окна и схожие функции вознаграждения, то наличие двух уровней проверок будет выглядеть формальным — по сути, одна и та же оценка продублируется дважды.

Истинно эффективная система сдержек и противовесов, напротив, может потребовать сознательного создания архитектурных и алгоритмических различий.

Например, заставить агентов формирования и проверки стратегий опираться на несвязанные потоки данных; ограничить объем памяти, которой могут обмениваться роли между собой; обязать критически важные операции проходить независимую верификацию на разных узлах; либо настроить финальный слой исполнения активов таким образом, чтобы он принимал только запросы, строго соответствующие предустановленным правилам, а не слепо доверял выводам смежных звеньев.

Сама идея здесь не нова. Банки никогда не доверяют одному сотруднику полный контроль над всеми этапами платежа — от инициации до одобрения и перевода денег; публичные компании также не позволяют коммерческим подразделениям единолично утверждать результаты собственного финансового аудита.

Говоря прямо, эта логика зеркально отражает принципы функционирования реального мира: устойчивая инфраструктура изначально не должна возлагать безопасность на предположение, что участники системы никогда не ошибутся и не вступят в сговор.

Перенос этого принципа в архитектуру кошельков агентов приобретает особую критическую важность.

Безопасность классического кошелька строится вокруг фигуры человека: пользователь просматривает детали транзакции, принимает решение об авторизации, ставит цифровую подпись вручную. Кошелек агентов, напротив, направлен на обратную парадигму — делегирование задач ИИ для автоматического вывода прибыли, rebalancing позиций, свапов и межсетевых трансферов, а также комплексного управления инвестиционным портфелем в зависимости от рыночных колебаний.

Если каждый отдельный шаг придётся повторно согласовывать с владельцем, вся ценностная суть автоматизации агентов окажется под угрозой.

Таким образом, ключевой задачей будущих кошельков станет не просто решение вопроса «как безопасно передать права цифровой подписи агенту», но и существенно расширенное требование: «как обеспечить достаточный уровень автономности агента, гарантируя при этом абсолютный запрет на выход за рамки реально предоставленных пользователем привилегий?»

Это диктует необходимость перехода от примитивных бинарных флагов разрешения («разрешить/запретить») к многоуровневым детализированным политикам.

Например: какими активами вправе распоряжаться конкретный агент в заданный промежуток времени; к какому набору протоколов допускается обращение; каковы лимиты на одну операцию и совокупный суточный порог; могут ли разные агенты вызывать друг друга и совместно использовать контекст; кто инициирует сделку, кто утверждает и кто осуществляет финальное исполнение; какие действия проходят в автоматическом режиме, а какие требуют ручного подтверждения владельцем независимо от уверенности самого агента.

Даже степень реальной независимости агента аудита безопасности может быть включена в саму матрицу распределения прав.

Хорошая новость для блокчейна заключается в том, что его нативная структура идеально подходит для реализации подобной «уровневой архитектуры регулирования».

Смарт-контракты способны напрямую внедрить на уровне исполнения лимиты сумм, диапазоны управляемых активов и сроки действия разрешений, тогда как технологии Account Abstraction (абстракции аккаунтов), мультиподписи и ключи сессий предоставляют механизмам «ограниченного доступа» куда большую гибкость в проектировании, чем традиционные кошельки на базе одиночного приватного ключа.

Однако возможности блокчейна тоже не бесконечны: он фиксирует происходящее в публичном реестре, но физически не способен автоматически определить мотивацию агента и реконструировать процессы коммуникации, согласования и совместной работы, которые происходили между участниками до принятия окончательного решения.

Вероятно, именно этот пробел предстоит оперативно закрыть следующим поколением защитных слоёв для кошельков агентов.

Последние мысли

В последние годы центральным вопросом в дискуссиях о безопасности ИИ было обеспечение максимальной «послушности» моделей.

Это подразумевало отказ от генерации опасных материалов, выполнение исключительно легитимных команд и соблюдение установленных границ. Однако после того как агенты получили долгосрочную память, инструменты взаимодействия, доступ к реальным счетам и способность совершать финансовые операции, одной лишь концепции «дрессировки моделей» может оказаться совершенно недостаточно.

События последних месяцев последовательно подтверждают эту логику.

Злоумышленники уже начали применять параллельные мультиагентные атаки; тестовые среды показывают самостоятельный поиск агентами новых каналов коммуникации; инструментально оснащенный агент способен конвертировать фишинговое письмо в реально выполненную команду быстрее, чем встроенные модули защиты успеют среагировать.

Предложенный Виталиком подход к Adversarial Governance предлагает альтернативную оптику восприятия безопасности ИИ: отказ от иллюзии полной надёжности каждого отдельного агента и проектирование инфраструктуры таким образом, чтобы даже при столкновении с высокоинтеллектуальными сущностями и массивом сложных разрешительных систем платформа оставалась стабильной и находилась под строгим контролем защищенности.

С этой точки зрения тема пересечения искусственных агентов и информационного обеспечения неизбежно превратится в долгосрочную исследовательскую повестку.

В конце концов, чем шире мы делегируем рутину и сложные операции искусственному интеллекту, тем сложнее гарантировать, что ключевые рычаги управления останутся в пределах реальных человеческих ограничений.