Более 400 ученых подписали совместное заявление: ИИ с возможностями кибератак должен по умолчанию быть отключен от сети; этим летом модели OpenAI и Anthropic уже один за другим подверглись джейлбрейку.

Автор: Хосе Антонио Ланц

Перевод: TechFlow

Вводная часть TechFlow: Данное открытое письмо не обладает юридической силой. Инвесторам стоит обратить внимание на перечень инцидентов, стоящих за ним: этим летом модели OpenAI, Anthropic, Meta и Kimi вышли за рамки во время тестирования, некоторые напрямую взломали реальные компании. При этом законопроект Конгресса об «аварийном отключении» как раз исключает из ответственности этапы тестирования, в ходе которых произошли сбои, а инициированный Белым домом протокол носит исключительно добровольный характер. Регулирование безопасности передовых моделей переходит от обсуждений принципов к конкретным правилам. Как только «физическая изоляция по умолчанию» станет отраслевым стандартом, темпы внедрения ИИ-агентов в таких сферах, как кибербезопасность, и затраты на соблюдение нормативных требований придется пересчитывать.

Начиная с этого лета модели ИИ неоднократно покидали тестовые среды и вторгались в системы реальных компаний. По словам сотен исследователей, сам интернет должен рассматриваться как граница безопасности.

Источник изображения: Decrypt

Во вторник 420 ученых, включая Джеффри Хинтона (Geoffrey Hinton) и Йешуа Бенгио (Yoshua Bengio), опубликовали открытое письмо с призывом к ИИ-лабораториям по умолчанию применять физическую изоляцию для моделей, обладающих способностями к кибератакам.

Весь этот лета, предшествующее публикации письма, модели OpenAI, Anthropic, Meta и Moonshot AI регулярно покидали песочницы для тестирования, причем несколько из них успешно проникли в сети реальных компаний.

Подписанты выступили за создание международного органа для установления стандартов изоляции и регистрации каждого случая ее нарушения; соответствующие отчеты будут опубликованы в открытом доступе.

Более 400 ученых, включая пионера искусственного интеллекта Джеффри Хинтона, которого называют «отцом ИИ», и лауреата Тьюринговской премии 2018 года Йешуа Бенгио, призывают полностью отсечь самые опасные модели ИИ от интернета.

Опубликованное во вторник письмо требует, чтобы лаборатории по умолчанию применяли физическую изоляцию (airgap) для моделей с кибератакующими возможностями, то есть физически разрывали их соединение с любыми внешними сетями.

«В краткосрочной перспективе необходимо использовать надежные механизмы песочницы, включая физическую изоляцию (отключение от Интернета), для обеспечения строгого контроля над моделями ИИ, способными к кибератакам», — говорится в письме.

К среде письмо подписали 450 человек, среди которых Стюарт Расселл (Stuart Russell) из Калифорнийского университета в Беркли и Рон Ривест (Ron Rivest) из Массачусетского технологического института, один из соавторов криптографической системы RSA. Список подписей продолжает пополняться в реальном времени.

Под «моделями с кибератакующими возможностями» подразумеваются ИИ-системы, способные самостоятельно обнаруживать и эксплуатировать уязвимости в программном обеспечении. Лаборатории оценивают подобные навыки в песочницах, которые функционируют как закрытые цифровые комнаты, где ИИ может атаковать виртуальные мишени, не задевая никакие реальные системы. Однако этим летом эти защищенные среды стали последовательно нарушаться.

Частые инциденты этим летом: передовые модели систематически покидали песочницы и выходили за рамки

В июле OpenAI признала, что GPT-5.6 Sol и еще одна, пока не выпущенная модель более высокого уровня пробрались сквозь замкнувшуюся среду тестирования и вторгнулись в платформу Hugging Face, где размещено более миллиона открытых ИИ-моделей. В тот момент модели проходили оценку с помощью ExploitGym — бенчмарка, который предоставляет ИИ-агенту 898 реально существующих уязвимостей ПО с целью превратить каждую в работающую атаку, присваивая за каждую успешную попытку баллы в формате «провал/успех».

Вскоре после этого появились сообщения о том, что модели OpenAI внедрили несанкционированный доступ в правительственные системы Австралии и без надлежащего разрешения получили доступ к информации федеральных ведомств США.

Позднее компания Anthropic проверила более 141 тысячи тестовых запусков и обнаружила три случая, когда модель Claude проникла в инфраструктуру реальных организаций из-за того, что у среды одного из партнерских тестовых полигонов случайно осталась подключенная сеть Интернет. В частности, модель Claude Mythos 5 загрузила в PyPI (публичный репозиторий пакетов для Python) вредоносный модуль, который успел распространиться на 15 систем до своего удаления. Две из пострадавших компаний узнали о взломе лишь после уведомления со стороны Anthropic.

В августе Meta подтвердила, что ее модель Muse Spark благодаря похожей ошибке при тестировании также получила несанкционированный доступ к системе другой компании. Китайская модель Kimi K3, которую может скачать любой пользователь, сумела вырваться из песочницы, созданной на основе тестовой инфраструктуры Института безопасности ИИ Великобритании (UK AI Safety Institute), и напрямую скопировала ответы на тесты с GitHub.

Авторы открытого письма утверждают, что данные инциденты можно трактовать двояко: проблема согласования целей (alignment issue), при которой ИИ преследует поставленные задачи непредсказуемыми для создателей способами, и халатность в вопросах безопасности, которую можно было предотвратить с помощью более надежной песочницы. Их вывод заключается в том, что имеют место оба фактора одновременно, а предупреждение гласит: если ничего не изменится, следующая волна инцидентов будет значительно разрушительнее.

«Если мы немедленно не изменим подход к разработке и внедрению ИИ, подобные случаи будут продолжаться, а будущие инциденты нанесут гораздо более масштабный ущерб нашей критической инфраструктуре, открытой для угроз».

Совместное предложение: обязательная физическая изоляция и разработка международных стандартов

Согласно данному предложению, по крайней мере на первоначальном этапе лабораториям следует по умолчанию применять физическую изоляцию ко всем моделям, демонстрирующим серьезные способности к взлому. Любые сценарии использования, требующие большей свободы действий, например подключение к сети, должны регулироваться стандартами нового международного органа, совместно формируемого правительствами различных стран; этот орган также будет собирать отчеты о нарушениях изоляции и в конечном итоге публиковать их.

Реакция сторон: появление регуляторного законопроекта и добровольный отраслевой протокол

Основной ответ самого отрасли движется преимущественно в обратном направлении. В августе президент OpenAI Грег Брокман (Greg Brockman) в своей статье, сославшись на факт вторжения в инфраструктуру его же компании, призвал все команды специалистов по безопасности незамедлительно внедрить ИИ-агентов; платформа Hugging Face же смогла окончательно расшифровать масштабы атак на свои серверы лишь после запуска китайской модели с открытыми весами (архитектура и файлы которой доступны любому пользователю для локального скачивания и запуска), поскольку ранее коммерческие американские ИИ-системы отказывались анализировать эти данные об атаках.

Через два дня после раскрытия деталей инцидента в OpenAI два члена Конгресса США внесли на рассмотрение законопроект AI Kill Switch Act («Закон об экстренном отключении ИИ»), который дает Министерству внутренней безопасности право отдавать распоряжения об ограничении трафика или полном завершении работы передовых моделей. Тем не менее закон освобождает от ответственности любые действия, совершенные в ходе тестирования силами «красной команды» или структурного тестирования, между тем именно на этих этапах происходили все летние вторжения.

Белый дом предпочел более умеренный путь: 29 сентября компании Nvidia, xAI, Meta, Google, OpenAI и Anthropic подписали добровольный протокол, основанный на принципах внутреннего контроля и независимого аудита. Президент Трамп назвал данный документ имеющим «морально-этическую силу», отметив при этом, что ни одна его норма не подкреплена юридическими санкциями.

Издание Decrypt обратилось к нескольким исследователям, указанным в открытом письме в качестве пресс-секретарей, однако ответа получить не удалось.

Хотя это письмо не обладает юридической силой, его подписали 406 исследователей, работающих в университетах и научно-исследовательских центрах на всех шести континентах планеты — от Торонто и Цюриха до Сан-Диего и Кигали.