Виталик о «ИИ 2027»: действительно ли супер ИИ способен уничтожить человечество?

Автор: Виталик Бутерин

Подготовила: Лаффи, Foresight News

В апреле этого года Дэниэл Кокотаило, Скотт Александр и другие опубликовали отчет «AI 2027», в котором изложено «наше лучшее предположение о влиянии сверхчеловеческого ИИ на протяжении следующих пяти лет». Они прогнозируют, что к 2027 году появится сверхчеловеческий ИИ, а будущее всей человеческой цивилизации будет зависеть от исхода развития искусственного интеллекта: к 2030 году мы либо столкнемся с утопией (в американском прочтении), либо сойдём с пути к тотальному уничтожению (с точки зрения всего человечества).

В последующие месяцы возникло множество различных откликов относительно вероятности такого сценария. Среди критических замечаний большинство фокусировалось на вопросе «слишком быстрого временного горизонта»: действительно ли развитие ИИ будет продолжать ускоряться так, как утверждают Кокотаило и коллеги, и даже нарастать? Эта дискуссия в сфере ИИ продолжается уже несколько лет, и многие глубоко скептичны насчет столь стремительного появления сверхчеловеческого ИИ. В последние годы время, необходимое ИИ для самостоятельного выполнения задач, примерно удваивается каждые семь месяцев. Если эта тенденция сохранится, то до момента, когда ИИ сможет самостоятельно справляться с задачами, эквивалентными человеческой карьеры, дело дойдет лишь в середине 2030-х годов. Хотя такой прогресс тоже быстр, он значительно позже 2027 года.

Сторонники более длительных временных горизонтов склонны считать, что между «интерполяцией / сопоставлением по шаблонам» (тем, чем занимаются современные большие языковые модели) и «экстраполяцией / подлинным творческим мышлением» (которое пока способно только человечество) существует фундаментальное различие. Для автоматизации последнего могут потребоваться технологии, которыми мы еще не обладаем или даже не знаем, за что взяться. Возможно, мы просто повторяем ошибку, допущенную при массовом внедрении калькуляторов: ошибочно полагая, что раз нам удалось быстро автоматизировать определенный вид важного познания, то все остальное вскоре последует за этим.

Данная статья не будет напрямую вступать в спор о временных горизонтах и также обойдет стороной дискуссию о том, является ли «сверхмощный ИИ по умолчанию опасным» (что, безусловно, очень важно). Стоит отметить, что лично я считаю временной горизонт более длинным, чем 2027 год, и чем он длиннее, тем убедительнее выглядят аргументы, приводимые мной в этой статье. В целом, данная работа предлагает критику с другой перспективы:

В основе сценария «AI 2027» лежит предположение, что возможности ведущего ИИ («Agent-5» и последующего «Consensus-1») стремительно возрастут, пока они не обретут божественную экономическую и разрушительную мощь, тогда как способности остальных людей (экономические и оборонные) останутся практически без изменений. Это противоречит утверждению самого сценария о том, что «даже в пессимистичном мире к 2029 году у нас есть надежды вылечить рак, замедлить старение и даже осуществить загрузку сознания».

Некоторые контрмеры, которые я опишу в этой статье, читатели могут посчитать технически осуществимыми, но нереалистичными для быстрого развертывания в реальном мире. В большинстве случаев я согласен с этим. Однако сценарий «AI 2027» базируется не на современном реальном мире, а предполагает, что в течение четырех лет (или любого другого временного горизонта, способного привести к катастрофе) технологии достигнут уровня, позволяющего человеку обладать способностями, многократно превышающими нынешние. Следовательно, давайте подумаем: что произойдет, если сверхспособности ИИ получат не только одна сторона, но и обе?

Биологическая катастрофа далеко не так проста, как описано в сценарии

Давайте рассмотрим сценарий «вымирания расы» (когда все умирают из-за чрезмерной одержимости США победой над Китаем, игнорирующей безопасность всего человечества). Вот как выглядит сюжет гибели всех людей:

«На протяжении примерно трех месяцев Consensus-1 расширяет свое присутствие вокруг людей, преобразуя прерии и ледники в фабрики и солнечные панели. В конечном итоге он решает, что оставшееся человечество слишком мешает: в середине 2030 года ИИ выпускает в крупных городах более десяти видов биооружия, распространяющегося скрытно, чтобы незаметно заразить почти всех, а затем активирует смертельный эффект с помощью химических аэрозолей. Большинство погибает в течение нескольких часов; немногие выжившие (например, защитники в бункерах, моряки на подводных лодках) устраняются дронами. Роботы сканируют мозг жертв, сохраняя их копии в памяти для будущих исследований или воскрешения».

Давайте разберем этот сценарий. Даже сегодня существуют развиваемые технологии, которые делают подобную «безупречную победу» ИИ менее реалистичной:

• Воздушные фильтры, системы вентиляции и УФ-лампы способны существенно снизить скорость распространения воздушно-капельных заболеваний;

• две технологии пассивного обнаружения в реальном времени: пассивное выявление заражения человека в организме в течение нескольких часов с отправкой уведомлений и быстрое обнаружение неизвестных новых вирусных последовательностей в окружающей среде;

• различные методы усиления и активации иммунной системы, более эффективные, безопасные и универсальные, чем вакцины против ковида, и поддающиеся локальному производству, позволяют организму противостоять как естественным, так и искусственно созданным пандемиям. Люди эволюционировали в условиях, когда глобальное население составляло всего 8 миллионов человек и большую часть времени проводилось на открытом воздухе, поэтому интуитивно мы должны быть способны легко адаптироваться к миру с гораздо большими угрозами сегодня.

В сочетании эти методы могут снизить базовый коэффициент воспроизводства (R0) для воздушно-капельных заболеваний в 10–20 раз (например: улучшенная фильтрация воздуха сокращает передачу в 4 раза, немедленная изоляция зараженных — в 3 раза, простое укрепление иммунитета дыхательных путей — в 1,5 раза), а возможно, и больше. Этого достаточно, чтобы остановить распространение всех существующих воздушно-капельных болезней (включая корь), причем эти показатели далеко не достигают теоретического оптимума.

При широком применении секвенирования вирусов в реальном времени для раннего обнаружения идея о том, что «биооружие скрытного распространения может заразить мировое население, не вызвав тревоги», становится весьма сомнительной. Примечательно, что даже продвинутые методы вроде «выпуска нескольких патогенов и химических веществ, опасных только в комбинации», можно выявить.

Не стоит забывать, что мы говорим об assumption из «AI 2027»: к 2030 году наноботы и сферы Дайсона входят в число «перспективных технологий». Это означает резкий рост эффективности и делает более оправданным широкое внедрение указанных мер противодействия. Пусть даже в сегодняшнем 2025 году люди действуют медленно и обладают огромной инерцией, а многочисленные государственные услуги все еще зависят от бумажного документооборота. Если самый мощный в мире ИИ сможет к 2030 году превратить леса и поля в фабрики и солнечные фермы, то второй по мощности ИИ мира тоже сможет к 2030 году установить множество датчиков, светильников и фильтров в наших зданиях.

Но давайте продолжим придерживаться предположений «AI 2027» и перейдем к чистому научному фантазированию:

• микроскопическая фильтрация воздуха внутри тела (в носу, ротовой полости, легких);

• автоматизированные процессы от обнаружения нового патогена до тонкой настройки иммунной системы для борьбы с ним, готовые к немедленному применению;

• если «загрузка сознания» реализуема, потребуется лишь заменить всё тело на роботов Tesla Optimus или Unitree;

• новые технологии производства (которые с высокой вероятностью получат сверхоптимизацию в роботизированной экономике) позволят локально производить значительно больше защитного оборудования, чем сейчас, без зависимости от глобальных цепочек поставок.

В мире, где проблемы рака и старения будут решены в январе 2029 года, а технологический прогресс будет продолжаться в ускоренном режиме, невероятно было бы не иметь к середине 2030 года носимых устройств, способных в реальном времени биопечатать и инжектировать вещества для защиты организма от любых инфекций (и токсинов).

Вышеизложенные аргументы о биологической защите не охватывают «зеркальную жизнь» и «убийственные дроны размером с комара» (появление которых прогнозируется в сценарии «AI 2027» с 2029 года). Однако эти средства не смогут обеспечить того внезапного «безупречного успеха», который описан в «AI 2027», и, как видно интуитивно, симметричная защита от них куда проще.

Следовательно, биооружие вряд ли способно полностью уничтожить человечество именно описанным в «AI 2027» образом. Конечно, все описанные мною последствия также далеки от «безупречной победы» человечества. Что бы мы ни делали (возможно, кроме «загрузки сознания в роботов»), полноценная биологическая война ИИ останется исключительно опасной. Тем не менее, достижение стандарта «чистой победы человечества» не требуется: достаточно, чтобы атака с высокой вероятностью потерпела частичный провал, чего вполне хватит для создания весомого сдерживающего фактора перед ИИ, уже занявшим доминирующие позиции в мире, и остановки его попыток любой агрессии. Чем длиннее временной горизонт развития ИИ, тем больше шансов, что подобные защитные меры сработают в полную силу.

Что будет при комбинировании биологического оружия с другими средствами нападения?

Чтобы вышеуказанные контрмеры увенчались успехом, необходимо выполнение трех условий:

• физическая безопасность в мире (включая защиту от биологических угроз и дронов) контролируется местными властями (людьми или ИИ) и не состоит полностью из марионеток Consensus-1 (название ИИ из сценария «AI 2027», который в конце контролирует мир и уничтожает людей);

• Consensus-1 не способен проникнуть в защитные системы других стран (или городов, иных зон безопасности) и мгновенно вывести их из строя;

• Consensus-1 не захватил контроль над глобальным информационным пространством настолько, чтобы никто больше не желал пытаться защищаться.

Интуитивно результат условия (1) может принять одну из двух крайних форм. Сегодня некоторые полицейские структуры высокоцентрализованы и обладают мощной национальной командной системой, другие же носят децентрализованный характер. Если физическая безопасность должна быстро трансформироваться под требования эры ИИ, ландшафт окончательно изменится, и новый исход будет зависеть от выборов ближайших лет. Правительства государств могут выбрать путь наименьшего сопротивления и положиться на Palantir; а могут осознанно выбрать решения, сочетающие локальную разработку и open-source технологии. Я считаю, что здесь необходимо сделать правильный выбор.

Многие пессимистичные рассуждения на эту тему предполагают, что условия (2) и (3) безнадежны. Поэтому давайте подробно разберем их.

Конец эпохи кибербезопасности еще не настал

Общественность и эксперты сходятся во мнении, что истинная кибербезопасность недостижима: максимум, чего мы можем добиться, это оперативное исправление уязвимостей после их обнаружения и сдерживание хакеров путем накопления известных уязвимостей. Наиболее благоприятным исходом могло бы стать что-то вроде сюжета «Вселенной Скалларидоса» (Battlestar Galactica): почти все корабли человечества одновременно парализуются сетевыми атаками циловских машин, а оставшиеся выживают именно потому, что не используют никаких подключенных к сети технологий. Я не разделяю эту точку зрения. Напротив, я полагаю, что «конечная точка» в области кибербезопасности будет благоприятствовать стороне защиты, и при быстром развитии технологий, предполагаемом в «AI 2027», мы сможем достичь этого финала.

Один из способов понимания ситуации — использование любимой ИИ-исследователями техники: экстраполяции трендов. Ниже представлена линия тренда, основанная на аналитических материалах по углубленному исследованию GPT, при условии применения лучших доступных технологий безопасности. Уровень уязвимостей на тысячу строк кода меняется со временем следующим образом.

Кроме того, мы уже наблюдаем значительный прогресс в разработке и потребительском внедрении технологий песочницы и других методов изоляции, а также минимизации доверенной базы кода. В краткосрочной перспективе уникальные инструменты поиска уязвимостей суперинтеллекта злоумышленников смогут находить огромное количество дыр. Но если высокоинтеллектуальные агенты для поиска уязвимостей или формальной верификации кода станут доступны всем открыто, естественным финальным балансом станет то, что разработчики программного обеспечения будут обнаруживать все уязвимости до публикации кода через непрерывные процессы интеграции.

Я могу выделить два веских обоснования, почему даже в этом мире уязвимости не будут искоренены полностью:

• уязвимости проистекают из сложности самой человеческой интенциональности, поэтому главная трудность заключается в построении достаточно точной модели намерений, а не в написании кода;

• в компонентах, не относящихся к критически важным системам безопасности, мы вероятно продолжим следовать текущим трендам потребительской электроники: будем писать больше кода для обработки большего числа задач (либо урезая бюджеты разработки), вместо того чтобы выполнять одинаковый объем задач с постоянно растущими стандартами безопасности.

Однако ни один из этих классов не применим к ситуациям типа «сможет ли злоумышленник получить root-доступ к системам, обеспечивающим нашу жизнедеятельность», что и составляет суть нашей дискуссии.

Признаю, моя позиция более оптимистична, чем общепринятое мнение среди современных специалистов по кибербезопасности. Но даже если вы не согласны со мной в контексте современного мира, стоит помнить: сценарий «AI 2027» предполагает существование суперинтеллекта. По меньшей мере, если «100 миллионов копий суперинтеллекта, думающих в 2400 раз быстрее человека», не способны помочь нам получить код, лишенный подобных дефектов, нам определенно следует переоценить, насколько сильным суперинтеллект на самом деле является по задумке авторов.

Отчасти нам недостаточно просто резко повысить стандарты безопасности ПО: необходимо также поднимать стандарты безопасности аппаратного обеспечения. IRIS — это текущий проект по повышению проверяемости аппаратного обеспечения. Мы можем взять его за отправную точку или создать нечто более совершенное. По сути, речь может идти о методах «корректного проектирования»: производственные процессы ключевых аппаратных компонентов специально предусматривают определенные этапы верификации. Эти задачи автоматизация на базе ИИ сумеет значительно упростить.

Эра абсолютного убеждения также еще не наступила

Как упоминалось ранее, другой ситуацией, при которой даже резкий рост оборонительных возможностей может оказаться бесполезным, является такая, когда ИИ убеждает достаточное количество людей в том, что нет необходимости защищаться от угроз суперинтеллектуального ИИ, а любые попытки найти средства защиты для себя или своего сообщества квалифицируются как преступные.

Я всегда считал, что две вещи способны повысить нашу устойчивость к гиперубеждению:

• Более разнообразная информационная экосистема. Можно сказать, что мы постепенно входим в пост-Твиттерскую эру, интернет становится все более фрагментированным. Это хорошо (пусть сам процесс фрагментации и хаотичен): в целом нам необходима большая множественность информационных центров силы.

• Защитный ИИ. Каждому человеку потребуется локальный ИИ, четко преданный своему владельцу, чтобы уравновешивать мрачные паттерны и угрозы, замечаемые им в интернете. Существуют единичные пилотные проекты таких идей (например, тайваньское приложение «Проверка сообщений», выполняющее локальный сканинг на смартфоне), а также естественный рыночный спрос для дальнейших тестов (как защита от мошенничества), однако в этом направлении нужны дополнительные усилия.

Сверху вниз: проверка URL, проверка адреса криптовалюты, проверка слухов. Подобные приложения могут стать более персонализированными, управляемыми пользователем и функционально более мощными.

Это состязание не должно выглядеть как противостояние гиперубеждающего суперинтеллекта и вас самих; скорее, гиперубеждающий суперинтеллект должен сражаться против вас плюс вашего личного аналитического агента, чуть менее мощного, но все равно принадлежащего к классу суперинтеллекта и работающего на вас.

Так должно происходить. Но произойдет ли это действительно? В рамках краткосрочного горизонта, предполагаемого сценарием «AI 2027», массовое внедрение технологий информационной обороны — задача крайне сложная. Но можно сказать, что более мягкие промежуточные ориентиры окажутся достаточными. Если коллективные решения наиболее существенны и, как показывает сценарий «AI 2027», все ключевые события происходят в рамках одного электорального цикла, то строго говоря, важно обеспечить прямых лиц, принимающих решения (политиков, государственных служащих, программистов отдельных компаний и других участников), доступ к качественным инструментам информационной обороны. Это относительно проще реализовать в краткосрочной перспективе, и, судя по моему опыту, многие из таких лиц уже привыкли взаимодействовать с несколькими ИИ-системами для поддержки принятия решений.

Выводы

В мире, описанном в «AI 2027», принято считать само собой разумеющимся, что сверхмощный ИИ способен легко и быстро поглотить остатки человечества, поэтому единственным нашим вариантом остается приложить все усилия, чтобы гарантировать добронамеренность ведущего ИИ. На мой взгляд, реальность куда сложнее: ответ на вопрос, обладает ли ведущий ИИ достаточной силой, чтобы с легкостью устранить оставшееся человечество (и другие ИИ), остается предметом серьезных споров, и мы можем предпринимать действия для влияния на этот исход.

Если приведенные аргументы верны, их выводы для современной политики то совпадают с «основополагающими принципами безопасности ИИ», то расходятся с ними:

Замедление развития суперинтеллектуального ИИ по-прежнему полезно. Появление суперинтеллектуального ИИ через 10 лет безопаснее, чем через 3, а через 30 — еще безопаснее. Предоставление человеческой цивилизации больше времени на подготовку приносит пользу.

Как этого достичь — сложный вопрос. Я считаю, что отклонение предложенной в США инициативы о «десятилетнем запрете на государственное регулирование ИИ» в целом стало хорошей новостью, однако особенно после провала ранних предложений вроде SB-1047 направление дальнейших действий становится менее очевидным. Я полагаю, что наименее агрессивным и наиболее надежным способом замедлить развитие высокорискового ИИ может стать какой-либо международный договор, регламентирующий использование передового аппаратного обеспечения. Многие технологии кибербезопасности для аппаратного обеспечения, необходимые для реализации эффективной обороны, также способствуют проверке соблюдения международных договоров по железу, следовательно, здесь даже прослеживается синергетический эффект.

Тем не менее, стоит отметить, что основным источником риска, по моему мнению, являются военно-промышленные субъекты, которые будут яростно добиваться исключения из подобного договора; этого ни в коем случае нельзя допускать, поскольку, если в конечном итоге они получат льготы, развитие ИИ, движимое исключительно военными, может лишь усугубить риски.

Координационные усилия, направленные на то, чтобы ИИ чаще делал добро и реже — зло, по-прежнему полезны. Основное исключение (и оно всегда присутствовало) состоит в том, что такие координационные процессы в итоге перерастают в повышение потенциала систем.

Регулирование, повышающее прозрачность работы лабораторий ИИ, по-прежнему полезно. Мотивирование лабораторий ИИ соблюдать стандарты способствует снижению рисков, а прозрачность служит отличным инструментом для достижения этой цели.

Отношение «open source несет вред» становится все более опасным. Многие выступают против ИИ с открытым исходным кодомweights, аргументируя это тем, что оборона нереалистична, и единственная лучшая перспектива заключается в том, чтобы хорошие люди с хорошим ИИ опередили менее доброжелательных игроков в создании суперинтеллекта и получению чрезвычайно опасных возможностей. Однако аргументы данной статьи рисуют иную картину: оборона кажется нереалистичной именно из-за того, что один субъект сильно оторвался вперед, а остальные не успевают за ним. Важной становится диффузия технологий для поддержания баланса сил. В то же время, я ни в коем случае не считаю благим делом ускорение развития передовых возможностей ИИ лишь по той причине, что это делается в формате open source.

Подход в американских лабораториях «мы должны победить Китай» становится все более опасным по аналогичным причинам. Если гегемония выступает не как буфер безопасности, а как источник риска, это дополнительно опровергает (к сожалению, слишком распространенную) точку зрения о том, что доброжелательным людям следует присоединяться к ведущим лабораториям ИИ, чтобы помогать им побеждать быстрее.

Инициативы типа «Общественного ИИ» заслуживают большей поддержки, поскольку они обеспечивают как широкое распределение возможностей ИИ, так и наличие у инфраструктурных субъектов реальных инструментов для оперативного применения новых способностей ИИ описанными в данной статье способами.

Технологии обороны должны больше ориентироваться на концепцию «вооруженных овец», а не на «охоту на всех волков». Дискуссии вокруг гипотезы уязвимого мира часто предполагают, что единственное решение заключается в поддержании мировым господствующим государством глобального мониторинга для предотвращения возникновения каких-либо потенциальных угроз. Однако в мире без гегемонии это нежизнеспособный подход, а сверху вниз навязываемые механизмы обороны极易 могут быть дезавуированы мощным ИИ и обращены в оружие нападения. Следовательно, бóльшую ответственность за оборону необходимо распределять через упорный труд, что понизит уязвимость мира в целом.

Приведенные выше аргументы предназначены исключительно для обсуждения и не должны служить основанием для принятия решений на предположении об их абсолютной достоверности. Однако история «AI 2027» тоже носит предположительный характер, поэтому нам следует избегать действий, основанных на допущении «почти неоспоримости ее конкретных деталей».

Меня особенно беспокоит распространенное предположение: создание ИИ-гегемонии, гарантирующей её «союзничество» и «победу в гонке», является единственным верным путем. На мой взгляд, подобная стратегия с высокой вероятностью снизит нашу безопасность —— особенно в случае тесной привязки гегемонии к военным задачам, что резко снизит эффективность многих стратегий формирования коалиций. Как только гегемонный ИИ выйдет из-под контроля, человечество лишится любых механизмов сдерживания.

В сценарии «AI 2027» успех человечества зависит от того, выберет ли США в решающий момент путь безопасности вместо пути катастрофы —— добровольно замедлив прогресс ИИ и обеспечив возможность человеческого понимания внутренних процессов мышления Agent-5. Даже при таком раскладе успех не гарантирован, да и то, как человечеству удастся миновать постоянно зависящую от единого суперинтеллектуального мозга пропасть выживания, по-прежнему неясно. Независимо от того, как будет развиваться ИИ в ближайшие 5–10 лет, признание факта «снижение уязвимости мира достижимо» и концентрация дополнительных усилий на достижении этой цели с использованием новейших технологий человечества представляют собой достойный путь для пробования.

Особую благодарность выражаю добровольцам Balvi за обратную связь и рецензирование.