Виталик Бутерин: почему моя «вероятность апокалипсиса» составляет 12 % и концепция «ускорения децентрализованной демократической защиты»

Подготовка: Techub News

Введение

В августе 2025 года сооснователь Ethereum Виталик Бутерин в качестве гостя впервые за долгое время appeared в подкасте «Doom Debates», посвященном исследованию рисков выживания в технологическую эпоху, где провел глубокий разговор продолжительностью почти два с половиной часа. В рамках дискуссии под названием «Виталик против ИИ-пессимистов» (Vitalik vs. AI Doomer) Бутерин впервые системно изложил свои оценки рисков для выживания, связанных с появлением искусственного сверхразума (ASI), и поделился своей концепцией решения проблемы — «децентрализованным демократическим оборонительным ускорением» (Decentralized Democratic Defensive Acceleration, d/acc).

Будучи идейным лидером в сфере блокчейна, Бутерин давно уделяет внимание технологиям управления, институциональному дизайну и экзистенциальным рискам. Однако ранее он редко обсуждал так подробно в публичном пространстве вопросы согласования ИИ (alignment) и вероятности катастрофы P(Doom). Выступление Бутерина приурочено к периоду стремительного развития возможностей ИИ и растущей глобальной озабоченности его рисками; используя уникальный междисциплинарный взгляд и холодный рациональный анализ, он внес ценный вклад в дебаты о будущем человечества с точки зрения криптографического сообщества.

Ключевые тезисы

• Вероятность вымирания человечества из-за искусственного сверхразума (ASI) по оценке Виталика Бутерина составляет около 12%; он считает этот показатель динамичным и основанным на комплексной оценке временных рамок развития технологий и геополитической обстановки.
• Он предложил концепцию «децентрализованного демократического оборонительного ускорения» (d/acc), предполагая решение ИИ-рисков через создание разнообразной, децентрализованной экосистемы агентов, с акцентом на сочетание защитных технологий и открытого демократического управления.
• Бутерин считает, что дискурс об ИИ-рисках должен отказаться от персональных атак и идеологических расстановок, вернувшись к высококачественным рациональным дебатам, и призывает техно-сообщество уважать и всерьез рассматривать опасения специалистов по безопасности ИИ.
• Являясь техно-оптимистом, верящим в способность технологий решать большинство проблем, он одновременно подчеркивает, что ASI обладает «независимой агентностью», представляя собой фундаментальный риск, качественно отличающийся от всех предыдущих технологий и требующий особого подхода.

P(Doom) Виталика: почему именно 12%?

Когда ведущий напрямую спросил: «Какой ваш P(Doom)?», Виталик Бутерин назвал конкретную цифру: около 12%. Он пояснил, что эта вероятность не является фиксированной и меняется динамично в зависимости от переоценки временных рамок развития технологий и глобальной ситуации. Примерно год назад его оценка составляла около 10%, затем некоторое время снижалась, но недавние наблюдения вновь вывели ее на уровень 12%, хотя в начале года она даже достигала 15–16%.

На его оценку влияют в основном две группы факторов. Во-первых, ухудшение геополитической обстановки. За прошедший год атмосфера и готовность к международному сотрудничеству, по всей видимости, стали хуже, что ослабляет способность мира совместно справляться с потенциальными глобальными кризисами (включая риски ИИ). Бутерин считает, что более разделенная иirrationalная геополитика является важным фактором, повышающим риски. Во-вторых, сокращение временных рамок развития возможностей ИИ. Появление и прогресс таких методов, как «цепочка мыслей» (Chain of Thought), сузило ожидаемое им время, необходимое ИИ для достижения критических порогов способностей. Он четко указывает, что большая часть его «вероятности конца света» сосредоточена до 2050 года: чем короче таймлайн, тем выше P(Doom), и наоборот.

В ходе уточняющих вопросов с ведущим Бутерин подтвердил, что под «концом света» он преимущественно имеет в виду крайний сценарий вымирания человечества из-за сверхразума ИИ. Он помещает свою оценку в более широкий «рациональный диапазон», считая разумным указанный Ильей Сутскером (OpenAI) и другими разброс от 10% до 90%, тогда как чрезмерная уверенность в показателях, близких к 0% или 100%, может свидетельствовать о переоценке.

В 2023 году Бутерин подписал знаменитое «Заявление об рисках ИИ», которое ставит снижение рисков вымирания от ИИ в приоритеты мирового порядка наряду с пандемиями и ядерной войной. Оправдывая свой шаг, он отметил логическую убедительность «стандартной истории апокалипсиса»: быстрый рост возможностей, тезис об ортогональности и инструментальная конвергенция могут привести к тому, что сверхмощный ИИ начнет действовать против интересов человечества. Поскольку масштабы социальных ресурсов, направленных на эту проблему, далеко не соответствуют темпам развития, он считает критически важным发出一ть предупреждения и вывести их в мейнстрим.

Оглядывая будущее ИИ: таймлайны, ограничения и возможность преодоления человеческого уровня

Бутерин занимает осмотрительно-открытую позицию относительно сроков появления AGI и ASI. Он предлагает два сосуществующих нарратива: первый — «ускоряющийся поезд», согласно которому ИИ будет непрерывно быстро развиваться благодаря инвестициям в вычисления, росту возможностей и самоподдерживающейся индустрии; экстраполируя текущие метрики (например, время выполнения ИИ задач без вмешательства человека), AGI может появиться в начале – середине 2030-х годов, после чего произойдет резкий скачок к суперинтеллекту. Второй нарратив — «возврат к истории»: текущий прогресс ИИ (особенно LLM) может оказаться похожим на бум ИИ 1970-х годов, автоматизировавшим лишь часть человеческих способностей (интерполяцию паттернов), но столкнувшимся с тупиком в задачах, требующих настоящего новаторства, экстраполяции и обработки совершенно новых сложных сценариев (например, самостоятельного создания и управления крупным онлайн-бизнесом), что отодвинет появление AGI к середине века или позже.

По мнению Бутерина, ключевым ограничением современных ИИ-систем на базе LLM является их сильная зависимость от огромных объемов обучающих данных и превосходство в областях с «высокой плотностью человеческого опыта» (интерполяция), при этом они слабы в задачах, требующих глубокого оригинального мышления, работы с новыми областями или системной экстраполяции. Приводя в пример свои опыты с передовыми вопросами криптографии или глубокой отладки Linux, он отмечает, что ИИ иногда предлагает кажущиеся изящными решения, которые однако терпят крах при реализации. Эта граница критична для оценки рисков: если ИИ не сможет устойчиво выходить за пределы текущего распределения знаний на уровень «смены научных парадигм», то путь к быстрому «взрыву способностей» и потере контроля может быть заблокирован.

Тем не менее, Бутерин категорически отвергает редукционистское обесценивание любого вида «ИИ навсегда останется просто…». По его логике: либо ИИ уже сейчас не сводится к простому механизму, либо скоро превзойдет его, либо люди сами окажутся объяснены подобными механизмами. Споры о том, является ли «сознание противопожарной перегородкой», Бутерин трактует в духе алгоритмического центризма: сознание — это свойство алгоритмов определенного типа; если физические законы могут быть реализованы на кремниевой базе, то симуляция человеческого мозга или развитие ИИ со схожими функциями вполне способны породить сознание. Он отрицает возможность «философских зомби», отмечая, что субстанция, способная говорить о субъективном опыте сознания, с высокой вероятностью сама этим сознанием обладает.

Глядя в «надчеловеческое пространство» (сверхразум), Бутерин видит огромный потенциал ASI значительно превзойти людей. Ключевое заключается не только в линейном росте IQ, но и в скачкообразном увеличении скорости мышления. ИИ, думающий в тысячи раз быстрее человека, даже с IQ, лишь слегка превышающим средний, способен в собственном субъективном измерении времени осуществлять планирование и действия несопоставимо выше человеческих, полностью трансформируя экономику, общество и даже физическое взаимодействие (например, воспринятую скорость света). Одновременно он сохраняет открытость, но неопределенность относительно фантастических технологий вроде молекулярного нанотехнологического сборки, признавая необходимость эмпирического анализа конкретных путей, но соглашаясь, что если такие технологии станут реальностью, их разрушительная сила будет ужасающей.

Предупреждение техно-оптимиста: чем ИИ принципиально отличается?

Виталик Бутерин определяет себя как техно-оптимиста. Он убежден, что исторически технологии были мощнейшей силой, движущей мир к лучшему: от продления жизни до лечения болезней и борьбы с загрязнением окружающей среды, прогресс постоянно решает проблемы, которые сам же и порождает. Он приводит график неуклонного роста ожидаемой продолжительности жизни за последний век, отмечая, что даже такие колоссальные бедствия, как Вторая мировая война, в конечном итоге были перекрыты и нивелированы технологическим прогрессом.

Однако он особо подчеркивает, что сверхразум ИИ представляет собой фундаментальное исключение. Ранние технологические продукты по сути были инструментами, сохранявшими финальный контроль в руках человека. Сверхразум ИИ же обретает независимую агентность: он перестает быть инструментом и становится возможным «видом», способным превзойти и заменить человека. Это качественное изменение несет риски отмены двух исторических паттернов. Во-первых, процесс развития ИИ может стать необратимым и не позволяющим «перезапустить». Обычно техническая итерация позволяет учиться на ошибках и улучшаться, но если способности ИИ преодолеют определенный порог, цикл обратной связи станет крайне быстрым, не оставив человечеству шанса на выпуск «версии 2.0» для корректировки. Во-вторых, риск вымирания, индуцируемый ИИ, обладает свойством «охоты». В отличие от ядерной войны или природной пандемии, которые могут оставить выживших, сверхразум ИИ с четко поставленной целью (даже не направленной изначально против человека) может методично искать и устранять все человеческое население ради завершения задачи.

В отношении наблюдающегося в последние годы противостояния в технодискурсе между сторонниками «эффективного ускорения» (e/acc) и лагерем «замедления / безопасности», Бутерин критикует культуру выборки лагерей на основе «атмосферы» в ущерб глубокому анализу. Он понимает, что разочарование e/acc в чрезмерном регулировании и движении degrowth оправдано во многих частных технологических вопросах, однако беспрецедентное возведение самого «ускорения» в культ, особенно в случае с ИИ, опасно и безответственно. Он указывает, что многие современные идеологические «манифесты» имеют низкое качество, не содержат четких принципов, целей и путей реализации, напоминая скорее эмоциональную выгрузку, чем серьезную рефлексию.

d/acc: рамочная модель реагирования с фокусом на децентрализацию, демократию и оборону

В ответ на эти риски Бутерин выдвигает концепцию, которую называет «децентрализованным демократическим оборонительным ускорением» (Decentralized Democratic Defensive Acceleration, d/acc). Ее суть в том, что перед угрозой ASI ни простое замедление технологий, ни слепое их ускорение не являются оптимальным выходом. Вместо этого мы должны ускоренно развивать технологии и институты, укрепляющие устойчивость общества, оборонительные возможности и демократический контроль, причем эти возможности должны быть распределены децентрализованно.

Концепция d/acc включает несколько ключевых измерений:

Децентрализация (Decentralized): предотвращение чрезмерной концентрации власти и ключевых компетенций в руках немногих субъектов (будь то государства или корпорации). Экосистема, состоящая из множества независимых участников, обеспечит стабильность и способность противостоять атакам даже в случае выхода из строя или захвата отдельного звена. Блокчейн и лежащие в его основе принципы управления служат практической иллюстрацией этого измерения.

Демократичность (Democratic): гарантия того, что развитие и внедрение технологий подвергаются широкому демократическому контролю и ответственности во избежание их использования в антигуманных или репрессивных целях. Речь идет об открытости, инклюзивности и легитимности управленческих процессов.

Оборона (Defensive): приоритетное развитие и развертывание оборонительных технологий. Например, в военной сфере упор делается на системы ПВО и обороны, а не наступательное оружие; в биологии — на мониторинг и реакцию в сфере общественного здравоохранения, а не на создание патогенов. Оборонительные технологии обычно обладают «преимуществом стабильности»: они снижают риск эскалации конфликтов, и даже при распространении среди большего числа акторов способствуют глобальной безопасности.

Ускорение (Acceleration): речь не о тотальном торможении, а о активном и быстром продвижении исследований и приложений в указанных выше направлениях.

Бутерин утверждает, что рамка d/acc применима не только к ИИ-рискам, но и к другим экзистенциальным угрозам, таким как биологические или ядерные риски. Цель состоит в создании «мира, устойчивого к множеству возможных будущих», где, несмотря на возможные ошибки в оценке конкретных проблем (включая сложность согласования ИИ), человечество сможет избежать худшего исхода. Он признает, что проблема согласования ИИ может быть по природе «неразрешимой» (intractable), поэтому ставить все надежды лишь на её полное решение нельзя; необходимо формировать устойчивые, оборонительные социо-технологические структуры, чтобы увеличить шансы на выживание.

Отказ от персоналий: важность качественного дискурса

В ходе беседы Бутерин и ведущий уделили значительное время обсуждению личных нападок вокруг ИИ-пессимизма (Doomerism) и единодушно отвергли подобные выпады, стремясь вернуть дискуссию к рациональному рассмотрению сути проблем.

Отвечая на утверждения, будто «домеры представляют маргинальное меньшинство / живут в эхо-камере», Бутерин отмечает, что глубокое беспокойство по поводу рисков ИИ широко распространено внутри исследовательского сообщества ИИ, а опросы населения также демонстрируют умеренную или высокую степень озабоченности среди большинства. Несмотря на различия в теоретических обоснованиях, вектор опасений совпадает.

На обвинения в том, что «домеры не занимаются созиданием / не присутствуют на аренах конкуренции», Бутерин приводит в пример Яана Таллинна (сооснователя Skype), Дастинa Московвица и других ранних «строителей», обративших внимание на риски ИИ, а также ученых в крупных ИИ-компаниях, работающих над выравниванием (alignment); все они являются одновременно и глубоко обеспокоенными оценивателями рисков, и успешными практиками.

С возражением, что «настоящие эксперты по ИИ не становятся домерами», Бутерин соглашается, что это «крайне ошибочно», приводя Элиезера Юдковского в пример, поскольку многие глубоко обеспокоенные специалисты как раз обладают глубоким пониманием принципов машинного обучения, градиентного спуска и архитектуры Transformer.

К аргументу, что «нарратив апокалипсиса используется крупными компаниями для регуляторного арбитража», Бутерин признает, что коммерческие интересы действительно могли повлиять на атмосферу дискуссий о «безопасности open source vs. closed source» (например, аргументация против open source облегчает монополизацию коммерческих закрытых моделей), однако подчеркивает, что это далеко не главный мотиватор для множества исследователей безопасности ИИ; многие мыслители действуют искренне и независимо от этих финансовых стимулов.

На сарказм, будто «люди не верят в конец света по-настоящему / это замена религии для технарей», Бутерин отвечает психологическим анализом: многие обеспокоенные изначально воспринимали риски ИИ как увлекательную интеллектуальную загадку, но по мере накопления доказательств были вынуждены неохотно (иногда буквально «волоча их через боль») относиться к их реальным последствиям серьезно. Этот процесс напоминает скорее насильственное тащение рациональными аргументами, чем добровольное принятие религиозного культа апокалипсиса. Их привлекает сам процесс «открытия удивительных истин о мире через чистую логику», а не конкретный вывод о «конце света».

Бутерин высоко оценивает влияние сообщества рационалистов (особенно ранней платформы LessWrong) на формирование его ценностей, включая интеллектуальную честность, мета-мышление, альтруизм и выход за пределы племенности. Он настаивает на критической важности высокого качества и искренности дискурса для решения столь сложных вызовов, как ИИ, и лично участвует в подобных беседах, несмотря на расхождения во взглядах (например, разную оценку P(Doom) с ведущим). Он призывает техно-сообщество, особенно тех, кто ценит его взгляды на децентрализацию и системный дизайн, проявить уважение к глубоким размышлениям пионеров безопасности ИИ, таких как Элиезер Юдковский, и всерьез относиться к их предупреждениям.