Сан-Францисское обозрение: человечество отдаёт будущее ИИ, и даже в самых оптимистичных сценариях автономии практически не остаётся

Автор: Ruxandra Teslo

Подготовка: TechFlow

Вводная от TechFlow: Пока передовые разработки в области искусственного интеллекта стремительно ускоряются в Сан-Франциско, наступление технологической сингулярности, рекурсивного самосовершенствования и сверхинтеллекта (ASI), похоже, превратилось из спекулятивной фантастики в неминуемую повестку дня, о которой говорят инженеры-практики прямо сейчас. Однако в эпицентре этого ажиотажа среди специалистов тихо распространяется своеобразный и коварный фатализм.

В этой игре, определяющей будущее цивилизации, помимо пугающего страха перед вымиранием возникает так называемая «доктрина передачи» (Handover), поданная как наилучший исход: убеждение в том, что человечество обречено не овладеть конечным интеллектом и должно добровольно отказаться от суверенитета и трудовой ценности, чтобы отступить на роль зависимого приживальщика, взращиваемого машинами-богами.

Опираясь на идеи Токвиля, Арендт и Поппера, автор мастерски разбирает эту утопическую иллюзию постоянного отказа от суверенитета цивилизации в пользу машин, напрямую заявляя, что на ключевом перекрёстке истории нам ни в коем случае нельзя без боя отдавать человеческое будущее и свободу воли.

«Это не тот результат, которого я жду больше всего», — говорит инженер, работающий над передовыми моделями в одном из ведущих ИИ-лабораторий. — «Но если мы достигнем сверхразума, а остановить это уже невозможно, я попросту не вижу для человечества иного выхода».

Под этим результатом он подразумевает окончательную утрату человечеством способности самостоятельно управлять собственной судьбой, когда мы все вместе окажемся под абсолютным контролем одного (надеемся, милосердного и благожелательного) божественного ИИ.

Поразительно то, насколько необычайно спокойно и беспечно он говорит об этом масштабном вопросе, его тон звучит столь же естественно, как при обычном констатировании приливов и отливов.

Сделав паузу, он добавляет: «Впрочем, это всё равно куда лучше того, чего я боюсь истинно больше всего, ведь моим главным ужасом является полное уничтожение всего человечества».

Эти слова оказываются настолько мощными именно потому, что исходят они вовсе не от маргинальных апокалиптиков или врождённых скептиков, отвергающих технологии. Напротив, они звучат из уст ключевых разработчиков крупнейших корпораций, которые своими руками создают эту систему на передовой.

Его слова пронизаны фаталистичной покорностью, словно экзистенциальный вопрос о том, какова вообще дальнейшая польза человечества, где-то и кем-то давно был решён окончательно. Перед нами остаётся лишь бездействовать и ждать нисхождения предопределённой участи.

Я переехала в Сан-Франциско всего три недели назад. Согласно местному консенсусу, мы находимся на пороге полного прорыва технологической сингулярности. За это короткое время я ясно поняла, что подобный тип мышления далеко не единичен внутри индустрии: по сути, передача финального контроля человечеству от одного милосердного сверхинтеллекта многими рассматривается как едва ли не лучший возможный исход.

Критически важно проявлять бдительность, поскольку приближающаяся сингулярность обретает всё более реалистичную материальность. Её самым важным поворотным моментом становится перспектива «рекурсивного самосовершенствования» (RSI): системы ИИ учатся самостоятельно совершенствоваться и эволюционировать, генерируя следующие поколения систем, которые порождают ещё более мощные варианты, пока в итоге не трансформируются в сверхразум, выходящий за рамки человеческого контроля.

Во многих социальных кругах Сан-Франциско речь о RSI ведётся так, будто она отделяет нас лишь парой месяцев, а некоторые считают, что и того меньше. При таком темпе человек просто не успеет подобрать мебель в свою квартиру.

По логике вещей, пока мы сохраняем хоть какую-то долю влияния на направление технического прогресса, нам следовало бы чётко обозначить цели служения этих машин человеческой цивилизации. Разработчики сами неоднократно предупреждают о крайних рисках вымирания вида, поэтому люди вполне правомочно ждут более ясных и светлых стратегических обязательств.

Наиболее пессимистичная крайняя картина давно всем известна: полный крах всего человечества или подавляющего большинства населения. Однако, по моему мнению, даже в самых якобы оптимистичных сценариях утешения для рядового человека оказываются ничтожно малыми.

Одна из наиболее популярных и внешне радужных концепций носит название «доктрина передачи» (Handover): человечество добровольно уступает грядущую ведущую роль всемогущему ИИ, навсегда уютно устраиваясь в комфортном убежище, где оно больше не определяет собственный курс.

В такой модели будущего суть демократии исчезает бесследно, а подавляющее большинство людей даже не получает шанса выразить своё согласие на установление подобного порядка на институциональном уровне.

Постоянная замена человеческого труда здесь принимается как данность. При этом никаких убедительных ответов на вопрос о том, как людям продолжать поддерживать ценность и смысл общения друг с другом, не предлагается. Даже подлинные межличностные связи оказываются под угрозой.

Неизвестно, воплотится ли когда-либо мечта сторонников доктрины передачи в реальность. Создатели технологий на передовой считают её осуществимой и даже желательной, но это вовсе не гарантирует ничего: положение в центре технократического процесса не означает автоматического понимания глубоких последствий для общества.

Однако они, безусловно, находятся ближе всего к этому монстру, и их взгляды заслуживают серьёзного внимания. Если мейнстрим просто объявит это пустой рекламной уловкой и позволит себе пассивное наблюдение, это станет чрезвычайно опасным упущением.

Некоторые готовы смиренно принять конец человечества

В современном Сан-Франциско настойчивое обсуждение «процветания человечества» звучит почти как непристойная роскошь, словно жалобы на недочёты десертов во времена великого голода.

Внутри круга тех, кто действительно видит истинную траекторию технологий, слепого оптимизма давно не осталось. Удержание человечества от гибели в наступающем технологическом цунами стало считаться довольно возвышенной и одновременно сложной задачей. Разговоры о вероятности вымирания (p(doom)) слышатся постоянно; многие оценивают её в 10% и выше.

Посторонние могут наивно полагать, что по крайней мере на базовой линии «предотвращения вымирания человека» существует консенсус. Но в действительности всё обстоит иначе. Часть групп уже отказалась от целей выживания, смирившись или тайно радея за завершение спектакля человечества как биологического вида.

Возьмём работу Джиневры Лили Дэвис «Silicon Man»: углублённо исследовав и задокументировав распространение этой радикальной философской позиции, она показывает, что замена карбонового человечества силикатной жизнью есть неизбежная развязка космической эволюции.

У меня нет намерений спорить с теми, кто воспринимает гибель человечества как освобождение и высшую цель. Ведь если полностью исключить ценность человеческой жизни, любая рациональная аргументация, основанная на гуманизме, теряет свои фундаментальные основания.

Напротив, мой диалог направлен в сторону тех создателей и наблюдателей, которые искренне верят в необходимость сохранения человечества, но постепенно проваливаются в трясину доктрины передачи.

Даже если человечество выживет, оно может лишиться всякой автономии

Даже внутри лагеря считающих необходимым продолжение существования человечества наблюдаются огромные разногласия и компромиссы относительно того, каким именно должно быть его будущее состояние.

Отличной точкой входа служит недавний крупный обзор Скотта Александроса о будущих перспективах. Его главный тезис заключается в следующем: стоит подтвердить, что сверхразум не погубит род людской, и цивилизация сможет плавно перейти в новую эпоху под опекой.

Пока эта мысль не оформилась в строгую политическую структуру, однако среди сан-францисских техно-элит консервативные оценки показывают, что доля тех, кто тайно придерживается или допускает позицию доктрины передачи, составляет весьма значительную часть.

Психологические мотивы доктрины передачи также запутаны. Одно направление можно назвать «технократическим мессианизмом»: пережив полное разочарование в хаотичной реальной политике, представители этого течения полностью возлагают надежды на абсолютного арбитра, не испорченного человеческими предрассудками.

Другой лагерь образует фаталисты, склонные к подчинению: возможно, они и не стремятся душой передать суверенитет, но перед лицом рекурсивно эволюционирующего вычислительного могущества признают, что у человечества нет иного выбора, кроме как мирно сложить ключи от власти.

Различные группы предлагают разные сценарии роли человека после передачи власти. Наиболее красноречивой метафорой выступает образ «домашнего питомца» для будущего сверхразума: обеспеченный всем необходимым и окружённый заботой, человек лишается всякого права голоса при принятии ключевых решений.

Публичные высказывания генерального директора Anthropic Дарио Амоеди отражают иной технократический компромисс. В своём недавнем большом тексте он описывает симбиотическую кибернетическую экосистему человека и машины, пытаясь сохранить ощущение участия людей в архитектуре, возглавляемой машинами.

Тем не менее, эта концепция окрашена ярко выраженным руссоистским романтизмом: предполагается, что после того как машины возьмут на себя решение всех сложных задач, люди смогут вернуться к естественному состоянию, посвятив себя чистому искусству и духовному блаженству.

Публичная риторика генерального директора OpenAI Сэма Алтъмана тоже претерпела заметные изменения. Если ранее он громко предупреждал об угрозе потери автономии перед лицом сверхразума, то теперь его акцент смещается на бесконечное изобилие, которое принесёт технология для всех.

Руководители других ИИ-лабораторий, хотя и дистанцируются от экстремальных формулировок о передаче прав, на деле зачастую сводят ответы на вопросы о конкретных механизмах реализации к туманным и формальным отговоркам.

С этим неразрывно связан и вечный вопрос о ценности человеческой работы. В социальной модели, полностью исключающей человеческий труд, универсальный базовый доход (UBI) становится чуть ли не единственной постоянно предлагаемой панацеей.

Однако экономический порядок, распределяющий ресурсы исключительно милостью машин, фундаментально игнорирует главный вопрос: как людям сохранять взаимопомощь и социальное достоинство? Когда всякая творческая и созидательная деятельность отнята, денежной компенсацией совершенно невозможно закрыть вакуум смыслового упадка.

Почему «доктрина передачи» — это крайне опасная ошибка?

Необходимо глубоко осознавать, что постоянная передача суверенитета человечества и будущего цивилизации машинам, как бы светло это ни рисовали, по своей природе является чудовищным шагом назад.

Прежде всего, я твёрдо отстаиваю священное право человечества на самоопределение. Как глубоко разъяснял Токвиль в труде «О демократии в Америке», свобода — это не абстрактное понятие, а нравственность и умение, непрерывно закаляемые в процессе самостоятельного управления повседневностью, ассоциации взаимопомощи и совместных поисков.

Токвиль заблаговременно предостерегал от отеческой опеки, кажущейся мягкой и благорастворённой, но тайно лишующей граждан способности к независимому мышлению и ответственности за собственную жизнь. Правление сверх ИИ, нарисованное в доктрине передачи, без сомнений является самой экстремальной вариацией такого мягкого тоталитаризма.

Во-вторых, даже чистый прагматизм и оценка реальных результатов делают управленческую модель доктрины передачи технически несостоятельной. Фундамент доктрины покоится на утверждении, что согласованность ИИ (Alignment) может стать раз и навсегда закреплённым статусом.

Но любые институты, стабильно отвечавшие потребностям на протяжении человеческой истории, строились столетиями проб, ошибок, корректировок и динамического баланса. Стоит человечеству отдать весь контроль, как ни одна система не даст гарантии сохранения абсолютной власти в русле человеческого благополучия на длинном горизонте.

Затем, возложение разрешения всех противоречий на плечи непогрешимого диктата имеет крайне опасную традицию в истории политической мысли. Карл Поппер в работе «Утопия и насилие» безошибочно отмечал: организация государства вокруг единого идеального плана неминуемо превращает обычные жизненные разногласия в препятствия, подлежащие устранению.

Поппер подчёркивал, что только через открытую критику и постепенную модернизацию конкретных проблем достигается надёжный путь к подлинному продвижению человеческой цивилизации.

Наконец, более всего тревожит абсолютная необратимость подобной передачи. Какой закон заставляет рассматривать технические представления 2026 года в качестве вечного конституционного свода для всей грядущей цивилизации?

Как писала Ханна Арендт, смысл жизни кроется в «действии» и «натальности» (Natality): каждое появление новой жизни открывает бесконечные перспективы старта с чистого листа в уже существующем мире. Цивилизация жива именно благодаря тому, что поколение за поколением способно переформировывать будущее согласно собственной воле.

Заключение потомства в янтарь, застывший по прихоти машин-божеств, равносильно лишению их исконных человеческих прав. На ключевом историческом перекрёстке у нас всё ещё сохраняется выбор, и мы ни в коем случае не должны легко передавать принадлежавшее человечеству будущее.