Нью-Йорк Таймс: от теории конца света с ИИ до создания Anthropic — одержимость Дарио Амодэя и борьба за безопасность

Автор: New York Times

Подготовка: Цзя Хуань, ChainCatcher

Одной ночью в 2007 году Дарио Амодей, аспирант Принстонского университета, принял друга в гостях. Он только что прочитал книгу «Сингулярность близка» Рэя Курцвейла, изданную в 2005 году, и нетерпеливо поделился с другом идеями из нее.

Курцвейл предсказал в книге, что искусственный интеллект в конечном итоге превзойдет человеческий мозг, и наступит момент, известный как «сингулярность». Дарио, перебирая пальцами волосы, сказал другу Колину Хеккману, что этот момент может наступить в течение их жизни.

«Его это захватило», — говорит Хеккман, с которым они учились в одной средней школе в Сан-Франциско. — «Он говорил, что ИИ должен быть создан правильным образом, иначе нам всем конец».

В 24 года Дарио еще был аспирантом по физике и находился на этапе активного усвоения информации.Он увлеченно читал относительно нишевые блоги, такие как «Ускорение будущего» (Accelerating Future) и «Преодоление предвзятости» (Overcoming Bias), где авторы обсуждали возможность уничтожения человечества искусственным интеллектом.

Он также подробно изучил онлайн-форум GiveWell. Эта организация стремится максимизировать эффективность благотворительных пожертвований, а интеллектуалы на форуме обсуждали, как собрать для благотворительности больше всего денег.

Мы провели интервью с более чем двадцатью одноклассниками, друзьями, учителями и коллегами Дарио. Их рассказы показывают, что эти книги, блоги и онлайн-сообщества до сих пор оказывают на него влияние и помогают понять, как 43-летний генеральный директор Anthropic смотрит на ИИ. По прогнозам, Anthropic проведет публичное размещение акций в этом месяце, что может стать одним из самых масштабных IPO в мире.

Друзья и коллеги говорят, что в основе мировоззрения Дарио лежат две переплетающиеся идеи. Обе твердо верят, что математические рассуждения способны изменить будущее человечества.

Одна из них — «рационализм», который предполагает холодный и рациональный взгляд на мир. Ей придерживаются самоучки-исследователи ИИ, такие как Элиезер Юдковский, полагая, что ИИ станет достаточно мощным и в конечном итоге способен разрушить общество.

Другая — «эффективный альтруизм», развивавшийся вместе с рационализмом; он пытается максимизировать социальное благополучие с помощью точных математических вычислений.

По словам друзей и коллег, у Дарио эти два течения слились в твердую убежденность: ИИ может быть чрезвычайно опасен, и только он и близкие ему инженеры заслуживают доверия, чтобы разрабатывать эту технологию. Это побудило его постараться создать ИИ раньше тех, кому не важно человеческое благополучие, а также пробудило в нем желание контролировать эту технологию.

В статье за сентябрь, в которой Дарио призывает замедлить развитие ИИ, говорится: «Только создав эту технологию правильным образом, мы сможем получить от нее пользу. Пока мы умеем разумно использовать завоеванное время, стоит с особой осторожностью действовать правильно».

Эти идеи легли в основу Anthropic. В 2021 году Дарио вместе со своей сестрой Дэниелой Амодей и еще пятью людьми основал эту компанию. Все они так или иначе контактировали с сообществами рационалистов и эффективных альтруистов. По мере роста компании на их взгляды обращали все больше внимания, а Дарио всегда открыто и без устали продвигал эти идеи.

Фото: соосновательница Anthropic Дэниела Амодей, снимок сделан в 2023 году в офисе в Сан-Франциско

Дарио также участвовал в обсуждениях геополитических вопросов. Он заявил, что США следует ограничить экспорт чипов в Китай, чтобы ослабить конкурентные возможности Китая в сфере ИИ. Он призвал к регулированию ИИ, чтобы предотвратить выход технологии из-под контроля. Во время споров с Министерством обороны США он также отметил, что ИИ не должен использоваться для массового наблюдения за американцами, а также не следует применять его в автономном оружии.

«Он действительно считает, что мы сталкиваемся с огромными рисками для выживания», — говорит Нейтан Эвери. Эвери бежал на кроссе в средней школе вместе с Дарио, и годами они вели между собой глубокие разговоры, хотя сейчас их связь постепенно угасает. «Он чувствует необходимость оказаться в позиции, которая позволит ему предпринять действия».

Дарио — миллиардер, и с началом публичного размещения акций Anthropic его состояние, как ожидается, продолжит расти. Представители компании отказались предоставить Дарио время для этого интервью.

Его взгляды принесли ему сторонников, особенно среди части специалистов в области безопасности ИИ. Эти люди считают, что Дарио разрабатывает ИИ ответственным образом.

Но это же сделало ему врагов в Кремниевой долине и Вашингтоне среди критиков, включая Марка Цукерберга из Meta и Дженсена Хуанга из Nvidia. Они обвиняли его в «апологетике конца света» и попытках сосредоточить власть в сфере ИИ в своих руках. В сентябре Министерство обороны США опубликовало в социальных сетях сообщение: «Американизм, а не эффективный альтруизм».

Дарио, похоже, осознавал, что его идеи расстраивают некоторых людей, поэтому попытался публично дистанцироваться от рационализма и эффективного альтруизма. В 2023 году в подкасте New York Times Hard Fork он заявил, что не считает себя эффективным альтруистом.

«Я согласен с некоторыми из этих идей», — сказал он, но выступает против «разделения людей на разные племена».

«Дарио, расслабься!»

Дарио и его сестра Дэниела выросли в районе Миссия в Сан-Франциско. Их отец Риккардо Амодей был мастером по работе с кожей, а мать Елена Энгель руководила проектом реконструкции городской библиотеки. Согласно бракоразводным документам, пара развелась в 1991 году.

В восьмом классе Лэндонской школы альтернативного образования Дарио уже демонстрировал выдающиеся результаты. В 1997 году он вместе с одноклассником получил титул «человек с наибольшей вероятностью преуспеть»; на фотографии в выпускном альбоме ребята держали в руках доллары.

Учащаяся в топовой общественной старшей школе Лоуэлл в Сан-Франциско, Дарио жадно поглощал знания и посещал лекции в Калифорнийском университете в Беркли. Одноклассники говорят, что он размышлял об утилитаризме и подобных концепциях. Утилитаризм утверждает, что люди должны стремиться создавать максимальное счастье для максимально возможного числа существ. Он также беспокоился, что проблема тысячелетия (Y2K) — когда некоторые компьютерные программы использовали двухзначные записи года, и после 2000 года могли ошибочно принять «00» за 1900 год — способна вызвать паралич мировых компьютерных систем.

Ричард Шапиро, учитель физики в той школе, рассказывает, что Дарио часто считал, будто сдал экзамены недостаточно хорошо.

«Я кричал ему: "Дарио, расслабься!"», — говорит Шапиро.

В 2001 году Дарио поступил в Калифорнийский технологический институт в Пасадене, но часто возвращался в Сан-Франциско навещать друзей и семью. Во время одного из таких визитов он с Эвери и Хеккманом отправился в суши-бар, где трое обсудили утилитаризм. Дарио был вегетарианцем, но не видел проблем в поедании крабов, поскольку они являются беспозвоночными.

Во время обеда Хеккман предложил мысленный эксперимент: если кто-то постоянно убивает кур, при каких обстоятельствах убийство этого человека будет оправдано ради предотвращения дальнейших убийств птиц?

По воспоминаниям Эвери, Дарио тихо рассмеялся, после чего сказал, что с точки зрения утилитаризма, когда количество кур достигает определенного порога, жизнь птицы может оказаться важнее жизни человека.

Друзья говорят, что Дарио однажды объявил себя атеистом, но сохранял твердые убеждения. В 2003 году он отвез Эвери и других людей на машине в Сан-Франциско на акцию протеста против вторжения США в Ирак.

На следующий год Дарио перевелся в Стэнфордский университет, расположенный в самом сердце Кремниевой долины. Этот переход сблизил его с сестрой, которая тогда училась в старшей школе неподалеку.

В 2023 году в подкасте о сестре он сказал: «Мы всегда хотели вместе спасать мир».

Размышления о времени и жизни

После окончания Стэнфордского университета в 2006 году Дарио поступил в аспирантуру Принстонского университета на факультет физики, в конечном итоге специализировавшись на применении физики к биологии и вычислительной нейронауке. В том же году умер его отец, болевший гепатитом C.

Дарио полностью погрузился в исследование клеток сетчатки глаза и стал интересоваться технологиями, способными ускорить научный прогресс.

Jade Ванг, которая встречалась с Дарио и вместе с ним основала научную дискуссионную группу, рассказывает, что они часто обсуждали вопрос: могут ли ученые, посвятившие жизнь исследованию конкретного заболевания, оказать большее влияние, если переключатся на разработку технологий или методов для всей области?

По ее словам, Дарио упоминал своего отца: тот скончался до того, как появились препараты, позволяющие лечить большинство пациентов с гепатитом C.

Фото: автор книги «Сингулярность близка» Рэй Курцвейл

В то время Дарио уже начал поддерживать взгляды, изложенные в работах Курцвейла и лидера рационалистов Юдковского. Его особенно заинтересовала идея Курцвейла о том, что передовые технологии способны помочь людям преодолеть собственные природные ограничения. Эта концепция известна как «трансгуманизм».

Когда в 2007 году Хеккман навестил его в Принстоне, Дарио сообщил, что сингулярность наступит до 2040 года, и однажды люди смогут слить сознание с машинами.

Хеккман вспоминает, что тогда Дарио высказал предположение: «Со временем мы станем новым сверхинтеллектуальным ИИ или гибридом ИИ и человека».

Дарио настолько увлекся этой идеей, что стал поощрять друзей и сестру участвовать в ежегодной конференции Института сингулярности Юдковского. Эта организация сейчас называется Институтом машинного интеллекта.

В письме от 2008 года, увидевшем свет благодаря New York Times, Дарио написал другу, что Юдковский является «одним из самых глубоко мыслящих людей, которых я встречал», и «явно работает над тем, чтобы наступила сингулярность, благоприятная для людей».

В ответном электронном письме для New York Times Юдковский заявил, что Дарио «в настоящее время не запрашивает и не учитывает мои рекомендации, и я не помню, чтобы он когда-либо делал это раньше».

Фото: самоучка-исследователь ИИ Элиезер Юдковский

Примерно в тот же период Дарио начал переписываться с Илоном Маском, основателем ракетной компании SpaceX. По словам двух осведомленных лиц, общавшихся с ними, Дарио рассказывал друзьям, что восхищается этим техномагнатом и даже подумывал поработать на него, однако в итоге не присоединился к этому космическому стартапу.

В 2008 году, читая блог экономиста Тая Коуэна, Дарио узнал о GiveWell. Коуэн в своем блоге отмечал, что эта организация дает «интересные советы» относительно благотворительных фондов.

Дарио начал активно участвовать в почтовой рассылке и на форумах GiveWell, обсуждая методы ведения благотворительной и научной деятельности в духе эффективного альтруизма. В одном из электронных писем, просмотренных New York Times, Дарио писал в 2010 году, что «рассматривал возможность перехода в финансовую отрасль, чтобы иметь возможность жертвовать на благо общества больше, чем сейчас».

В том же году Дарио в одной из статей блога GiveWell рассказал о решении пожертвовать 10 тысяч долларов. Он выбирали между двумя получателями: организацией Partnership to Fight Tuberculosis, сфокусированной на профилактике туберкулеза у взрослых, и VillageReach, помогающей вакцинации детей в деревнях Африки.

Дарио писал, что Partnership to Fight Tuberculosis обладает более высокой «экономической эффективностью», поскольку помогает взрослым, которые «обладают более глубокими и значимыми переживаниями, чем младенцы». Он добавил: «Я думаю, что смерть взрослого может быть серьезнее смерти младенца в два-три раза».

Однако после дополнительного сравнения способов реализации проектов в обеих организациях Дарио передумал и пришел к выводу, что деятельность VillageReach более эффективна.

В 2011 году он начал работу в Стэнфорде в качестве постдока, изучая клетки рака. Друзья говорят, что в личной жизни он пробовал принимать антистарческие добавки, строго следовал программе занятий плаванием и заинтересовался сокращением потребления калорий. Некоторые исследования показывают, что ограничение калорий способно продлить жизнь лабораторным мышам.

«Он часто говорил об ограниченности времени и о том, что время — единственный невозобновляемый ресурс», — говорит Эвери. Он добавил, что Дарио «практически жесток к самому себе, когда речь идет о времени».

По словам двух людей, знавших его, в 2014 году у Дарио диагностировали рак яичка, что лишь усилило подобные ощущения. Он прошел курс химиотерапии и впоследствии полностью выздоровел.

К тому времени он уже близко подружился с одним из основателей GiveWell — Холденом Карновски. GiveWell начал сотрудничать с Good Ventures, благотворительным фондом соучредителя Facebook Дастина Московица и его жены Кари Туны, финансирующим проекты в сфере эффективного альтруизма.

Дарио начал давать рекомендации по финансированию исследований в области наук о жизни для совместного проекта обеих организаций GiveWell Labs.

Фото: сооснователь GiveWell Холден Карновски (справа), 2012 год

В то время Карновски встречался с Дэниелой. Пара переехала в съемную квартиру в Сан-Франциско, которую позже стали снимать Дарио, теоретик-физик Джаред Каплан и студент, не окончивший университет Кристофер Ола. Дарио ранее репетировал математику для Олы.

Трое посетителей этого дома утверждают, что соседи обсуждали работы Юдковского, исследуя философию рационализма и эффективного альтруизма. Они также посещали ежегодный контркультурный фестиваль Burning Man в пустыне Невады, иногда наряжаясь в костюмы животных.

Позже Каплан и Ола совместно с братьями Амодей основали Anthropic. В 2025 году Карновски также начал работать в этой компании.

От Baidu и Google до OpenAI

В начале 2010-х годов машинное обучение достигло существенных успехов, что заставило технологические компании снова увеличить инвестиции в ИИ. Машинное обучение позволяет компьютерам обучаться выполнению задач путем анализа данных.

Китайский интернет-гигант Baidu оказался одной из компаний, погрузившихся в это направление. Baidu открыла лабораторию в Соннивере, штат Калифорния, и пригласила пионера ИИ Эндрю Ну из Google в качестве главного ученого.

Дарио присоединился к Baidu в 2014 году и быстро прославился своей привычкой оставаться в офисе ночами и прямолинейностью в выражении мнений.

Фото: пионер ИИ Эндрю Ну, ранее руководивший командами по искусственному интеллекту в Baidu и Google

Грегори Димос, исследователь, работавший вместе с Дарио в Baidu, отмечает: «Дарио почти каждый раз, появлялась возможность, вступал в крайне ожесточенные споры».

Еще на раннем этапе этой волны развития ИИ Дарио начал беспокоиться о потенциальной опасности технологии. Димос вспоминает, что в 2015 году Дарио сообщил коллегам: ИИ скоро может достичь или превзойти возможности человеческого мозга, поэтому компаниям, разрабатывающим ИИ, не стоит игнорировать риск потери контроля над ним.

В том же году Дарио перешел в лабораторию ИИ Google Brain в Google, сосредоточившись на безопасности ИИ. Вместе с еще пятью исследователями, включая своего соседа по комнате Олу, он в 2016 году опубликовал статью «Specific Challenges in AI Safety», в которой описаны возможные аномальные поведения ИИ при неправильном способе разработки.

В 2016 году Дарио присоединился к новому проекту ИИ: некоммерческой организации OpenAI. Он возглавил команду по безопасности OpenAI, а также другую группу, изучавшую «закон масштабирования». Закон масштабирования описывает улучшение показателей модели ИИ по мере увеличения масштаба самой модели, объема обучающих данных и вычислительных ресурсов.

В OpenAI: идеи, власть и разногласия

Северо бывших коллег отмечают, что во время работы в OpenAI его убежденность в правильном подходе к разработке ИИ лишь укрепилась. Он стал чаще говорить о мощи и потенциальном вреде ИИ и предпринимал шаги, чтобы внедрить свои мысли в процесс создания технологии.

Например, в ноябре 2016 года, спустя три дня после избрания Дональда Трампа президентом США, Дарио в служебном чате OpenAI написал, что обеспокоен тем, что Америка скатывается к авторитаризму.

Согласно данным сообщений, просмотренных New York Times, он заявил, что «не может чувствовать себя спокойно, занимаясь в стране с авторитарным режимом разработкой технологий, имеющих серьезные военные применения».

Внутрикорпоративная переписка показывает, что Дарио также написал о инвесторе Питере Тиеле, назвав его «морально предосудительным» за пожертвование в 1,25 млн долларов на кампанию Трампа, и указав, что OpenAI больше не должно принимать его деньги. (Позже фонд венчурного капитала Founders Fund, основанный Тиелем, инвестировал в Anthropic).

Дарио также помог OpenAI заключить партнерство с благотворителями, поддерживающими его взгляды. По словам трех осведомленных лиц, в 2017 году он содействовал установлению контакта между OpenAI и благотворительным фондом Карновски, сам же выступая техническим консультантом этого фонда.

Институция Карновски сейчас называется Coefficient Giving и пожертвовала 30 млн долларов OpenAI. Карновски также вошел в совет директоров OpenAI.

Фотография со свадьбы Холдена Карновски и Дэниелы Амодей

Позднее в том же году Карновски женился на Дэниеле. Согласно свадебному сайту пары, гости получили плюшевые игрушки в подарок, а человек, предложивший «самый романтичный матч между разными персонажами», получил дополнительный приз.

Дарио присутствовал на свадьбе в шапочке панды, дресс-код банкета обозначался как «комичный смокинг». На фотографии, найденной New York Times, он запечатлен в этом образе вместе с Олой, надетым шапочкой жирафа, и тогдашней девушкой Ками Кларк. Впоследствии Дарио женится на Кларк в 2022 году.

В 2018 году Дэниела присоединилась к OpenAI и в итоге стала вице-президентом по вопросам безопасности и политики. Некоторые сотрудники начали довольно быстро сомневаться в растущем влиянии брата и сестры.

Фото: Дарио, работающий в OpenAI в 2017 году, и Дэниела, работающая там же в 2019 году

Три человека, знакомых с обсуждением, заявили, что в декабре того же года исследователь OpenAI Джошуа Ачиам сообщил исполнительному директору Саму Алтману, что назначение Дарио главным этическим офицером компании было бы неразумным. Ачиам указал на растущую власть семьи Амодей и добавил, что надзор за ИИ должен осуществляться совместно людьми с различными точками зрения.

Когда Ачиам настаивал на назначении внешнего эксперта на должность главного этического офицера, Дарио встал с ним лицом к лицу. Осведомленные источники сообщают, что Дарио повысил голос, заявив, что никто не подходит на эту роль лучше него самого.

В 2018 году семья Амодей взяла под свой контроль проект компании под названием GPT. GPT расшифровывается как «Generative Pre-trained Transformer».

Шесть бывших сотрудников рассказали, что они исследовали метод безопасности, направленный на обучение ИИ выполнению задач через инструкции людей.

Впоследствии такой подход стал отличительной чертой карьеры Дарио: приближать ИИ к потенциальным угрозам, а затем проверять его на безопасность.

Президент OpenAI Грег Брокман хотел участвовать в проекте GPT, но столкнулся с противодействием со стороны Амодеев. Два источника, близких к компании, сообщают, что Дарио несколько раз предупреждал Алтана: если он не устранит Брокмана от этой работы, Дарио покинет компанию.

По словам одного источника, знакомого с позицией Алтана, тот счел данные ультиматумы излишне резкими и отказался выполнить требования братьев и сестры.

В декабре 2020 года Амодеев и другие коллеги покинули OpenAI. Четыре недели спустя они основали Anthropic.

Фото: на конференции разработчиков Anthropic в мае этого года братья и сестра Амодей выступили на одной сцене с главным продуктовым директором Ами Вора