
ニューヨーク・タイムズ:AI 終末論から Anthropic 設立まで、ダリオ・アモダイの執念と安全性をめぐる戦い
著者:ニューヨーク・タイムズ
翻訳:佳歓、ChainCatcher

2007年のある夜、プリンストン大学の博士課程に在籍していたダリオ・アモダイは訪ねてきた友人を迎えた。ちょうどコンピューター科学者レイ・カーツワイルが2005年に出版した『シンギュラリティ・インプライン』を読み終えたばかりで、友人とすぐに书中的の考えを共有したい衝動を抑えきれなかった。
カーツワイルは書中で、人工知能がついに人間の脳を超え、「シンギュラリティ(技術的特異点)」と呼ばれる瞬間を迎えると予測していた。ダリオは指で髪をくるくるさせながら、友人のコリン・ヘックマンに、その瞬間は彼らの人生の中で起こるかもしれないと語った。
「彼は夢中になった」とヘックマンは振り返る。「二人ともサンフランシスコの同じ高校に通っていたんだ。ダリオはこう言いました。『AIは正しい方法で作られなければ、私たちは終わってしまう』と」
その時24歳のダリオは物理学の博士課程生であり、大量の情報を吸収し続けていた段階にあった。彼は『Accelerating Future(加速される未来)』や『Overcoming Bias(バイアスの克服)』といった比較的ニッチなブログに熱中し、そこでブロガーたちはAIによる人類滅亡の可能性について議論をしていた。
また彼はGiveWellのオンライン・フォーラムにも深く傾倒した。GiveWellは慈善寄付の効果最大化を目的とする機関であり、知識人たちが同フォーラムで慈善活動のためにいかにして最大の収益を得るかについて議論を展開していた。
私たちがダリオのクラスメート、友人、教師、同僚など20人以上にインタビューを行った。彼らの証言から、これらの書籍やブログ、オンライン・コミュニティは今もなお彼に影響を与えており、この43歳のAnthropic最高経営責任者(CEO)がどのようにAIを捉えているのかを理解する手がかりとなることが示された。Anthropicは今月、公開株式市場上場を発表しており、それが世界最大級の上場となる可能性がある。
友人や同僚によれば、ダリオの世界観の中核には、二つの交錯する思考がある。どちらも数学的な推論が人類の未来を変え得ると信じている。
一つは「合理主義」だ。これは冷徹かつ合理的に世界を見ることを強調する。自己流のAI研究者であるエリザー・ユドコフスキーらが信奉しており、AIが十分に強力になり最終的に社会を破壊する可能性があると見なしている。
もう一つは合理主義と共発展してきた「有効利他主義」で、精密な数学的計算を通じて社会の福祉を最大化しようと試みる。
友人や同僚の話では、ダリオにおいてこの二つの潮流は固い信念へと融合した。すなわち「AIは極めて危険であり、それを開発する技術を委託できるのは彼と志同道合な技術者のみである」。これが彼をして、人間のことを気にかけない他の人間よりも先にAIを創造するよう駆り立て、同時にこの技術を制御したいという欲求を抱かせたのである。
ダリオは9月に発表したAIの開発ペース緩慢化を求める記事の中で「この技術を正しい構築法で行うことでのみ、もたらされる恩恵を得ることができる。私たちが確保した時間を正しく活用できさえすれば、物事を慎重に行う価値は十分にある」と記した。
これらの思考はAnthropicの基盤となった。2021年、ダリオは妹のデサニア・アモダイ、および他の5人とともに同社を設立した。全員が合理主義や有効利他主義のコミュニティとの接点を持っていた。会社の成長に伴い彼らの見解は注目を集めるようになり、ダリオは一貫して公の場でこれらの見解を力説してきた。

図:Anthropic創業者兼共同設立者のデサニア・アモダイ、2023年サンフランシスコオフィスにて撮影
ダリオは地政学の問題についても討議に加わっている。彼は米国がチップの販売を中国に制限することを推進し、中国のAI分野における競争力を低下させたいと考えている。またAIへの規制導入を訴え、技術の暴走を防ぐべきだと主張した。米国防総省との紛争の中では、AIをアメリカ国民の大規模監視に用いるべきではなく、自律型兵器にも使ってはいけないと述べている。
「彼は確かに、我々が甚大な生存リスクに直面していると認識しています」とナタン・アヴァリーは語る。アヴァリー氏はダリオと共に高校でクロスカントリーの選手を務めていたことであり、長年にわたり二人の間には多くの深い対話があったものの、現在では徐々に疎遠になっている。「彼は自分自身がそれに対して行動を起こせる立場に立たなければならない、と感じているのです」
ダリオは億万長者である。Anthropicの市場上場に伴い、彼の資産はさらに増える見込みだ。彼は会社の代表として今回のインタビュー受け入れを拒絶している。
彼の考えは支持者を獲得している。特にAI安全分野の一部の実務者の間でだ。彼らはダリオが責任ある形でAIを開発していると考えている。
しかしそれが原因で、シリコンバレーやワシントンD.C.には敵も多い。METAのマーク・ザッカーバーグやNVIDIAのジェンソン・フェンなどがその批判者だ。彼らは彼を「ディーマイスト(終末論者)」と呼び、AI分野の権力を彼個人に集中させようとしていると非難した。9月、米国防総省はソーシャルメディアに「アメリカンイズム、つまり国粋主義こそが重要なのであり有効利他主義ではない」と投稿した。
ダリオは自分の考えが一部の人々に不快感を与えていることを理解しているようで、そのため自ら進んで合理主義や有効利他主義との関連性を断ち切る努力をしている。2023年、彼はニューヨーク・タイムズのポッドキャスト『Hard Fork』において、自分を有効利他主義者とは考えていないと述べた。
「その考え方の中の一部には同意します」と彼は話しつつも、「人々を異なる部族に分類する」ことには反対している。
「ダリオ、気楽にいこう!」
ダリオと妹のデサニアはサンフランシスコのミッシオン地区で育った。父のリカルド・アモダイは革製品の職人であり、母のエレナ・エンゲルは公共図書館の改装事業を手がけていた。離婚資料によれば、二人は1991年に別居したという。
ランディング・オルタナティブ・スクールで8年生の時、ダリオはすでに頭角を現していた。1997年、彼は同級生とともに「最も成功する可能性が高い人物」に選ばれ、卒業アルバム用の写真では二人ともドル札を持っている。
サンフランシスコ屈指の名門公立校であるローウェル高校在籍時には、ダリオは飢えたように学習に取り組み、カリフォルニア大学バークレー校の授業にも出席した。同学によると、彼は功利主義などの思想を考えていたと言う。功利主義とは、できるだけ多くの生命に最大の幸福をもたらすべきだという主张だ。彼はまた、コンピュータのプログラムが西暦2000年の「00」を1900年と誤認する千年虫問題によってグローバルなコンピュータシステムが麻痺する可能性を心配していた。
当時ローウェル高校の物理教師だったリチャード・シャピロは、ダリオはよく試験の結果に満足していないと感じていたと言う。
「僕は何度も大声で叫んでいましたよ。『ダリオ、リラックスしろ!』と」シャピロは言う。
2001年、ダリオはパサデナのカリフォルニア工科大学に進学したが、頻繁にサンフランシスコに戻って友人や家族に会った。ある帰郷時に、彼はアヴァリー氏やヘックマン氏と一緒に寿司屋へ行き、三人で功利主義について議論した。ダリオは菜食主義者であったが、カニを食べることについては問題ないと考えていた。カニは無脊椎動物だからだ。
食事の際、ヘックマンはある思考実験を提示した。ある人物がひたすら鶏を殺している場合、もっと多くの鶏が殺されるのを止めるために、どの状況であればその人物を殺す正当性が認められるか、というものだ。
アヴァリー氏の回想によれば、ダリオは軽く笑い、「功利主義の観点からは、鶏の数が一定量を超えると、それらの命は一つの人間の命より重くなる可能性がある」と語った。
友人たちは、ダリオが無神論者であることを表明したことがあると話すが、彼には確かな信念もあった。2003年、彼はアヴァリー氏たちを運転してサンフランシスコへ向かい、アメリカのイラク侵攻に抗議するデモに参加した。
翌年、ダリオは硅谷中心部のスタンフォード大学に編入した。この転学は妹を離れていて、当時はデサニアが近くの高校に在籍していた。
2023年、彼はあるポッドキャストで妹について話す際、「ずっと一緒に世界を救おうと考えてきました」と語った。
時間と生命への思索
2006年スタンフォード大学卒業後、ダリオはプリンストン大学で物理学の博士号を取得するため進学し、最終的には物理学を生物学や計算神経科学に応用する研究に注力した。この年、丙型肝炎を患っていた父は死去した。
ダリオは網膜細胞の研究に没頭し、科学の進歩を加速させる技術の開発に興味を持つようになった。
かつてダリオと交際し、共に科学討論グループを設立していたジェイド・ウォーンによると、二人はよく以下のような疑問を議論したという。特定の疾患に一生涯をかけて研究している科学者が、もしその分野全体に向けた技術や手法の開発に転じた場合、果たしてより大きな影響を生み出せるだろうか、と。
彼女は、ダリオが自身の父親に触れたと語った。大多数の丙肝患者の治療薬が開発される以前に、父は死去してしまったのだ。

図:『シンギュラリティ・インプライン』著者レイ・カーツワイル
その頃、ダリオはすでにカーツワイルや合理主義のリーダーであるユドコフスキーの著作に同意し始めていた。彼は特にカーツワイルのある見解に関心を抱いていた。それは高度な技術が人類に自然の限界を突破する手助けをするかもしれない、というものである。この思想は「トランスヒューマニズム(超人類主義)」として知られている。
2007年、ヘックマンがプリンストンを訪問した際、ダリオはシンギュラリティが2040年までに訪れるだろうと告げ、人類のいずれ日の日に思想と機械が融合する日が来ると語った。
ヘックマンは回想し、当時のダリオは「時間が経つにつれ、我々は新しいスーパーインテリジェントAIになるか、あるいはAIと人間のハイブリッド体になるでしょう」と述べていたと伝えた。
ダリオはこの思想に強く魅了され、友人や妹にユドコフスキーのシンギュラリティ研究所が開催する年次会議への参加を促した。この団体は現在、Machine Intelligence Research Institute(MIRI)と改名されている。
ニューヨーク・タイムズが確認した2008年の電子メールの中で、ダリオは友人に対し、ユドコフスキーは「出会った中でもっとも思想が奥深い人物の一人」であり、「明確に人類にとって有益なシンギュラリティの促進を目指している」と記していた。
ユドコフスキーはニューヨーク・タイムズ宛ての電子メールの中で、「ダリオは今となっては私の助言を求めることも承認することもしていませんし、彼が昔そうしていたことは覚えていません」と表明した。

図:独学でAI研究者となったエリザー・ユドコフスキー
おおよそ同じ時期、ダリオはロケット企業SpaceXの創設者であるイーロン・マスクとの通信を開始した。二人の交流事情に詳しい人士によれば、ダリオは友人に対しテクノロジー巨人を高く評価しており、彼のために働くことも検討したが、結局そのスペース創業会社に入社しなかったと語った。
2008年、経済学者タイラー・コーエンのブログを読んでいた際に、ダリオはGiveWellを知った。コーエンはそのブログで、同機関が慈善団体に関する「興味深い助言を提供している」と述べていた。
ダリオはGiveWellのメールマガジンリストやフォーラムで精力的に活動し、有効利他主義の手法に従った慈善活動や科学研究の方法について議論した。ニューヨーク・タイムズが確認した一通の電子メールによると、2010年に彼は「より多くのお金を寄付できるよう金融業の業界に入ることを検討している」と記していた。
同年、ダリオはGiveWellのブログ記事の中で、1万ドルを寄付することを決めた理由を論じた。彼は二つの寄付先で選択を迫られていた。一つは成人結核の予防に特化した「結核対策パートナーシップ」、もう一つはアフリカの村落の子供たちにワクチン接種を提供するVillageReachである。
ダリオは書き記した。「結核対策パートナーシップ」の方が「費用対効果」が高いと。同組織が対象としているのは大人であり、「大人は赤児と比べてより深く、意味のある体験を持っているからだ」と補足した。さらに「大人の死亡は赤児の死亡に比べ、2倍から3倍深刻であると考える」と付け加えた。
しかし両団体のプロジェクト実施方法をより詳しく比較した後、ダリオは最終的に考えを改め、VillageReachの仕事の方が効果的であると判断した。
2011年、彼はスタンフォード大学で癌細胞の研究を行うためポスドクとして働き始めた。友人たちは、彼の私生活においては、抗老化サプリメントを試飲したり、厳格なスイミングプランを実践したり、摂取カロリー削減に興味を持ったと語った。カロリー摂取を減らすことが研究室のマウスの寿命を延ばすことができるという研究結果もある。
「彼はしばしば時間の有限性について語り、時間はただ一つ再生不可能な資源であると述べていました」とアヴァリー氏は言う。彼はさらに、ダリオが「時間に対してほぼ苛烈である」と付け加えた。
彼を知る二人の人士によれば、2014年にダリオは精巣癌と診断され、この感覚を一層強めた。彼は化学療法を受け、最終的に完全に回復した。
その頃までに、彼はGiveWellの創設者の一人であるホルデン・カルノフスキーと密接な関係を築き上げていた。GiveWellはGood Venturesと提携を始める。後者はFacebook共同創設者ダスティン・モスコヴィッツとその妻カリ・ツナの慈善団体であり、有効利他主義に関連する事業に資金提供を行っていた。
ダリオは双方の共同プロジェクトであるGiveWell Labsに対し、生命科学分野の助成金に関する助言を提供し始めた。

図:GiveWell創設者兼共同設立者のホルデン・カルノフスキー(右)、2012年撮影
当時、カルノフスキーはデサニアと交際していた。二人はサンフランシスコのシェアハウスに引っ越し、その後にはダリオ、理論物理学者ジャレッド・カプラン、そして大学中退者のクリストファー・オラーが住むようになった。ダリオはオラーに数学の指導をしたことがある。
この住宅を訪問したことがある三人の人士によれば、ルームメatesはユドコフスキーの記事を検討したり、合理主義や有効利他主義を探求したりしていた。彼らはまたネバダ州の砂漠で行われる年間の反主流文化集会「バーニング・マン」に参加することもあり、時には動物のコスチュームを着た。
カプランとオラーは後にアモダイ兄妹と共にAnthropicを設立した。2025年、カルノフスキーも同社で働き始めます。
百度、GoogleからOpenAIへ
2010年代初頭、機械学習が進展し、科技公司がAIへの投資を改めて強化する動きを牽引した。機械学習により、コンピューターはデータの分析を行い、そこからタスク遂行方法を学習することが可能になった。
中国のインターネット大手であるBaidu(百度)もその一例だ。Baiduはカリフォルニア州ソニービルの研究施設を設立し、GoogleからAIのパイオニアであるAndrew Ng(吴恩达)を首席科学者に迎えた。
ダリオは2014年にBaiduに入社し、すぐにオフィスを徹夜して働いたり率直に意見を述べたりすることで知られるようになった。

図:AIのパイオニアであるAndrew Ng(吴恩达)、かつてBaiduとGoogleのAIチームを指揮
Baiduでかつてダリオと同僚だった研究者グレゴリー・ディアモスは次のように語った。「ダリオは機会があればいつでも非常に激烈に議論を闘わせるんです」
このAI発展の一局面の初期段階においても、ダリオはすでにこの技術の潜在的な危険を危惧していた。ディアモスは回想し、2015年にダリオが同僚に、AIは近い将来に人間の脳的能力に到達するかこれを凌駕するかもしれないので、AIを開発する企業はその技術が制御不能に陥る可能性を避けるべきではないと語っていたと明かした。
同年、ダリオはGoogleのAIラボであるGoogle Brainに加わり、AI安全性に注力した。彼は他の5人の研究者、うちルームメイトのオラーを含むと2016年に論文「Artificial Intelligence Safety」を発表し、開発方法が不適切な場合にAIが起こし得る予期せぬ挙動を詳述した。
2016年、ダリオは新たなAIプロジェクトである非営利団体OpenAIに参加した。彼はOpenAIの安全チームおよびもう一つの「スケール則」を研究するチームを率いた。スケール則とは、モデルサイズ、訓練データ、計算リソースが増加するにつれてAIモデルのパフォーマンスが向上するという傾向を記述するものである。
OpenAI時代:理念、権力、そして分裂
ダリオと同僚だった7人の人士によれば、OpenAI在籍中彼はAI開発の適切なあり方に対する信念を一段と強めた。彼はAIの能力と潜在的な危害についてより頻繁に語り、自らの考えを技術開発プロセスに組み込むための行動に移した。
例えば、2016年11月、ドナルド・トランプが米国大統領に当選してから3日後のこと、ダリオはOpenAIの社内コミュニケーションアプリに、「米国が権威主義への滑りを懸念している」と書き込んだ。
ニューヨーク・タイムズが確認したメッセージによると、彼は「権威主義国家で軍事的用途が極めて高い技術の研究を道徳的に良心の呵責なく続けることはできない」と表明した。
社内情報によれば、ダリオはさらに投資家のピーター・ティールについて、トランプ大統領候補への選挙活動献金125万ドルを行ったことから「道徳的に非難されるべきだ」と記し、OpenAIは彼からの資金を受け取るべきではないと主張した。(ティールが設立したベンチャーキャピタルのFounders Fundは後にAnthropicに出資した。)
ダリオはさらにOpenAIを、自身の考えに共鳴する資金提供側と連携させる役割も果たした。この取扱いに精通した三人の人士によれば、2017年に彼はOpenAIをカルノフスキーが運営する慈善団体と繋ぎ合わせ、彼自身はその団体の技術アドバイザーでもあった。
カルノフスキーの団体は現在Coefficient Givingと名乗っており、OpenAIへ3000万ドルの寄付を行った。カルノフスキーはOpenAIの取締役会にも参画した。

図:ホルデン・カルノフスキーとデサニア・アモダイの結婚式の現場写真
その後間もなく、カルノフスキーはデサニアと結婚した。二人の結婚式ウェブサイトによると、ゲストにはぬいぐるみが配られ、「異なる役柄間の最も浪漫的なペアリング」を手配した者には特典が用意されていた。
ダリオはパンダの着ぐるみの頭をつけて結婚式に出席し、ウェルカムドレスコードは「ジョークフォーマル」だった。ニューヨーク・タイムズが確認した一枚の写真では、彼がこの衣装を纏い、キリンの着ぐるみをかぶったオラーそして当時のガールのカミー・クラークと一緒に写っている。彼とクラークは2022年に結婚した。
2018年、デサニアはOpenAIに入社し、最終的にはセキュリティとポリシー担当副社長に就任した。一部の社員は早くから兄弟姉妹二人の増大する影響力に対して疑念を呈し始めた。

図:2017年にOpenAIで勤務するダリオ、および2019年にOpenAIで勤務するデサニア
当該議論の実情に詳しい三人の人士によれば、同年12月、OpenAIの研究者ジョシュア・アチャムはCEOのサム・アルトマンに対し、ダリオを同社の主席倫理官に任命するのは賢明でないとした。アチャムはアモダイ兄妹の権力拡大に言及し、AIの監督は異なる見解を有する者によって共同で行われるべきであると表明した。
アチャムが外部の専門家を首席倫理官として任命すべきだと固く主張すると、ダリオは彼と直接対峙した。関係者に 따르면、ダリオは声を荒らげ、自分よりふさわしい人間はいないと表明した。
2018年、アモダイ兄妹はGPTという名の社内のプロジェクトを引き受けた。GPTは「Generative Pre-trained Transformer(生成前置学習Transformer)」の略称である。
同社にかつて勤務した六人の人士によれば、兄妹は人間の指示を通してAIにタスク遂行を教えることを目的とした安全技術を探求していた。
この手法は後にダリオのキャリアにおける顕著な特徴となった。すなわち、AIを潜在的な危険により近づけ、その後安全技術を用いてそれをテストするのである。
OpenAIのプレジデントであるグレッグ・ブロックマンはGPTプロジェクトに関わる希望を持っていたが、アモダイ兄妹から抵抗を受けた。会社事情に詳しい二人の人士によれば、ダリオはアルトマンに度々、もし彼がブロックマンをこの仕事から遠ざけないならば自分が辞任すると警告した。
アルトマンの構想に通じる一人の人士によれば、アルトマンはこの最后通牒があまりにも過度だと判断し、兄妹たちの要求を却下した。
2020年12月、アモダイ兄妹は他の同僚と共にOpenAIを離れた。それから4週間後、彼らはAnthropicを設立した。

図:今年5月のAnthropic開発者カンファレンスにて、アモダイ兄妹とチーフプロダクトオフィサーのAmi Voraが登壇














