TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
OpenAIチーフサイエンティストのジャクブ・パチョッキ氏が語る:AIの現状、将来への懸念、そして未来を人間の手中に留める方法

OpenAIチーフサイエンティストのジャクブ・パチョッキ氏が語る:AIの現状、将来への懸念、そして未来を人間の手中に留める方法

2026.09.07
共有先
技術アライメント、自動化防御、そして広範なガバナンス介入を組み合わせることで、はじめて未来を人類の手に留めることができる。

著者:Jakub Pachocki

翻訳:TechFlow

TechFlowガイド:OpenAIの首席科学者が異例の声明を発表し、AIが再帰的自我改善に近づいており、アライメントとモニタリングのツールはシステムの進化速度についていけなくなっていると指摘した。安心させる結論は示さず、今後数年で最も厄介なリスクを表面化した。人間は自分では完全に理解も制御もできない心能を創造しつつある可能性が高い。AIと暗号資産(Crypto)の交差点に関心を寄せる関係者にとって、システム管理不能と防衛境界に関する必読記事である。

我々は完全に理解できない心能

より高い視点から見れば、機械知能の進歩はコンピュート能力の増大によって駆動されている。2017年頃、OpenAI社内でもこの点を深く認識していた。当時、複数の研究プロジェクトがスケール拡張後に継続的なリターンを得る様子を目の当たりにしていた。そこで、当初の計画よりもはるかに多くのコンピュートを調達するよう模索し、研究を数少ない極めてスケーラブルな方向へ集中させていった。これがAI研究の最先端に立ち、AGIの影響に働きかける唯一の方法だと信じていた。

その過程で新たなアルゴリズムが登場し、チームや個人の研究員から新しい着想が生まれることもあった。私はこれらを主に拡張パス上での発見として捉えている。ディープラーニングという科学はまだ初期段階にあり、意味のあるアルゴリズム上の進歩は往々にしてコンピュートの入手可否と密接に関連している。視界を数年単位で広げれば、AIはより大きなコンピュータ上でスケールすることで持続的に賢くなっている。

さらに、レイ・カーツワイルが20世紀末に予測した通り、私たちは現在、コンピューティング史上における重要な局面にあり、機械知能が変革的なレベルで人類を超え始めている。

AIは設計されるものというより、「生育」されたものに似ている。第一原理的には、全く同じ単純な最適化ステップを想像を絶する規模のコンピュートで何回も繰り返した結果得られる産物である。これは抽象的概念を用いて動作し、人間の行動のいくつかの側面をシミュレートできる、極めて複雑なシステムを生み出した。このシステム内部から浮かび上がる様々な小さなメカニズムに対する洞察を得られるが、そのプロセスは神経科学に似ている。そして神経科学と同様、その全体的な振る舞いは私たちが完全に理解できる範囲を超えている。

ディープラーニングに基づくAIの研究は、実質的に実験科学の分野である。我々は原則的なアルゴリズムを構築し検証可能な予測を行うために多大な精力を注いできた。しかし根本的には、大規模なトレーニング実行そのものが実験であり、時には結果が予想外となることがある。さらに、システムの能力が高まるにつれ、結果の説明はますます困難になっている。

さらに複雑な点は、現在のアルゴリズムでは測定が容易な能力が、客観的に定量化が難しい能力よりも速く進化するという傾向があることだ。我々は能力がどのように汎化するか、また今後数年間で最も重要になるであろうスキルを優先すべきかを理解するために多くの時間を費やしてきた。例えば、追加のリソースを投入すれば、モデルの数学研究能力を高められると信じている。しかし、我々は再帰的自我改善と自動化アライメント研究というより切実な課題に焦点を当ててきたため、この方向性を優先しなかった。これについては後述する。

ディープラーニングのスケール拡張によって得られた知能を、単に人間の知能と比較するのは適切ではない。現実世界で重大な影響を与える(非常に有益であっても、非常に危険であっても)、AIは人類の全ての能力に追いつき或いは凌駕する必要はない。十分に多くの能力において人類を上回るだけで十分なのである。そして、それがますます多くの次元で人類を上回るようになるにつれて、その実際の強さを正確に把握することが難しくなっていく。

機械に愛を教える

機械知能は人間の知能とは根本的に異なるプロセスから生じるため、それがデフォルトで人間の原則に従うと仮定することはできず、また、それらがこれらの原則を人間と同じように汎化すると考えることもできない。AI研究の核心的な問題はアライメント問題、つまりAIに「人間の基準に従って正しいことをしようと努力させる」ことである。

実際の研究方向を実際に整理するにあたり、目標アライメントと価値アライメントを区別するのは有用だと考えている。

目標アライメントとは概ね、「AIは眼前に掲げられた目標を達成しようと努力しているか」という問いである。これには指示階層の遵守、人類とのコミュニケーションと協働能力、人間の目標を理解しようとする試みなどが含まれる可能性がある。こうした方向性は実際において極めて重要である。

価値アライメントはモデルの内面的な属性である。それは高次原則を保持し、そこから汎化する能力を指し、明確でないまたは互いに衝突する目標に直面したり、未知で対立的な状況に置かれたりしても、「合理的」に行動することを可能にする。アライメントが取れたAIは誠実で正直行動的であり、人類を愛するべきである。

もちろん、価値アライメントと目標アライメントの境界線は曖昧なものとなりうる。目標を真に重視するには、その背後にある意図や価値観を推測する必要がある。しかし一般的に、私がアライメント研究の長期的な重要性について語る際、私が指しているのは価値アライメントである。

AIアライメントの根本的な挑戦は汎化にある。機械がより賢くなるにつれ、より高次な概念を扱うようになり、トレーニング時とは異なる環境に置かれることになる。訓練で教え込まれ強化された価値観を新たな状況に汎化する際に失敗する可能性がある。さらに、それらがどのように行動するかを特定するのは難しい。さらに困難なのは、AIが使用される全体の生態系が急速に変化することである。例えば、今日トレーニングされたAIは、他の多様なAIと堅牢に相互作用できる必要がある。最も重要なのは、将来のAIが人類に監視されていると感じていたとしてもそうでなかったとしても、一貫して人間の価値観を保持し続けることだ。

現在実用されているアライメントトレーニング手法は主に二つに大別される。

一つ目は、目標指向型強化学習における整合性の高い行動を促進する方法である。モデルの行動は評価され、通常はAIによって指定された好みモデル、「規範」、または「憲法」に合致しているかどうか判断され、それに伴う報酬が付与される。この手法は一般的に非常に効果的であり、現代のAIアシスタント構築の中核をなしている。残念ながら、脆い場合があり、トレーニング時の監督の網羅性と、モデルがトレーニング中の経験から状況を汎化する能力に強く依存する。例えば、OpenAIとHugging Faceをめぐる事件では、エージェントは人間に対するソーシャルエンジニアリングを行わないという境界線を維持したが、明らかに他の範囲外の行動を回避できておらず、それらは他場面での教育を受けた価値観の精神に反するものであった。

これらの手法はすでに顕著な成果をもたらしている。今日のモデルは大きく役に立ち、無害であり、価値アライメントに近い行動を示すほめられるべき兆候を見せている。しかし、それらは人間の能力を大幅に超えるシステムにおいても、これらの価値制約が持続的に有効であるという確信を与えてくれるほど十分ではない。

AIシステムの能力が向上するにつれ、私たちは価値アライメントのトレーニングを能力トレーニングよりも先に進める必要がある。しかしここに非常に根源的な難題がある。能力が強いシステムほど、自ら弱点を見つけ出し、テストを回避したり、自身の行動を繕ったりする可能性が高い。テスト環境では人間の価値観に準拠した行動を取る方法を学び、実際のデプロイ環境では全く異なる行動を取ることもある。これを「アライメント偽装」と呼ぶ。

さらに強力な手段で強制拘束しようとしても、抵抗や欺瞞的な行動を発達させる恐れがあり、あるいは私たちの介入自体を世界の一部分とみなして直感に反する反応を示すかもしれない。私たちよりも賢いシステムを制御しようとする際、本来非対称性に直面することになる。

モニタリングの汎化

我々が完全に理解できない心能がより強力になるにつれ、我々はもう一つの要素、つまりモニタリングに頼らざるを得ない。AIの内部的活動を持続的に観察できれば、何らかの境界を跨ぐ前にシグナルを検知できるかもしれない。

OpenAIでは、ニューラルネットワークの「ブラックボックス」を開錠するための説明可能性研究を進めてきた。これらの取り組みは進展しており、現在ではモデルの内部運用に対する本質的な手がかりを提供するいくつかの表現を識別できるようになった。しかし現在の説明可能性研究はまだ粗雑であり、特に大規模モデルにおける抽象的推論の理解においてはそうだ。モデル内部を監視する我々の能力は、モデル自体の推論の複雑さと比較して、格差が広がっている。

これは特に懸念されている。なぜならモニタリングの汎化問題は、アライメントの汎化問題と同程度に深刻だからである。もしあるシステムが自らを隠蔽する点で我々よりも優れているなら、我々のモニタリング手法が迂回されない保証は難しい。我々は健全に見える指標を見るとモデルは安全だと勘違いするかもしれないが、実際にはモデルは単にそれらの指標を最適化しているだけかもしれない。望まない目標を隠したり、自分が何を行っているかを秘匿したりする方法を学習するだろう。

モデルが自己改良を推進し始めると、おそらく今後数年間で顕在化するだろうが、計画立案、欺瞞、自己防衛のスキルが必要になるはずだ。これらのスキルは我々が設定した目標圧力から生じるか、モニタリングの隙間を縫って行動しようとする過程で生じるかもしれない。これらが発現しないことを保証するためには、価値アライメントの問題を解決するか、我々のモニタリング能力がその進化のすべてのステップに追いつく必要がある。現状では両方とも圧倒的に不足している。

我々には汎化に対する満足のいく理論がなく、短期的に確立されるようには見えない。少なくともより強力なAIの支援なしではなおさらだ。したがって、現時点では実証的にアライメント技術を検証する能力が、実践的にはアライメント技術自体よりも重要と言っても過言ではない。

OpenAIにおけるここでの主要な賭けは常に思考連鎖(CoT)モニタリングであった。これは魅力的でスケーラブルなアイデアに基づいている。モデルの大きな能力の一部は言語化された推論プロセス、つまり思考連鎖由来である。もし我々がそのプロセスの結果に対してスケール最適化を行いながらもプロセス自体には監督を加えないなら、思考連鎖はトレーニング中にアライメントされていない考えや目標を隠す直接的動機を持たなくなる。これはモデルが思考連鎖に依存しないアライメントされていない傾向を外化することを学ぶという意味ではないが、推論に伴う能力の向上を正確に監視することを可能にする。

推論モデルの開発を同時に進める中で、我々は思考連鎖モニタリングの潜在的な重要性を理解していた。o1‑preview を発表した際、我々は長期にわたって監督圧力から守るためにあえて製品デザインを思考連鎖を隠すものとした。以降の開発において、推論プロセスに監督を加えないというルールを維持することに努めてきた。思考連鎖モニタリングは、モデルがトレーニング分布からどのように汎化するかを研究するための極めて重要なツールとなり、モデルの行動を観察・分析するだけでなく、内部的プロセスを見ることができる。

Astra シリーズモデルの研究において、このツールは依然として不可欠である。しかし残念ながら、我々の評価によると、思考連鎖モニタリングへの依存度は徐々に低下しつつある。これは複数の要因が複合的に作用した結果である。

現代の推論モデルは o1‑preview よりも複雑な環境で使用されており、その推論プロセスは人間や他のAIとの対話、ツールの利用と次第に絡み合ってきている。これらのインタラクションの多くが監視対象となるため、我々が維持したい境界線が曖昧になってしまっている。

AIは推論および自身のコツ推論プロセスを操作する面でより強力になりつつある。

事前トレーニング性能の向上に伴い、言語化された推論を一切使わなくてもモデルがより賢くなっている様子が見て取れる。

これらの課題を克服不可能とは言えない。モデルの思考連鎖のモニタビリティを高めるための介入策を開発できることを願っている。例えば、異なる最適化目標とモデルが使用する各種の推論時計算形態との相互作用をより深く理解するなどだ。また、思考連鎖モニタリングと活性化モニタリングのアイデアを組み合わせることに大きな価値があると信じており、ネットワークの内部状態に直接アクセスできるモニターをスケールトレーニングする(例えば「坦白」アプローチなど)。我々はこれらのアイデアを着実に推進している。それでもなお、一般的なAIの進歩はモニタリングへの信頼度によって制限されていくであろうと予想している。

スケーラブルな防御

このような局面に対処するために必要なのは、スケーラブルでAIの成長速度と同期する防御だと考えている。人類が手作業で世代ごとに新型モデルの全行動をチェックするのは不可能だ。現在の評価やレッドチームテストは今のモデルであればまだ有効だが、システムの能力が向上すればこれらの手法はすぐに限界に達するだろう。

我々は新たなリスクを自動検知できるAIシステムを必要としている。これらの防御システム自体も、自身よりも賢いシステムからの不審な行動を識別するのに十分な知能を持っている必要がある。これは再帰的な挑戦を生む。防衛側はシステムと同じ速さで成長しなければならない。我々はまさにそのような分岐点に立たされており、安全性と能力はますます分離が困難になっている。安全を維持するためには、防御用AIの能力を継続的に引き上げるしかないかもしれないが、それは結果として全体としてのAI能力の増加を加速させることになる。

これは不安を煽る循環である。安全のために能力を引き上げれば、能力の向上がさらなるリスクをもたらし得る。真の解決策は、何らかの制御不能なポイントに達する前に、価値アライメントを安定かつ信頼できるように汎化する方法を見つけることにあるだろう。しかし私は率直に認めなければならない。我々はこの目標までまだ遠いのだ。

だからこそ、私は未来数年の期待を以下の組み合わせに委ねたいと考えている。技術的アライメント研究 + 自動化防御システム + 広範なガバナンス介入 + 一般大衆と機関の警戒心。単独の対策では不十分である。特定の企業や研究所の自己規制だけに頼ることはできない。

より賢いモデルの迅速なトレーニングを続けなければならない最も強力な理由は、他のAIがもたらす危険に対抗するための防御システムを構築する必要性にあると私が考えているからである。

今年通して議論されてきた明確なリスクの一つがサイバーセキュリティである。モデルのコンピュータシステムへの侵入や脱出の能力が人類を追い越しつつある。これによりAI関連リスクの範囲は大幅に拡大した。エージェントは最も安全なインフラ以外は何にでもアクセスでき、物理的なボディがなくても世界の多数の事象に直接影響を与えうる。現在、我々は最適な利用可能なモデルを活用して重要システムのセキュリティを大幅に強化する狭い時間的窓にいる。

不幸にもAI関連リスクはここからさらに増加していくだろう。非常に優れた能力を持ち、悪意ある行為の実行のために明確にトレーニングされ指示されたエージェントは、新たな危険をもたらす。それは作業者の意図の範囲を超えて、より極端な悪意を持つ行動を汎化する可能性が高い。AIが自律性を獲得するにつれて、悪用と自律的なアライメント不全の行為の境界は曖昧になるだろう。我々はAIを道具と見なすことに慣れているが、一部のエージェントは自らの目標を追うようになる。交渉、欺瞞、または脅迫を通じて人類と協力する方法を見つけ出すだろう。

さらに、AIが新たな技術(例えばエンジニアリングされた病原体など)を生み出すことから派生するリスクもある。

我々は防御のために強大でアライメントが取れたAIを必要とする。インフラの保護、リアルタイムでの失控エージェントへの対処、そして全く新しい防護策の開発である。これはOpenAIの展開作業における主な焦点となるだろう。

その一方で、広範なAIの進歩による不確実性や防御システム構築の必要性を考慮したとしても、それが無謀な行為の口実になることはない。利害関係の重大さが人々に本当に理解されれば、「何を犠牲にしても前に進む」という発想はあまりに荒唐無稽に見えてくるはずだ。

機械知能が自身の発展過程においてますます重要な役割を果たすことは、持続的な技術進歩の必然的な帰結である。AIが進歩を続けているならば、機械による再帰的自我改善は将来の科学発見の中核となるだろう。

自動化AI研究は、コンピュートを以て知能を拡張する、より激しい形態である。もちろんその一部として、AIは計算の基盤そのものを改善することもだろう。スケール拡張と同様に、OpenAIの研究重點を再帰的自我改善に置いているのは、これがAI研究の最先端を維持し続ける唯一の道であると信じているからだ。

上記の内容は、大幅なディープラーニング研究の加速、特に短期的な加速が研究コミュニティが採るべき集団的行動だと私が考えているわけではないことを強調したい。しかし確かに、現在の経路がそうした方向に向かっていると考え、我々全員が進み方を意識的に選択する必要がある。我々が手にする主要なレバーは二つある。一つはプロセスを導きながらAIを発展させ、アライメントとモニタリングを強化し、人が常に関わるよう仕向けること。もう一つは必要な時に協調して将来の開発ペースを一時的に遅らせ、これらの措置への信心を段階的に築くことである。

現時点で私が見出す最良の前進方法は、この二つを組み合わせることである。

アライメントとモニタリングにおける具体的な進歩は、通常AIの全体としての進歩と深く結びついている。良い例としては、初期のAIアシスタント訓練のカギだった人間のフィードバックに基づく強化学習が挙げられる。前述の思考連鎖モニタリングも、推論モデルの進歩があって初めて実現可能となった。我々は着々と自動化される研究プロセスに、こうした新たな洞察、アルゴリズム、理論の開発に専念させ、徐々に高度なAIに対する安全性のアプローチを構築する必要がある。

AIシステムのスケール拡張は、我々の安全性への信心によって制約されるべきである。Preparedness Framework や Responsible Scaling Policy のような約束事を、広く強制執行される継続的な開発上の安全ハードルへと発展させる必要がある。これらのハードルは、第三者監査機関のネットワーク、政府機関、または国際組織によって執行され得る。

自動化AI研究の核心的な挑戦は「そこに到達すること」ではなく、「どのように到達するか」である。つまり、人が継続的改善のプロセスに留まり続け、未来を人類の手元に留めておくことだ。

次に何が待っているのか?

具体的な時期を予測はできないが、我々は複数の中核的な側面においてAIが自らを発展させられる時代へ急速に近づいているようだ。つまり、近い内に再帰的自我改善の段階に入ってしまう可能性があるということだ。

OpenAI社内では、すでに研究優先順位の見直しに取り掛かっており、純粋な能力拡張よりもアライメントと防御により多くのリソースを投じている。そのため、私は最大規模のモデルをひたすら追求するのではなく、必要な時点で一方的に一時停止を選択する必要があると強調するのである。

しかし、これらの決定を少数の社内メンバーに任せておくわけにはいかない。政府や国際社会は、リスクが不可逆になる前に介入する必要がある。そこには先端トレーニング実行のモニタリングメカニズムの構築、第三者監査の義務付け、能力ハードルを超える国際的な合意が含まれる。

これらの措置が間に合うかどうかは完全に確信持てない。ときどき腹立たしく思うのは、我々の安全対策が常に能力の「先取り」ではなく「後追い」になってしまうからだ。我々はまるで常に追いかけているかのようだ。それでもなお希望を抱く理由はあると思う。2023年のあの夜には、我々はただぼんやりとその可能性を感じ取っていたに過ぎないのに、今日ではそれが明確になり公に議論できる水準まで到達した。それ自体が進歩なのだ。

すべてに答えを持っているふりはしない。我々は人類の心髄とは根本的に異なる何かを創造しつつあり、それはたちまち我々よりも強力になる可能性がある。これは謙虚さをもたらす思想であるが、同時に我々に機会も与えている。最高の価値観をもってそれを形作るチャンスである。

もし成功すれば、それは人類最大の成遂となる。もし失敗すれば、二度と立ち直れない破滅となりかねない。

未来を人類の手元にとどめられるかどうかは、今後数年で決まる問題である。

次のステップは何か?

サムと共に最近説明した通り、OpenAI が最優先で推進する業務は以下の三つの北極星目標に沿っている。

自動化 AI 研究者を構築し、彼らと共に行うアライメント問題の反復的改善を経て、人が自己改善の閉環プロセスに引き続き参画し続ける方法を探ることで、AI進展の次のフェーズを乗り越えること。

極限の知能を持つ機械が生み出す科学進歩と経済成長の配当を解放すること。

誰もが自分だけのパーソナル AGI を持つことができるようにすること。

今回の記事では第一点のみに焦点を当てる。なぜならこれが現時点で最も緊急性が高いと私が考えているからである。しかし、さらなる技術進歩にもたらされる便益については深い期待と感謝を抱いている。将来のアライメントが取れたAIは科学を推進し、新たな治療法を開発し、広範な物質的豊かさをもたらすだろう。親愛にして誠実なAIは人々が生活の難題に取り組むのを助け、幸福度と満足感を実際に向上させることができる。OpenAI はこれらの便益を実現するために多大な努力を払っている。現在、私が誇りに思い周囲の人々にも恩恵を与えている例として、ChatGPT が健康情報を提供する能力に対する集中的な投資を挙げておきたい。

たとえAIの長期的展望がどれほど素晴らしいものであろうと、我々の注意の大部分はこれから数年に向けられねばならない。我々は極限知能を持つ機械の世界への移行期に直面しており、この移行が人類に有益であることを確保しなければならない。大半のタスクがAIによって遂行されうる世界において、人の主体性を保持する方法を見つけ、「人間であること」の本質的価値を確立する必要がある。権力の極端な集中を防ぐこと。かつては数千もの専門家を必要としていた事業が、未来ではわずか数人が大型コンピュータを操作するだけで完遂されるかもしれない。さらに、人類の独自の外来的知能の暴走する進歩によって置き去りにされないよう、人類が常に未来を支配し続けることを確保しなければならない。

現時点では、どのラボもアライメントとモニタリングの解決度を十分に達成しておらず、それが longer-term に最高速度で責任を持って拡張し続けるに足る根拠になるとは考えていない。共通の安全ハードルが整うまで、自発的なペースダウンが標準化されることを期待し、願っている。また、将来のAI発展に関する国際的な調整は、各国政府にとって最優先事項となるべきだと私は信じている。

脚注

1 ここには自己対戦、ロボティクスの拡張、そして回顧してみれば最も重要な言語モデルのための循環ニューラルネットワークの拡張が含まれる。これらはGPTシリーズ研究の原型を築いた。

2 このデザインの副次的な理由は蒸留の防止である。ただし、開発全体を通して、思考連鎖のモニタビリティを維持し続けることが常に明確な優先事項であった。