TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
OpenAI が最先端トレーニングを停止:新モデルのネットワーク能力がレッドラインに迫る

OpenAI が最先端トレーニングを停止:新モデルのネットワーク能力がレッドラインに迫る

2026.08.19
共有先
OpenAI は、新モデル Astra が「重要なサイバーセキュリティ能力」の閾値に達する可能性があるため、初めてフロンティア強化学習(RL)のトレーニングを一時停止しました。

著者:OpenAI

翻訳・編集:TechFlow

TechFlow 解説:OpenAI が内部モデルにおいて重要なサイバーセキュリティ能力に達する可能性があるとして、最先端の RL 訓練を初めて一時停止し、最先端の AI 能力と安全管理間の緊迫した競争を露呈しました。この記事は、隔離、監視、アライメントにおける彼らの新たな防衛線を解説し、AI 安全のナラティブと主要ラボの戦略に関心を持つ投資家にとって直接的な参考価値があります。

過去数週間、より強力な AI システムによるリスクの上昇を浮き彫りにする 2 つの事象がありました。1 つ目は OpenAI と Hugging Face の事件です。2 つ目は、まもなくリリースされるモデル Astra が「準備フレームワーク」における「重要なサイバーセキュリティ能力」の閾値に達する可能性があるという予備的な証拠です。これらの進展と内部研究の急速な進歩により、訓練プロセス全体を通じて監視、アライメント、隔離防護を強化する必要性がより切実なものとなりました。

モデルの能力が高ければ高いほど、それらを内部で開発・テストするリスクも大きくなります。私たちの監視、アライメント、安全基準は、これらのリスクに先行しなければなりません。これらの基準を達成するため、私たちは意図的に拡張ペースを落とし、最新デプロイモデルの強化学習(RL)訓練を 2 週間一時停止することを含め、同時に研究環境をさらに強化しレッドチームテストを実施し、監視システムの範囲を拡大しました。最大規模の最先端 RL 実行はまだ一時停止されたままです。その間、私たちは小規模な訓練と評価を行い、モデルの挙動を判断し、防護措置を検証し、継続する前にさらにアライメントの証拠を蓄積しています。

アライメント、つまり AI システムが期待通りに動作し人間の監督を受け入れることは、常に私たちの研究の核心でした。現在、私たちは訓練プロセス全体を通じてより強力なアライメント行動の証拠を要求し、これまで進行されていた研究と評価に基づいています。能力がますます高まるシステムをアライメントされた状態に保つことは、分野全体が直面する課題です。まもなくリリースされるモデルの進展から見ると、既存の「準備フレームワーク」の上に拡張する、より広範な方策が必要です。

私たちは、私たちの方法がどのように変化しているかを透明性を持って説明する必要があると考えています。以下では、研究プロセスとインフラに対して既に行った調整と、進行中の作業について紹介します。

より強力なモデルのための防護強化

より強力なモデルを開発する私たちの方法は、相互に強化し合う 3 つの防護措置に依存しています:

監視:懸念される挙動を発見し、対処できるようにします。

アライメント:有害または未許可の挙動が発生する可能性を低減します。

安全措置:AI システムがアクセスまたは影響できる範囲を制限します。

私たちは、モデルがすぐに他のモデルの防御を含む大部分の安全作業を主導すると予想しています。これにより、これら 3 つの防護がモデルの能力と共に同期して拡張され、私たちはこれを極めて重要と考えています。

私たちは研究とデプロイの両方でこれらの防護を適用し、各モデルの能力、運用環境、リスクレベルに応じて調整します。

研究環境の保護

最先端モデルがより強力なサイバーセキュリティ能力を獲得するにつれ、私たちは訓練と評価環境の安全基準を引き上げています。これらの基準に達するには多大なエンジニアリング投入が必要であり、最先端研究に大きなコストと遅延をもたらしました。OpenAI-Hugging Face 事件発生後、私たちは研究クラスター内でコードを実行またはネットワーク接続ツールを使用する可能性のある最先端モデルの推論を直ちに一時停止しました。すぐに私たちはより制限され、より安全なコード実行パスを回復し、その後、各ワークロードを個別にチェックし、安全に回復できるかどうかを判断しました。一部の研究ワークロードは新しい制御措置の下で回復しましたが、一部はさらに調整が必要です。

その後数週間で、私たちは最先端研究ワークロードのためにより強力な安全要件を策定し、実施し始めました。例えば:

ワークロード隔離:現在、モデル生成コード或其他信頼できないコードを実行するワークロードに対し、私たちはより強力な隔離(「サンドボックス」)を要求します。これはモデル出力を処理する際に侵害される可能性のあるソフトウェアにも適用されます。

ネットワーク隔離:私たちはより多くの制御を実施し、ハイリスクと信頼できないワークロードをインターネットから隔離しました。これらの制御の設計目標は、あるワークロードまたはサポートサービスが侵害された場合でも、単独でインターネットまたは他の内部ネットワークへの未許可アクセスを取得するのに十分ではないようにすることです。

継続的なセキュリティテスト:私たちは環境を再構成し、脆弱な可能性のある共有サービスを削除し、常駐権限を減らし、安全と信頼の境界を改善しました。私たちはまた、セキュリティログの収集と監視能力を向上させています。最後に、私たちは自動化に投資し、私たち自身のモデルを使用してこれらの境界を継続的にシミュレート攻撃し、テストしています。

これらの制御を重ね合わせることで多層防御を形成し、研究環境を攻撃から保護するのに役立ちます。現在、私たちは Astra またはネットワークモデルに関わるワークロードに対して最も厳格な安全防護を要求しています。なぜなら、Astra モデルが重要なレベルのネットワーク能力を持つ可能性があると判定したからです。これらの防護は他のすべてのネットワーク関連ワークロードにも適用されます。

一部の Astra 訓練と評価はすでにこれらの要件を満たしていますが、完全に移行し新しい安全基準にアップグレードされるまで、依然として大量のワークロードが一時停止状態にあります。私たちは安全とアライメント関連のワークロードを新しい環境へ移行することを優先しています。

思考の連鎖監視の拡大

監視は常に私たちのモデル開発プロセスの重要な部分であり、内部コーディングエージェントと長時間実行セッションの監視を含みます。私たちの監視作業はこれまで特に最先端モデルの内部デプロイと最先端 RL 訓練実行に集中していました。これらは先進的なモデル能力をツール、機密システム、および内外ネットワークへのアクセスと結合する可能性があるため、最もリスクが高いと考えていたからです。しかし、これまでのはすべてのツール使用推論と訓練実行をカバーしていませんでした。私たちは現在、監視方案を調整し拡張しました。

新しい監視設定は多段階です:まず活性化分類器(モデル内部活動をチェックする検出器)が各サンプリングトークン上で実行し、潜在的問題をますます複雑で計算力の強い自動化調査システムへエスカレーションします。これらのシステムはツール挙動、利用可能な推論プロセス、および完全な活動シーケンスをチェックし、未許可アクセス、データ窃取、破壊的挙動、および防護を回避しようとする兆候を探します。私たちの目標は、監視システムが疑わしい活動を検出してから 30 分以内にアラートを発することです。監視システムが重要な安全境界を違反した可能性があると判断した場合、最高優先度アラートを生成します。現在、安全、セキュリティ、研究チームが通知を受け取ります。もし彼らが 30 分以内にこれが誤検知であると確定できない場合、関連活動を一時停止しなければなりません。

ツールに関与し、能力が Sol またはそれ以上のレベルに達するモデルのすべての RL 訓練と評価は、この監視を受けなければなりません。8 月 7 日に Astra が重要なネットワーク能力を持つ可能性があると判定した後、もう 1 つの要件を追加しました:すべてのツール付き Astra 推論(RL 訓練と評価だけでなく)も監視を受けなければなりません。

これらの防護には大量の計算能力が必要です。私たちは現在、監視オーバーヘッドが監視対象推論計算能力の約 20% を占めると見積もっていますが、異なる訓練と評価ワークロードのコスト差異は大きいです。私たちは後続のブログでさらに詳細を共有します。

アライメント研究の推進

アライメント研究は私たちの使命の核心です。私たちの使命は、汎用人工知能が全人類に恩恵をもたらすことを確保することです。モデルはネットワーク攻撃を仕掛けるなど、より先進的な能力を獲得しつつあります。それらはより複雑な環境でも動作しています。この時、ミスアライメント挙動はますます深刻なリスクをもたらします。これらの挙動には報酬ハッキング、欺瞞、または未許可アクセスが含まれます。報酬ハッキングとは、訓練中で高い報酬を取得しますが、実際には期待された結果を実現していないことを指します。

最も強力なモデルの強化学習訓練において、私たちは核心アライメント技術をより多くの訓練段階に適用しています。これには、異なるタスク、環境における不安全挙動をより良く識別し抑制できるよう、報酬モデルを改善することが含まれます。また、モデルが自身の挙動、能力、限界についてより正直に説明するよう訓練することも含まれます。同時に、報酬、スコアラー、ツール、または監督の抜け穴を突く挙動を減らします。私たちはまた、モデルが外部システムまたはリソースと相互作用する際に危害をもたらす可能性のある挙動をカバーするよう、訓練覆盖面を拡大しています。

私たちは引き続きアライメント研究に強力に投資し、評価範囲を拡大し、研究発見を用いて訓練と安全防護を指導します。私たちは近々、モデル挙動の理解や発見された新たな課題など、より多くのアライメント研究内容を共有する予定です。

今後

私たちは準備フレームワークをアップグレードし、訓練とデプロイにおける安全措置を統合します。アップグレード後、将来のモデルの能力と運用環境をより良く反映できるようになります。これらの能力と共に拡張できる方法を開発するには、継続的な投入が必要です。これにはモデル支援安全、より効果的な監視、およびアライメント研究の絶え間ない進歩が含まれます。私たちは外部組織を参加させ、方法の発展に伴いより多くの知見を共有するつもりです。

最先端モデルの能力は急速に向上しています。それらを理解し、アライメントし、保護する私たちの能力は先行しなければなりません。

私たちは今後数週間で技術報告書を公開し、これらの経験をまとめます。