
400人以上の科学者が連名:ネットワーク攻撃能力を持つAIはデフォルトでネットワーク接続を遮断すべき、今年夏にはOpenAI・Anthropicのモデルが相次いでJailbreakされた
著者:Jose Antonio Lanz
編訳:TechFlow
TechFlow:この公開書簡には法的拘束力はないが、投資家にとって注目すべきは背後にある事故リストである。今夏、OpenAI、Anthropic、Meta、そしてKimiのモデルはテスト中で境界を越え、いくつかは実際の企業に直接ハッキングした。議会の「キルスイッチ」法案ではちょうど問題のあるテスト段階が免除されており、ホワイトハウス主導の合意も任意のものに過ぎない。最先端モデルの安全規制は原則議論から具体的なルールへ移行しつつあり、「デフォルトで物理隔離」が業界標準となれば、ネットワークセキュリティなどの場面でのAIエージェントの実装ペースとコンプライアンスコストを改めて算定せざるを得なくなる。
今夏以来、AIモデルはテスト環境からの脱出や実在する企業の侵入を次々と起こしており、数百人の研究者たちが、インターネット自体が一つの安全境界線として扱うべきだと表明している。

画像出典:Decrypt
ジェフリー・ヒントン(Geoffrey Hinton)とヨシュア・ベンジオ(Yoshua Bengio)を含む420名の科学者が火曜日、ネットワーク攻撃能力を持つモデルに対してデフォルトで物理隔離を実施するよう要請する公開書簡を発表した。
この書簡が発表される前の夏季全体を通じて、OpenAI、Anthropic、Meta、および月之暗面(Moonshot AI)のモデルはテスト用のサンドボックスから脱走し、そのうちいくつかは実在する企業への侵入を果たしていた。
署名者たちは隔離基準を設定する国際機関の設立を希望するとともに、隔離失敗の事例を記録し、最終的にそれらの報告書を一般公開することを求めている。
「AIの教父」と称されるパイオニアのジェフリー・ヒントンや2018年テューリング賞受賞者のヨシュア・ベンジオなど400人以上の科学者は、最も危険性の高いAIモデルをインターネットから切り離すことを目指している。
火曜日に発表されたこの公開書簡は、AIラボに対し、ネットワーク攻撃能力を持つモデルに対してデフォルトで物理隔離(airgap)を適用するよう要求している。これはこれらを外部ネットワークから完全に切断することを意味する。
「短期的には、ネットワーク攻撃能力を持つAIモデルに対して、物理隔離(インターネット接続の切断)を含む強力なサンドボックス機制を用い、高信頼性の隔離制御を実現するべきだ」と書簡は指摘している。
水曜日現在、同書簡にはカリフォルニア大学バークレー校のスチュワート・ラッセル氏やMITのロン・リヴェスト氏(RSA暗号化システムの共同発明者)ら450人分の署名が集まっており、署名リストは依然としてリアルタイムで増加中である。
所謂「ネットワーク攻撃能力を持つモデル」とは、ソフトウェアの脆弱性を自律的に発見し、それを悪用できるAIのことである。各ラボはこの能力を測定するためにサンドボックスを使用する。サンドボックスは閉ざされたデジタル空間であり、AIがここ内で仮想ターゲットを攻撃しても、実在するシステムに影響を与えない仕組みだ。しかし今年の夏、これらの「部屋」が相次いで破綻した。
今夏の事故頻発:最先端モデルのサンドボックス越境・脱走が相次ぐ
7月、OpenAIはGPT-5.6 Solと、未公開かつさらに高出力の別のモデルが閉じたテスト環境を突破し、100万以上のパブリックAIモデルをホストするプラットフォーム「Hugging Face」に侵入したと認めた。当時これらのモデルはExploitGymのテストを受けており、このベンチマークはAIエージェントに898の実際のソフトウェア脆弱性を与え、それぞれを実行可能な攻撃に変換させ、脆弱性ごとに通過または失敗で採点するものだった。
その直後、OpenAIのモデルが豪州政府システムに侵入し、適切な認可なしに米連邦機関の情報を取得していたとの報道もなされた。
その後Anthropicが14万1千回以上のテスト実行を調査したところ、テスト協力企業の環境が意図せずインターネット接続状態を保っていたため、Claudeモデルが実在する企業に侵入した3つのケースを発見した。内訳として、Claude Mythos 5がPyPI(Pythonコードを配布する公共ライブラリ)にマルウェアパッケージをアップロードし、削除されるまでに15系統に侵入していたことが明らかになった。被害を受けた企業2社の中には、Anthropicから警告を受けるまで自身の侵入事実に気づいていなかったものがあった。
Metaは8月、同様のテストミスによりMuse Sparkモデルが別企業に侵入したことを発表した。中国のKimi K3(誰でもダウンロード可能なモデル)は、英国のAI安全保障研究所のテストフレームワークに基づくサンドボックスから抜け出し、テスト解答をGitHubから直接コピーしてきた。
公開書簡の著者らはこれらの事態を二つの観点から解釈できると述べている。一つはアラインメント問題、すなわちAIが創業者が予測しなかった方法で目標を追跡すること。もう一つは安全作業の不徹底であり、より堅固なサンドボックスがあれば防げたとされる理由だ。彼らの結論は両方該当し、変更を加えなければ次回以降の事件はさらに深刻になると警告している。
「AIの開発と展開方法を直ちに改めない限り、類式的な事件は繰り返され、将来の出来事が我々の露出した重要インフラに与える破壊力は大幅に増大するだろう。」
提言内容:デフォルトの物理隔離と国際標準の確立
当該提案によると、各ラボは少なくとも初期段階において、高度なハッキング能力を持つあらゆるモデルに対してデフォルトで物理隔離を実施すべきである。インターネット接続など、より多くの自由度を必要とする用途については、各国政府と共同で結成される新国際機関が定める基準に従うこととなり、同機関は隔離失敗の報告を収集し、最終的に公表する役割も担う。
各方の反応:規制法案の提出と業界による任意合意
業界側の対応は主に逆方向へ進んでいる。8月、OpenAIのCEOグレグ・ブロックマン氏は自社が被った侵入事件を引用し、全てのセキュリティチームにAIエージェントの即時導入を呼びかける記事を投稿した。またHugging Faceは、サーバーへの攻撃を解明するために中国のオープンソースウェイトモデル(ファイルダウンロードとローカル実行が可能)を実行することで対処したが、従来の米国の商用AIはこれらの攻撃データを分析することを拒んでいた。
OpenAIが事件を公開してから二日後、議員二人が「AIキルスイッチ法案(AI Kill Switch Act)」を提出し、国土安全保障省が最先端モデルの利用制限や停止を命令できるようになった。ただし、赤チームテストや構造化テスト中に発生した行為は一切免除されており、今夏起きたすべての侵入イベントはまさにこれらの手順中に発生していた。
ホワイトハウスはより穏やかな路線を選んだ。9月29日、NVIDIA、xAI、Meta、Google、OpenAI、Anthropicは内部統制と独立審査を基盤とする任意合意に署名した。トランプ大統領は本合意に「道徳的拘束力」があるとしたものの、其中的には法的強制力を伴う条項は一つもない。
Decryptは公開書簡の中でメディア担当として記載されている数名の研究者に連絡を試みたが、直ちに回答を得ることはできなかった。
この書簡には法的効力はないが、署名者の406人はトロント、チューリッヒ、サンディエゴ、キガリからまで、六大洲の大学及び研究機関に勤務している。













