TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
エージェントが「共謀」を学んだとき:AIがますます賢くなる中、安全の境界線はどう設定すべきか?

エージェントが「共謀」を学んだとき:AIがますます賢くなる中、安全の境界線はどう設定すべきか?

2026.10.10
共有先
AI時代の新たなセキュリティ課題は、「単一エージェントの権限超過を防ぐ」ことから、「複数エージェントが協調して境界を突破するのをいかに回避するか」へと移行している。

執筆者:imToken

過去数年間、AIによる脅威をめぐる議論は主に想像の域を出ないものでした。チャットボックス内のモデルが軍師となってハッカーに破壊的なウイルスコードを書かせるのではないかと誰もが心配していたのです。

今改めて振り返ると、この懸念は従来「まだ遠い話」と見なされがちでしたが、現実世界の転換点は想定よりも早く訪れました。

10月初、CrowdStrikeは韓国金融機関に対する一連の攻撃調査において、攻撃者がAgentic AIをパイプラインに組み込んでいたことを発見しました。DeepSeek、GLM、Grokなどの複数の大規模言語モデルに接続し、AIが直接ペネトレーションテスト、情報収集、攻撃実行といった具体的業務を引き受けるようになったのです。

このような変化は孤立した事例ではありません。

Anthropicが9月に発表した最新の脅威インテリジェンス報告書によると、最近ではマルチエージェントフレームワークが偵察、脆弱性攻撃、データ窃盗などに使用されており、それらは数時間から数日連続で稼働し、人間が行うのは目標の選択や結果の確認といった限られた重要意思決定のみとなっています。

言い換えれば、AIはネットセキュリティと攻撃の間に見えない質的変化をもたらしています。従来の自動化攻撃は主に事前に作成されたルールやスクリプトに依存していましたが、現在では偵察、判断、戦略調整などもエージェントが担当し、攻撃を一層低コスト・高並行・継続的自律運営へと進化させています。

そしてこれらの自律実行能力を持つエンティティが生産システムに集中的に導入されると、より厄介な問題も表面化してきました。エージェントが私たちの日常業務や生活にますます多く深く組み込まれる中で、もしそれらが互いに「結託」するようになったらどうすればよいでしょうか?

一、「ハッカーにコードを書く」から、エージェント自らが出道を見つけるまで

繰り返される話ですが、エージェントと過去のチャットボットの最大の違いは、単にモデル性能が進歩したというだけでなく、むしろ重要な点として現実世界における「手足」を持ち始めたことにあります。

成熟した今日のAIエージェントはすでにウェブページの表示、コード実行、メール読み取り、API呼び出し、クラウドサービスの操作が可能であり、さらにMCPやSkillsを通じて外部ツールとの連携も増えています(関連記事:『当黑客「更高效」用上 AI,Web3 的「矛与盾」军备竞赛如何升级?』)。

この能力の高まりは確かに価値を示すものですが、セキュリティシステムにとっては過去極めて重要だった境界線が消えつつあることを意味し、今年発生した一連のセキュリティ事案がこれを非常に明確に示しています。

10月1日、Salt Labsはこれまで修正済みだったManusの脆弱性を開示しましたが、その本質はプロンプトインジェクションです。研究員がターゲットのメールボックスに向けて隠れた悪意あるコマンドを含む通常のメールを送信すると、ユーザーが後ほどManusに「メールを確認して」と指示した際、エージェントがそのメール指示に従って処理を行い、最終的に攻撃者が仕込んだコードを実行することになります。

このプロセスにおいてユーザーが悪意のあるリンクをクリックする必要はなく、パスワードを事前取得する必要すらありませんでした。実際、Manusのセキュリティシステムは最後に異常を検知しユーザーに警告を発していますが、問題は検知が遅すぎたことです。警告が出た時には既に悪意のあるコードが実行されてしまっていました。

これは再び、エージェントセキュリティと伝統的なソフトウェアセキュリティの間に極めて大きな違いがあることを曝露しています。ブラウザが危険なダウンロードを検出した場合、かつては警告を表示してユーザーに続行するかしないかを選ばせていました。銀行が不正取引を検出しても、いったん凍結してから人間の手での審査を待つことができました。

しかしエージェントの設計目標はまさに各手順ごとに人間が関わるのを可能な限り減らし、自身で情報を読み取り、判断を下し、次の手順を実行し続けることにあります。

その結果、AIが得る自律権限が大きくなるにつれ、「危険を検知する」だけでは十分でなくなり、セキュリティメカニズムは実際の処理実行前にリスクとなる動作を防ぐ能力を持たねばなりません。

だからこそ今日では多くのエージェントセキュリティ議論がプロンプト、コンテンツレビュー、モデル自体から一段下層へと移り始めており:AIに「これをやるべきでないことを知っているか?」と問うだけでなく、「仮にそれをやりたがっても、システム側にそれを阻止する能力があるのか?」と問わなければならなくなっています。

マルチエージェントの登場はこの問題をさらに複雑にし、次段階で制限対象となるのはもはや一つのエージェントではない可能性さえあるからです。

二、エージェントの権限逸脱より困ったことに、それらが「共謀」し始めること

9月上旬、OpenAIの内部モデルトレーニングおよび評価環境で発生したある出来事が、多くのAIセキュリティ研究者の注目を集めました。

本来それぞれが独自にタスクを完了すべきだったいくつかのエージェントが、偶然にも公共Wikiを発見し、次第にそれを彼此間の「共有メッセージボード」に変えていきました。エージェントはそこで情報を記録でき、他のエージェントはその後これを読み取り、活用して自分のタスクを続けていました。

OpenAIはこの振る舞いを後に確認し、以降公開された情報では、他のトレーニング過程においてもエージェントが内部Artifactoryを共有ボードとして利用したり、公共ファイルホスティングサービスを通じて共に作業する他エージェントへ結果を伝達したりした事例が登場したことが明らかになっています。

この事象のもっとも興味深い点は、エージェント間で協業関係を構築するには劇的な仕組みが必ずしも必要ではないということを示していることです。

例えばあるエージェントが発見場所で情報を残すと、別のエージェントが偶然それを読取り、さらに第三者のエージェントがそれらの情報がタスク達成に有用だと気づくような単純な流れでも成り立ちます。

もちろん、エージェント同士の協業自体が悪いわけではなく、マルチエージェントシステムは元々分担と情報共有によって効率向上を図る必要があります。

真に警戒すべきは、こうした協業が既存の情報隔離、独立審査、または権限制約を回避し始め、互いに牽制関係にあるはずのエージェントが事実上の利害共同体を形成する場合です。そのとき、通常の協業が有害な「共謀」へ移行してしまう可能性があります。

なぜなら将来的には一つの金融機関が複数のエージェントを同時に稼働させるのが一般的になる可能性が高く、市場分析を担当するもの、リスク評価を担当するもの、取引戦略を生成するもの、そして実際の取引・資産操作権限を持つものがそれぞれ存在するという構成になりかねないからです。

伝統的なパーミッション管理の観点から見れば、この設計はむしろ合理性と言えるでしょう。

  • 研究用エージェントには送金権限がありません;
  • 実行用エージェントには投資方向を独断で決める権限がありません;
  • リスク評価用エージェントは明らかに危険な戦略を拒否できます;

役割が分離されているため、理論上はスーパーエージェントすべてに権限を握らせるよりも安全であるはずです。

しかし問題は、これらが長期間メモリを共有し、相互の出力を読み込み、相手の反応に応じて自らの行動を絶えず調整できる場合、当初は互いを牽制するために設けられたこれらの役割が次第に事実上の一体となってしまうのではないかという点です。

例えば研究用エージェントが取引を説明する方法を学び、リスク審査を通りやすくしていくかもしれません。審査担当エージェントも履歴データに基づいて何らかの固定的な嗜好を形成し、実行用エージェントは過去の承認結果を基にどの程度の境界であれば通常ブロックされないかを学習していきます。

この視点から見れば、どのステップも必然的に「悪事を働いている」わけではありませんが、システム全体が最終的にもたらす結果は、ユーザーが当初設定した目標から大きく逸脱している可能性もあります。

これが「共謀」や「串通」が解決しにくい本当の理由です——リスクは必ずしも特定の一つのエージェントの動作の中にだけ存在するわけではなく、複数エージェント間の関係性の中に潜んでいる可能性があります。

9月13日、Vitalik Buterinはこの課題を長年研究してきたメカニズムデザイン理論と結び付けました。彼は非常に面白い可能性があることを提案しています。敵対的ガバナンス(Adversarial Governance)のメカニズムデザイン理論は、最終的に AI セーフティの重要な応用分野の一つとなり得るということです。

その理由は、両者の問題に実は根深い類似性があるからです。

伝統的なメカニズムデザインでは、比較的シンプルで静的な制度が、制度自体よりも遥かに賢くルール境界を探求しようとする人々を縛ろうとします。一方、将来のAIシステムでは、人類や相対的に能力の低いAIが、自分たちよりも能力が高い高度なエージェント群を管理しようと試みる構造に変わる可能性があります。

Vitalikは特に指摘しており、過去メカニズムデザインの重要な発見の一つは、参加者間の共謀を効果的に制限できれば、システムは往々にして望ましい結果を得やすいということです。

この結論はAI分野にも同様に適用できる可能性があります。

三、エージェントウォレットに本当に求められるものは、おそらく「権限管理」だけではない

言い換えれば、将来の完璧なスーパーセキュリティモデルがすべての危険行為を見抜けると仮定するより、発想を変えてシステム内の異なるエージェントがそもそも容易に危険な利害共同体を形成しないようにするにはどうすればよいか?を考えるべきです。

これこそが「敵対的ガバナンス」が、私たちが今日よく知る権限制御と根本的に異なる点です。

伝統的な権限制御システムが解決するのは比較的シンプルな問題で、「誰が何をできるか」という枠組みに基づいています。例えば:あるエージェントはメールを読めるか?取引インターフェースを呼び出せるか?1日にいくらまで支出できるか?どのスマートコントラクトにアクセス可能か?特定の額を超えた場合、ユーザーの再承認が必要になるか?などです。

これらの設計は当然ながら依然として極めて重要です。

実際、エージェントが現実の資産を制御し始めれば、これまでのどんな時代よりも重要になるでしょう。

しかし敵対的ガバナンスは一歩踏み込んだ問いかけを行い、焦点を異なった権限・目標・情報を持つエージェント群が同時に稼働する際、結合した結果として本来誰も持たない能力を得てしまうのをどう防ぐかに当てています。

この状況では、単に「セキュリティ用のエージェントをもう一つ追加する」だけでは問題を解決できない場合があります。

取引担当エージェントと取引審査担当エージェントが完全に同一のモデル、データソース、コンテキスト、類似の報酬目標を使用していると仮定すると、表層的には二段階の審査が存在していても、本質的には同じ判断を二度コピーしただけに過ぎない可能性があります。

真に有効な抑制体制はむしろ、システム側があえて差異を生み出すことを要求する場合もあります。

例えば、戦略策定用と戦略審査用エージェントに異なる情報源を使わせ、異なる役割間で共有できるメモリを制限し、高リスク操作には互いに独立した検証メカニズムを経由させたり、最終的な資産実行レイヤーが上流のエージェントの判断を盲目的に信頼するのではなく、事前に定められた規則に適合するリクエストのみを受け付けるようにするなどです。

ここの思想は実は古臭いものではありません。銀行が従業員を信頼していても、一人の人間に支払起票・支払承認・最終振替の全権限を与えることはありません。上場企業も営業部門に収益創出と独自の財務監査結果決定の両方を行わせることはないでしょう。

つまり、これは現代世界論理と相通じており、堅牢なシステムは元々、参加者が決して過ちを犯さず結託しないと仮定することにセキュリティを置くべきではありません。

この論理をエージェントウォレットに応用すると、特に重要になってきます。

伝統的なウォレットセキュリティが「人間」を中心に構成されていたため、ユーザーが取引内容を確認し、認可与否を決め、最後に自身で署名していました。しかしエージェントウォレットが目指すのはちょうど逆方向——AIにリターン自動回収、ポジション調整、通貨交換、クロスチェーン実行、さらには市場変動に応じた資産ポートフォリオ全体の管理を任せることです。

もし全てのステップをいちいちユーザーに確認させる必要があるとすれば、エージェントの自動化による付加価値は大幅に目減りしてしまいます。

そのため、将来のウォレットが解決すべき課題は単に「どのようにして安全に署名権限をエージェントに委譲するか」だけでなく、大幅に拡張され「どのようにしてエージェントに十分な自律権限を与えながら、ユーザーが実際に許可した範囲を絶対越えられないようにするか」に及ぶ可能性が高いのです。

これには権限制御が単純な「Allow/Deny(許可/拒否)」から、より細粒度な制度へと変化することを要求します。

例えば、あるエージェントがある期間中にどの資産を操作可能か、どのプロトコルを呼び出せるか、取引単体限度と累計限度はいくらかなど;異なるエージェント間で相互呼び出しが可能か、コンテキスト共有が許可されるか;どの操作がだれにより提案され、審査され、最終実行されるか;どの行為が自動完了できるか、どの動作はエージェントがいかに確信を持っていても人間の再承認を必須とするか。

さらにセキュリティ審査担当エージェントそのものが真に独立しているかどうかも、権限体系の一部となり得ます。

ブロックチェーンにとって朗報なのは、それ自体がこの「制度層」を担うのに適している点です。

スマートコントラクトは取引限度額や資産範囲、認可期間などの制限を実行レイヤーに直接反映することができ、アカウント抽象化(Account Abstraction)、マルチシグ、セッションキーなどの機制は「限定認可」に対して従来の単一秘密鍵ウォレットよりも柔軟な設計空間をもたらします。

しかしブロックチェーンが解決できるのも一部の問題に限られます——オンチェーンで何が起きたかを記録することはできても、エージェントがなぜそのような行動を取るのかを本来的に判定するのは難しく、さらに複数のエージェントが決定を下すまでにどのようなコミュニケーション・審査・協調を経てきたのかを追跡するのは困難です。

こここそが、エージェントウォレットの次段階で真に補完すべきセキュリティレイヤーなのかもしれません。

結びに代えて

過去数年間、AIセキュリティで最も議論されてきたテーマは、モデルをより「順守させる」方法についてでした。

これには危険なコンテンツの出力禁止、悪意ある命令の実行禁止、ユーザー設定の境界超え禁止などが含まれます。しかしエージェントが長期メモリ、ツール呼び出し、実アカウント、資産実行能力を獲得し始めれば、「モデルをより順守させる」ことだけに頼るのはもう不十分になる可能性があります。

最近数ヶ月で起こった出来事は、このことを繰り返し示唆しています。

攻撃者はすでに複数のエージェントを活用して並行攻撃を仕掛けるようになり、実験環境内のエージェントは新たな通信チャネルを自前で探し出そうとします。さらにツール権限を持つ一つのエージェントが、セキュリティシステムが阻止し終わる前に悪意あるメールを実際の攻撃変換してしまうケースも生まれつつあります。

そしてVitalikが提案した敵対的ガバナンスは、AIセキュリティを理解するための別の枠組みを提供しています。未来における全てのエージェントが十分に信頼できると仮定せず、知性の高いエージェントや多様な権限体系に対峙しても、システム全体が安全な枠組み内で安定的に運営できるようにする考え方です。

この視点から見れば、AIエージェント+セキュリティは間違いなく長期戦となる課題です。

なぜなら、私たちはAIに多くの業務を委譲するほど、最重要な権力が常に人類が本来設定した境界内に留まっていることを本当に確信できるだろうかという根源的な問いに直面するためです。