TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
弱いモデルが勝っても功績は誰のものか?AIモデルのベンチマークスコア実態は、あなたの想像よりずっとあてにならない

弱いモデルが勝っても功績は誰のものか?AIモデルのベンチマークスコア実態は、あなたの想像よりずっとあてにならない

2026.11.06
共有先
プロンプト、スキルコンポーネント、自動化スクリプトを緻密に最適化することで、ベンチマークスコアで劣っていた弱モデルが実際の業務タスクにおいて強力なモデルを完全に凌駕する逆転劇を見せた。スコアとは決してモデルそれ自体のものではなく、モデル・ツール・ワークフローシステムの連携による総和なのである。

著者:Robonaissance 研究チーム

翻訳:TechFlow

TechFlow解説:各主要大規模言語モデルのベンチマーク競争が激化する中、「モデルAはモデルBより8ポイント高い」という結果は、しばしばテクノロジー業界や資本市場によって単純に「知性の優劣」と解釈されてきた。しかし、Google Cloud AI Researchチームとノースウェスタン大学の最新の实証研究はこの神話を完全に打ち砕いた。モデルの内部重みに一切変更を加えず、外部のワークフローハーネスを再構築するだけで、従来はベンチマークで劣っていたモデルが、オフィス業務や専門タスクにおいてトップモデルをあっさりと凌駕し得ることを示した。

この発見は長年見過ごされてきた痛烈な現実を明らかにしている。現実の場面でLLMが得るスコアと能力発揮度は、決して基盤モデル単独で決まるものではなく、システムプロンプト、メモリ、スキルツール、共同作業スクリプトによって構築された環境システム全体によって駆動されるのである。すなわち、ベンチマークランキングとは、本質的に「生脳同士の知能対決」ではなく、「異なる設備を持つ二つのオフィスで働く二人のパフォーマンス比較」に他ならない。この点を理解することは、LLMのベンチマークスコアのみを盲目的に追い求め応用エンジニアリングアーキテクチャを軽視しがちな現在の業界生態にとって、極めて重要な警告となる。

あるAIエージェントにプログラミングタスクが割り当てられ、非常に勤勉な姿勢を示した。

それはどのコードファイルを開き、どのターミナルコマンドを実行し、どの検証チェックを行うつもりなのかをくわしく説明していた。

しかし、本当の致命的な問題点は、それが単なる「口先だけの仕事」に留まっていたことだ。このエージェントはすべてのツール呼び出しをプレーンテキストとして羅列するだけであり、ポケットに手を入れながら隣で修理の手順を口だけ出す見習い職人のように、実際には一行のコードも実行していなかった。その結果、このタスクは満点100点中わずか60点しか獲得できなかった。

その後、研究者はそのエージェントが置かれた環境内の設定ファイルを一つ変更しただけだった。それは短いツール呼び出しに関するガイダンスであり、偽物のプレーンテキスト呼び出しコマンドを出力しないよう明確に戒めていた。基盤モデルは全く同一であり、ニューラルネットワークの重みは微動だにし、テストタスクも同一だったにもかかわらず、最終的なスコアはいきなり満点の100点まで跳ね上がった。

この生々しい事例は、Google Cloud AI Researchと米国ノースウェスタン大学の研究者たちが2026年10月9日に共同発表した先進的な学術論文に由来する。論文に記載されているテストデータはすべて著者陣自身の実験記録に基づいており、まだ完全に独立した外部による再現試験は行われていない。

これは一見、微小でやや風刺を含んだ挿話のように見えるが、深い核心的な命題を鋭く突いている。「あるAIモデルがテストで別のモデルを撃破した」という宣伝文句を読むたび、人々の頭の中には純粋な二つの脳が同じ舞台で競り合う様子を描くものである。しかし現実で比較される対象は、実はそれぞれ特定のシステム指示、専用補助ツール、作業習慣という環境に身を置いた二つの脳であり、各システムを支えるために注がれたエンジニアリング最適化への心血も大きく異なっている。最終的な評価スコアは決してこれら三者の有機的な結合のものであって、モデル単独のものではないのである。

今日では、モデルを取り巻くこのハーネス最適化作業の多くを、別のAIに自動化委譲することが可能となっている。これらの実際のタスクにおいては、この外周環境のチューニング幅が元々のモデル優劣の順位表を根本から覆すのに十分なほどである。したがって、「AモデルがBモデルを一蹴した」といった主張に対峙する際には、真に鑑別力のある問いはこうあるべきだ。それはどのようなシステム環境下で動作しているのか?そして、果たしてどれほどの支援を受けたのか?

逆転劇:弱モデルが強モデルをどう撃破するか

この論文における最も衝撃的な研究結論は、劇的な順位入れ替えの実態を暴いた点にある。

コード記述、ウェブ検索、文書処理などを含む100項目のオフィス業務ベンチマークテストにおいて、各タスクは非公開のテストケース、ファイル整合性検証、および大規模言語モデルジャッジを用いて100点満点で採点された。標準的な出荷時のデフォルトシステム環境において、中国発オープンソースモデルのGLM-5の平均テストスコアは64.2点だった。一方、全く同一の標準デフォルト環境でのGoogle傘下Gemini 3.5 Flashの平均スコアは72.4点に達した。この評価基準自体のデータによれば、Geminiが明らかに優勢であり、約8ポイントの差をつけていた。

しかし、周辺環境の設定に対してワンラウンドの自動化微調整を行っただけで、GLM-5の平均スコアは直接75.7点へと跳躍した。これは初期スコアを11.5ポイント上回るだけでなく、出荷時状態のGeminiよりも3.3ポイントも高い値であった。

二つ目の既成のアウト・オブ・ザ・ボックステスト構成でも、同様の法則が再び繰り返された。最適化されたGLM-5が75.3点を記録し、Geminiの74.5点を上回ったのだ。論文筆者は簡潔に結論付けている。基盤が相対的に弱いモデルでも、優れたシステムハーネスを搭載すれば、原生のまま簡素な環境にいる強モデルを確実に撃破できるだろう。

この主張は全くその通りだが、それが伝える真の意味は字面上ほど緩やかではなく、より厳密で抑制的である。これは決してGLM-5の内部認知能力がGeminiを超えたことを意味するわけではない。Geminiに全く同一のシステム級チューニングを施せば、そのスコアもまた自然と上昇し、77.5点に達するからである。

この実験結果が本当に証明したのは、此类のオフィス業務において、両モデル間の元々の能力世代差が、外部のシステム工学チューニングが引き離すスコアの溝よりもはるか小さいということである。このような規模の順位逆転は、どのモデルの重みに対しても何らかの変更を行う必要すらなく達成され得るのである。

モデルハーネスの分解:脳以外のオフィス構成要素

AIエンジニアリング界隈では、モデルを取り巻くこのシステム環境を形象的に「Harvers」と呼ぶが、その本質は専門用語が響かせるものよりもずっと朴訣でストレートである。

たとえば、職場の新入社員が初出勤時に頭の良さに加えてオフィスから何を支給されるかを想像してみよう。職務記述書、規則一覧表、前任者の引継ぎノート、厚手の標準化された作業手順書、オフィツイツールの操作マニュアル、定型の反復作業を自動化するための既存スクリプト、そして即時に協力・分担可能な同僚チームなどが挙げられる。

AIにおけるハーネスの本質は、まさにこの業務パッケージのデジタルツインである。論文はこれを体系的に八つのコアコンポーネントに分解している。長期システム指示(Standing Instructions)、ガードレール(Guardrails)、メモリモジュール(Memory)、専門スキルパック(Skills)、ツール呼び出しガイダンス(Tool Guidance)、自動化スクリプト(Scripts)、ヘルパーエージェント(Helper Agents)、そしてエージェントの行動を動的にインターセプトして修正する軽量プラグインである。これらすべてが独立したファイルであり、どれ一つとして基盤モデルの重みを変更するものではない。それらが変えるのは、モデルに対し何が伝えられ、何が記憶され、何が許可または注意喚起されるかだけに尽きる。

この職場メタファーは別の次元でも完全に一致する。卓越した能力を持つ人物を、整然とした効率的なオフィスと、混乱極まりない管理の泥沼へそれぞれ配置した場合、測られてくるものは往々にして全く異なる別人である。誰もそのようなテストを従業員の個人能力の純粋な尺度とは見なさない。しかし現在、業界が「モデルAが72点をマークした」と解釈する際、ほぼ例外なくこの一元的な認知の罠にはまっているのである。

正解なき適応的進化:スコアリングではなく行動補正に依存する

ハーネスを最適化する最も直接的な方法は、当然、設定を何度も試し変更してスコアを上げる修正分を残し続けることだ。しかしこの手法が成立するためには予め採点基準が存在する必要がある。現実世界においてまったく新しいオープンEndedなタスクを扱う場合、エージェントには事前のスコア基準がそもそも存在しない。なぜなら現実に唯一の正解を事前に提示できる人間などいないからである。本研究が提唱する革新的なアプローチは、エージェントの「行動パターン」を照合し、結果の「絶対的な正誤」だけを判断するのではなく、巧みにこの壁を回避するものである。

そのシングルステップ最適化メカニズムは概ね以下の通りだ。まずエージェントが既存のハーネス環境下でタスクをフルパス実行し、その実行ログが基準参照サンプル(Reference Run)となる。次に、最適化編集を担当するモデルが実行軌跡をレビューし、二つの最適化済み新規ハーネス案を提示する。第一の案は、タスク計画、ツール呼び出し、コンテキスト追跡といったエージェントの汎用的な行動面の弱点や能力欠如に対応し、第二の案はその特定の専門ドメインにおける領域知識と必須のビジネスルールを補充することに特化している。

次に、修正された二つのハーネスが全く同一のタスクで再度実行され、そのプロセスが最初の基準サンプルと綿密に比較される。今回の修正は期待された欠陥行動を正確に修正したのか、無効果だったのか、あるいは他の正常なパートを意図せずに壊してしまったのか。最後の手順として、システムは実戦で確かに有効だと検証された改善項目を選別・保持し、それらを統合して最終的なハーネスとし、そこから最終的な納品物を実行出力させる。タスク終了後、システムはこの過程で蓄積した貴重な経験をケースライブラリへ归档し、将来の同種タスクがいつでも呼び出して参照できるようにする。

この手法の公式記述は、基準実行に対する役割を極めて率直に語っている。「それはハーネスの行動特徴を明らかにするものであり、最終的な納品物が絶対的に正しいかどうかを示すものではない」。これがこの手法の本質的な誠実さである。その仕組み自体が答えの正否を先験的に弁別できるわけではなく、捉え洞察するのは実行行為そのものの綻びであり、実際に成功裡に修復されるのも、まさに目に見える行動面における瑕疵なのである。

この手法が成功裡に修復した典型的な失敗事例をいくつか検証してみよう。複雑な専門的オフィスタスクにおいて、エージェントは時刻表、会場情報、人員稼働時間、財務予算など複数の分散したデータソースファイルから集約して報告メモを作成する必要がある。初回の実行スコアはわずか43.1点で、実行ログによると、エージェントはプロセスを通じて異なるファイル間の数値をクロスチェックしたことが一度もなく、作成完了後も生成済みのファイルを再度開いて確認することさえしなかった。自動化チューニング後のハーネスは、入力の根拠を一つ一つ列挙させ、各数値の原典を追跡させ、最後にスクリプトを実行して完成品ファイルを再度開いて再検証させるよう強制した。その結果、最終タスクスコアは直接77.8点まで跳ね上がった。

他の法的実務タスクでは、エージェントが仲裁手続き命令書の査読と付記を求められた。当初、すべての修正内容をWordドキュメントの差分追跡機能のレイヤー内に保存していたため、プレーンテキスト形式でファイルを読んでみる人間は修正受理後の最終テキストしか表示されず、コメント痕跡は完全に不可視となった。新たに注入されたスキルパックにより、本文の主体部内で追加と削除のマーカーを明確に表記するよう強制され、スコアは一瞬にして44.4点から94.5点へ急上昇した。三つ目の事例では、資料収集担当のアシスタントエージェントが無期限の検索ループに陥り、締切直前になっても結果物を一切生成できずにいた。一定数の純粋なツール呼び出しを検知すると強制的にアラートを発する防護プラグインが導入されたことで、この遅延癖は徹底的に解消された。

明らかなのは、これらのいずれの欠陥もモデルの知識量の不足に起因するものではないということだ。これらのエージェントは法律条項、算術ロジック、コード規範に関する十分な知識を有している。彼らが真に欠いていたのは、優良な職業習慣、つまり仕事の成果を慎重に复核すること、調査発見事項を紙に書くこと、読者が修正個所を鮮明に把握できるようにすること、そして必要に応じて迷わず実行ボタンを押すことである。職業習慣は実行軌跡の中で明確に可視化されており、これは抽象的な答えの正誤とは全く性質が異なる。だからこそ、標準解答が存在しない状況下においても実行軌跡を照合することで問題の根源を炙り出すことが可能になるのである。また、三つのベンチマークテストのうち二つで相対的に基盤の弱いモデルのほうがより大きな向上を得た理由も、合理的に説明がつく。それは当該モデル自身が戒めなければならない悪癖やクセがそもそも多いからである。

逆転の裏側のコスト:より強力なエディターと追加の計算リソース消費

指摘すべきは、最適化されたGLM-5が決して自己完結型の勝負で勝利を収めたわけではないということだ。その基盤ハーネスはClaude Opus 4.8によって親自りがて書き換えられており、後者は能力レベルにおいて対戦双方のどちらよりも顕著に優位に立っている。しかも、最終納品物を出力する前に、各タスクは複数回繰り返し実行されている。基準実行が一回、二つの候補案がそれぞれ一回、そして統合された最終版がさらに一回。一方、コントロールグループであるGeminiは、標準デフォルトハーネス環境下で単に一度実行されただけである。

したがって、この逆転劇の本質は、GLM-5 がより強力な編集メンターと数倍の追加実行オーバーヘッドを積み重ねて、一切の外部援助を受けないボロハダシのGeminiと対峙したことに他ならない。両者が消費したリソースと推論コストは完全に非対称であり、実験結果自体もこの事実を隠そうとはしていない。

しかし二つの強力な実証証拠が、「これらすべての成果がより強いモデルへの委託でしか成り立たない」と安易に帰属する傾向に歯止めを掛けている。第一に、研究者たちはモデルが自らハーネスを編集・最適化するアブレーション制御実験を特別に設計しており、GLM-5からClaude Opus 5に至る五つの異なる階層のモデルをカバーした。テスト結果によれば、各モデルがこのメカニズムのもとですべてのベンチマークにおいて自身のスコアを全面的に向上させた。これはつまり、この手法の中核ロジックが外部のより強力なメンターモデルに絶対的に依存するものではないことを意味しており、主実験のデータ表がベストエフェクトを追求するために最高峰モデルを編集エンドとして採用したもののである。

次に、著者陣が行った緻密な演算力会計(最適化編集プロセスで消費された全トークンと実際のタスク実行で消費されたトークンを全て合算した計算)によれば、設定された計算リソース予算のテスト範囲内において、単位計算コストあたりの性能スコア生産性は依然として横比較に参加した全ての類似的なソリューションを上回った。これは特定の予算枠内で行われた厳格な実証研究であり、あらゆる計算リソース投入において究極のベストプラクティスであることを証明したものではない。

同様に警戒すべきは、ハーネスの手直しだけが必ずしもプラスの効果を生むわけではないということだ。業界内で既に公開されている別の二つのエージェント強化ソリューションでは、時には未修正の原稿ハーネスを下回るスコアが出ることもあった。コーディングタスクでは最大6.6ポイントもの減少を観測したほか、もう一つのソリューションでは12セットのベンチ环境与組合せテストのうち、なんと7組が初期基準ライン割れを記録した。仮に本論文が使用する独自のエディターを用いても、基準実行やケースライブラリを通じた閉ループ検証を経ずに盲目的にハーネスを丸ごと書き換えると、コーディングスコアは73.4点から63.2点へと断崖絶壁のような下落を余儀なくされる。大規模モデルを取り巻くこのシステム構造は極めて高いレバレッジ効果を有しており、最終パフォーマンスに浮沈の大波動を引き起こし得る。今回の実験がそれを安定した上昇トレンドへと導けた理由は、単に以下の一線を厳守できた点に尽きる。あらゆる変更をエージェントの実執行行動の上で厳格に検証することである。

実証結論の境界と示唆:スコア争いは決して生脳の闘いではない

現有データが支えられる堅牢な境界に立つ限り、我々は以下のような明確な判断を下すことができる。オフィス業務、専門コンサルティング、法的実務タスクにおいて、大規模モデル周辺に位置するハーネスの体量は非常に膨大であり、モデル間の相対的な勝敗順位表を根本から再構築するのに十分である。同時にその調整コストは十分に低廉であり、具体的なタスクごとに動的カスタマイズすることを妨げるものではない。これが本論文が揺るぎなく実証した内容のすべてである。

ただし、これらの改良がより深遠な哲学的意義において絶対的な知性の飛躍を代表することを証明したものではないことは確かである。これらタスクの評価は多大に大規模言語モデルジャッジによる採点に依存しており、法的テストにおける審査基準も、タスク全体の完璧な完遂ではなく量的なポイント獲得に基づいている。著者陣自身も認めているように、確かな事実基準が存在しない前提で行動パターンだけの照合を行うのは、数理的に絶対的正解を保証するものでもあり得ないし、特定箇所の変更が全く異なる新規のシナリオへシームレスに汎化移殖することを保証するものでもない。加えてテストセットの規模が比較的限定されている(各ドメインにつきタスクは25~100件程度)ゆえ、わずかなタスクの偶然の変動が全体の平均値を牽引しうる。最後に加えて、ここで提示されたデータには雪だるま式に続く自己進化の奇跡が示されたわけではなく、研究チームは超長期にわたるタスクフロー負荷テストを行ったわけでもなければ、無制限の自己知性ジャンプを実現したなどと主張したわけでもない。

しかし、上記の客観的な制約が存在するとしても、それが示唆する技術的進化的方向性は何よりに明確である。もしモデルのシステム環境がごく僅かなタスク実行ラップの時間で別のAIによって自動化・最適化・再構築され得るとすれば、「デフォルトハーネス下のボロハダシモデル」という概念は、AI能力を測る天然の基準単位として成り立たなくなる。それは単に無数の可能性ある構成の中の平凡な一部に過ぎなくなり、かつ往々にして現実の生産現場で実際に採用される構成とは程遠いものへと変貌するのである。

より完璧な基盤大規模モデルの誕生を待つことで、このエンジニアリングハーネスが空中解体されると期待するのは到底不可能である。本実験で修復された多数の不具合は、どれも特定の現実の職場環境と密接に絡み合っている。例えば閲覧者が到底見ることのできない内部の修正マーカー、あるいは納期間際に一向に文章化されないリサーチタスクのことだ。現実のあらゆる新規職場環境は独自の摩擦係数をもたらす。仮に本論文で評価された最強クラスのモデルでさえ、自らのシステム環境チューニングを経てなお数ポイントの利益を確保し得ている。さらに強力なモデルであれば指摘や軌道修正を求める回数は減るかもしれないが、結局は特定の一室で出勤して業務をこなす必要があり、そこにある運用マニュアルは誰かの人、あるいはあるエージェントによって事前に執筆されねばならないのである。

当初は画面でツールコマンドを口頭復唱するばかりだったエージェントと、後に実際にコマンドを実行し得たエージェントとでは、内在する心的容量に一分の差もない。それらは完全に同一の脳であり、単に就業規定において重要な注意喚起が一個欠けていただけにすぎない。次回、ソーシャルネット上で「ある大規模モデルが他の大規模モデルを圧倒した」と告げるベンチマークランキングを目にする際には、どうか冷静に認識してほしい。あのグラフが記録しているのは、異なる設備を持つ二つのオフィスにて、一定回数の試行錯誤を経た末に提出された二つの脳の答えに過ぎない。誰がその裏方でそれぞれの部屋を整備したのか、そして個々が果たして幾度のリトライ機会を得たのかを徹底して把握する以前に、貴方がそのチャートから読み取れると信じている「真の知的情報」は、見た目よりも遥かに狭量なものなのである。