TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
GPT-6 AstraがQwenの重みを直接書き換え、数学能力が6倍に急増:「ニューラルネットワークの遺伝子編集」時代の到来か?

GPT-6 AstraがQwenの重みを直接書き換え、数学能力が6倍に急増:「ニューラルネットワークの遺伝子編集」時代の到来か?

2026.11.03
共有先
トレーニングも、データ投入も、勾配降下法も行わずに、GPT-6 AstraはQwen3.5-0.8Bの重みパラメータの0.016%のみを変更しただけで、MATH-500スコアが7.9%から48.1%へ急上昇した。

執筆:TechFlow

トレーニングは不要、データは不要、勾配降下も不要。

MITの研究者がオープンソースの小モデルの重みをGPT-6 Astraに渡し、自然言語で以下のような指示を出した。「数学能力を上げてくれ」。

Astraは20時間をかけ、8億個のパラメータを読み込み、2層のネットワークから131,072個の重みを見つけて手術を行った。

手術前のこのモデルはMATH-500ベンチマークテストで7.9%のスコアだった。手術後、そのスコアは48.1%になった。

これが本日最も衝撃的なAIニュースである。

勾配なしの手術

11月2日、MITコンピュータサイエンス・人工知能研究所(CSAIL)の研究チームはブログを更新し、「ウェイトスペースプログラミング(Weight-Space Programming)」と呼ばれる実験結果を発表した。筆頭著者のリキヤ・タケヒ(Rikiya Takehi)氏はMIT CSAILの一年生博士課程学生であり、共著者にはジェイデン・テオ(Jayden Teoh)氏、アレックス・チャン(Alex Zhang)氏、そしてタケヒ氏の指導教官であるオマル・ハッタブ(Omar Khattab)氏が名を連ねている。

実験の核心的な発想は一言で表せる。十分に強力なAIに、別のAIの「脳」を直接読ませて問題箇所を見つけさせ、メスで正確に修正させること。

選抜された「患者」はアリババのオープンソースモデルQwen3.5-0.8B、8億パラメータの小型言語モデルだ。「外科医」役はOpenAI最新作のGPT-6 Astraが務めた。

研究チームはAstraに3つのものを用意した:一連の数学練習問題、モデルの重みを読み書きできるPython環境、そして制限付きのモデル推論呼び出し権限である。GPUはなく、訓練ループもなく、オプティマイザもない。Astraは人間の研究者のように、モデルの行動を観察し重み値をチェックすることで問題を診断し、パラメータを直接修正する必要があった。

一連のプロセスは合計20.3時間要したが、そのうち4.7時間はサービス中断からの回復待ちに費やされた。Astraは158ラウンドの対話、80回のPython実行、50回のモデル評価を実施した。

最終的にAstraは第15層と第19層のMLP出力行列の中で、モデルが繰り返し出力に陥る原因となる「数値方向」を見つけ出し、それらを64本の出力列から減算した。修正された重みは合計131,072個で、モデル全体のパラメータ数の0.016%に相当する。

数学スコアが6倍に拡大

変更は微小ながら、その効果は画期的なものだった。

3つのベンチマークテストにおいて、修正前後の比較は以下の通りだ:

MATH-500:7.9% → 48.1%

GSM8K:13.8% → 67.1%

IFEval(命令追従):21.0% → 62.3%

より直感的な数字もある。修正前は、Qwen3.5-0.8BのMATH-500における回答の93%が繰り返しサイクルに陥り、32,768トークンの上限に達していた。修正後はこの割合が33.1%に低下した。

VentureBeatの報道はこの試みを「ニューラルネットワークの遺伝子編集」に例えている。この比喩は的確に本質を突いている。従来のモデル訓練はある人物に数学能力を上げるために大量の練習を積ませるようなものだに対して、ウェイトスペースプログラミングは脳を直接開け、誤って接続されている神経を見つけ直してつなぎ直すことに近い。

ただし研究チーム自ら重要な制限事項を示している。AstraがQwenに新たな数学的能力を注入したわけではなく、既存の能力を発揮することを妨げていた障害物を除去しただけである。

この区別は極めて重要である。これを検証するため、チームはGoogleのGemma 3 270Mモデルで同様の実験を繰り返した。Gemma 3では繰り返し出力の問題はほとんど発生せず(トークン上限に達した回答は8.5%のみ)、結果としてAstraによるMATH-500スコアの改善はほとんど見られず、変動は1ポイント以内に収まった。

結論は明白である。ウェイトスペースプログラミングが現時点で可能なのは「障害物の撤去」であって、「新道路の建設」ではない。

数学だけではない

数学は研究チームが示した一つの事例に過ぎず、Astraのウェイトスペースにおける能力はそれだけに留まらない。

「魂」の識別:研究チームはアーキテクチャが完全に同一の4つのAtariゲーム戦略ネットワーク(Breakout、Pong、Pac-Man、Freeway)を学習させ、その重みだけをラベルなしでAstraに渡した。Astraは重みの数値だけで各ネットワークに対応するゲームを正確に識別した。その推論プロセスとは、Breakoutネットワークの第1層の重みが画面下部(ラケットの位置)に集中しており、出力層の動作分布が左右移動に偏っているという事実からだ。

ゼロからのネットワーク構築:MinAtar(Atariのミニバージョン)実験において、Astraは零から出発し、直接ウェイトスペース内でゲーム戦略ネットワークを「記述」した。Breakoutにおいて、Astraが記述したネットワークの得点は517.4であったのに対し、PPOアルゴリズムで5億ステップ訓練されたネットワークはわずか25.3点しか稼げなかった。

フリーズした自動運転の修復:PPOで訓練された小型車両のコントローラーが坂道でフリーズし、局所最適解に陥っていた。Astraはたった1ラウンドの対話で3.5%の重みを修正するだけで、修復後のコントローラーは1,024回のテストで全件成功した。

これらの実験に共通するのは、Astraが単に重みを「読み解き」、各数値がどのような行動を表すかを理解するだけでなく、重みを「書き換え」、訓練アルゴリズムでは実現できないことをモデルに行わせることができる点にある。

「ニューラルネットワークの遺伝子編集」が意味すること

ウェイトスペースプログラミング以前でも、学界ではモデルの重みを直接編集する試みが行われていた。2022年のNeurIPSでのROMEと2023年のICLRでのMEMITは、いずれも言語モデルの重みに事実知識を正確に挿入または変更する方法を示しており、「エッフェル塔はパリにある」を「エッフェル塔はローマにある」に変更するような作業が可能であることを実証した。

しかしROMEとMEMITが担ったのは「事実レベルの検索置換」であり、操作対象は単一の知識情報に限定されていた。今回MITチームが披露したものは異なる。Astraが修正したのはモデルの汎用的な能力、つまり数学推論や命令追従であり、これは「一つの知識情報を編集する」ことから「一つの行動パターンを変更する」へという段階を超えたものである。

タケヒ氏のブログ上の指摘はさらに過激である。「ニューラルネットワークの重みは、まもなく重み自体を推論できるLLMによってネイティブに最適化されるだろう。」

この方向性が裏付けられる場合、潜在的な応用シナリオは以下の通りだ:

モデル修復:デプロイ後のモデルで不具合が発生した場合、引っ張ってきて再訓練する必要はなく、別のAIに直接「診察」させて修正すればよい。トレーニングコストが数千万ドルに及ぶ最先端モデルにとって、これは大きなコスト削減を意味する可能性がある。

モデル監査:AIが重みを読み解ければ、セキュリティ研究者もそれを用いて、モデルにバックドアや悪意ある行動が仕込まれていないかを確認できる。

オープンソースモデルのカスタマイズ:十分に強力なAIは自然言語の指示に基づき、オープンソースモデルに専用の能力を「カスタマイズ」でき、訓練インフラは一切不要となる。

硬貨の裏側

GPT-6 Astraそのものがすでに多くの議論を巻き起こしているモデルである。OpenAIは以前、安全上の懸念からアップグレード版のGPT-6.1 Astraの公開を延期したことがある。

OpenAIのチーフサイエンティストであるヤクブ・パチョッキ(Jakub Pachocki)氏はAstra発表の3日後に記事を投稿し警告した。OpenAIの内部テスト結果によれば、AIの進化は「再帰的自己改善(Recursive Self-Improvement)」、つまりAIシステムが自らの後継者構築への関与を深めていく方向へ向かう可能性があるという。彼は、どのラボの内部審査体制もこの先行きに対処するには不十分だと述べている。

ウェイトスペースプログラミングはまさにこの警告の核心に触れるものだ。もしあるAIが別のAIの重みを修正して能力を高められるのであれば、理論的には、あるAIが自分自身の重みを修正できるのか?

研究チームはブログ上で明確に声明し、再帰的自己改善を示したわけではなく、効果を持続的に積み重ねられることも証明していない。しかしこれはセキュリティコミュニティの警戒心を抑止するものではなかった。PauseAIのマキシム・フルルネ(Maxime Fournes)氏はこれを「極めて無謀な研究路線」と評している。

現在の制約事実は明確である。実験は8億パラメータの小モデルでは成功したが、Gemma 3では失敗した。一連のプロセスには20時間と多大な試行錯誤が必要であり、独立したチームによる再現はまだ行われておらず、従来のファインチューニングと比較したコスト優位性も検証されていない。

しかしすでに道筋は描かれている。ICML 2026では既に論文が提示されており、ウェイトスペースは生成系AIにとってテキスト、画像、オーディオと肩を並べる「ファーストクラス・モーダル(第一級のモード)」となるべきであり、モデルは重みをネイティブに理解し操作すべきだと主張している。

2024年がAIが「図を見て話す」方法を学んだ年であり、2025年がAIが「手を動かしてコードを書く」方法を学んだ年であったとするなら、2026年はAIが「AIを改造する」方法を学ぶ年となりつつあるのかもしれない。

この道がどこへと続くのか、現時点では誰も知らない。