
AI 勝利簡史:評価システムがあるところ、どこでも AI 侵入がある
著者:Robonaissance
翻訳・編集:TechFlow
TechFlow解説:囲碁、チェス、タンパク質の折りたたみ――これらは人間の本能と創造力を必要とするように見える分野なのに、なぜ次々とAIに制覇されていくのか。本稿は、見過ごされがちな法則を明らかにする。AIが人類を凌駕できるかどうかを決定するのはタスクの難易度ではなく、成功を採点できるかどうかである。一つの分野で採点基準が確立されると、それは自らの陥落に向けたタイマーを稼働させることになる。
『Whatever You Ask For』シリーズより。機械が私たちにとって代われる最後の仕事をめぐる考察。
万分の一
2016年3月10日、ソウルのホテルの一室で、機械は部屋中の全員が理解できなかった一手を指した。当時、その相手は席にいなかった。
李世石さんは喫煙のため席を外していた。当時33歳、世界王者タイトル18個を保有し、一世代最強の囲碁棋士として広く認識されていた。前日の第1局に敗れ、第2局を迎えるにあたり、試合前の自信は後退し、心態はより慎重になっていた。彼が外出している間、AlphaGoは第37手を選び、DeepMindの研究者である黄士傑氏が機械に代わって静かに碁盤に石を置いた。
石は五目に落ちた。
囲碲を知らない人にとっては意味不明だが、知る人にとってはほとんど乱暴な行為に近い。序盤や中盤において、辺からあまりにも遠い位置は非効率とされ、実利も地帯も得られず、相手に点を渡すに等しい。師範が初心者を矯正するような指し方だ。解説席ではトッププロのマイケル・レッドモンド氏が実況中に、最初は盤面の信号誤作動かと思ったほどだった。彼は石を一つ持ち上げ、また戻した。
李世石さんが戻ってきて着席し、盤面を長時間凝視して動かなかった。所要時間については諸説あり、12分から15分程度とされる。5カ月前にAlphaGoに破れた欧州チャンピオンの樊麾氏はこのビルで観戦しており、長い時間をかけて凝視した後の所感は「これは人間の指し方ではない。これまでこんな指し方をする人を見たことがない」だった。
彼の指摘は正しかったし、その正確さは定量化できた。DeepMindのシステム内部には推測メカニズムがあり、膨大な人間同士の対局を学習することで、任意の局面において人間が特定の一手を指す確率を算出する。第37手について、その推測値はおよそ万分の1であった。
それでも機械は指し、この一手がゲーム全体を勝ち取った。
この話には、機械が人間の巨匠の指し方を猛勉強して最終的に最も優れた者に追いついたという、どこか心地よい解釈がある。しかしこの解釈は間違っている。万分の1という数字こそが、なぜ間違いなのかを如実に示している。人間の指し方を模倣して学習するシステムには天井があり、その天井とはまさに人間の指し方本身である。ソウルで起きたことは、あるシステムがその天井の制約を受けなくなることだった。なぜなら、与えられた追求目標が人間巨匠からの承認ではなく、勝利そのものだったからである。
この違いが示す先は、賞賛よりもずっと実用的である。純粋な能力の次元においてすでに人類が負け、次は何かを知りたければ、問うべきは「その活動がどれだけ難しいか」「どれだけ創造性や直感を必要とするか」ではない。質問はずっとつまらないものである。
問いは単純だ。成功を採点できるかどうか、それだけである。
対局を重ねて
チェスは19年前に敗北していたが、その様式は全く異なっていた。
ディープブルーは1997年にカスパロフを破ったが、そのアーキテクチャは本質的に巨大な人間の知性の結晶だった。評価関数――局面を見てそれがどれだけ優れているかを示す数値を出力するコンポーネント――はグランドマスター顧問の協力で組み立てられ、微調整された。人間のカラハン knowledge (チェスの知識) は地道に棋手から抽出され、機械に埋め込まれた。機械が強化したのは探索能力であり、より高速でより深く読み、疲れ知らずで集中力が途切れることによるミスもなかった。
これは真の勝利であり、確かに勝利としてカウントすべきだ。だがその形態に注目してほしい。ディープブルーのカラハンへの理解は、あくまで人間のカラハンへの理解だった。その優位性は速度にある。もしなぜそのような局面評価を行ったのかと尋ねれば、答えは最終的に「そう教えた人間」に帰結するだろう。
それから20年後、DeepMindはアルファゼロ(AlphaZero)というシステムを発表し、その形態は一変していた。
AlphaZero にはチェスのルールだけが与えられた。オープニングブック(厳選された序盤の手順データベース)は与えられていない。すべての serious program が依存するあのリストさえも。エンドゲームベーステーブルも与えられていない。人間の対局データもゼロ。自対自により、ランダムな着手から始め、勝利につながるパターン自身で調整していった。
おおよそ4時間後、DeepMind はそのレートが当時の最強伝統プログラムであるStockfish 8 を上回っていると見積もった。約9時間後、制限時間付きでStockfish と100局指し、28勝無敗、残り72局は引分だった。論文によれば、24時間のうちに、チェス、将棋、囲碁すべてで超人レベルに到達したという。
これらの数字が引用される際、往々にして物語のもう半分が省略されるが、その半分が重要なのである。自対自の対局は、五千基の第1世代テンソル処理ユニット上で生成され、さらに六十基の第2世代ユニットがネットワークの学習を行っており、全てが並列動作していた。4時間の経過時間は、4時間の計算負荷を意味する。この規模の計算資源を個人や一部の機関が組み上げることは不可能だ。驚異なのは「チェスを学ぶのが容易になった」ことではない。驚異なのは、そのような膨大な計算リソースが存在すれば、人間の知識などもう必要なくなるということである。
カスパロフはこの結果を自分に対する挑発だと感じる権利をどの在世者よりも持っていたはずだが、彼は『Science』に大らかな評論を寄せている。彼の分析では、AlphaZero が指したのは、誰もが完璧な機械が指すだろうと考えている、単調で慎重な、引き分け偏向のチェスではなかった。AlphaZero は駒の価値よりも活性化を好み、彼にとって危険に見える局面でも棄子を図る。彼は伝統的なプログラムが作成者の優先順位やバイアスを内包していることを指摘し、AlphaZero は「自らを記述した自己」であると述べた。その結果、そのスタイルはプログラマの嗜好よりも真実味を帯びていると結論付け、世界中で最高の伝統エンジンより遙かに少ない局面数を毎秒チェックしながらも勝利を収めたことにも言及している。
この最後の詳細は記憶しておく価値がある。伝統エンジンは毎秒圧倒的に多くの可能性を探索しながらも敗れたのだ。AlphaZero の優位性は「より頑張って読む」ことにあったのではなく、「どこを読むべきかを知る」ことにあった。そしてその知識は、数百万局の自対自対局と「誰が勝つ」という規則のみから組み立てられたものであった。
将棋での結果は、読み解ける資格を持つ者にとってはさらに不気味だった。将棋は捕獲した敵駒を自身の戦力として復活利用できるため、局面の振れ幅がチェスを凌駕し、王(玉)の安全を守るための何百年にわたる理論も蓄積されている。強豪棋士たちは機械の対局を目にして報告した。序盤で既知の理論を覆し、どの書物も隅に収めるべきタイミングで玉が盤の中央へ駆け出すのである。訓練された眼にはほとんど読み取れないこれらの対局だったが、結果として勝利したのである。
二つのシステムを並べてみると、規律は不安を感じるほど明らかになる。ディープブルーは「人間の知識+機械的速度」であり、AlphaZero は「機械的速度+勝利の定義」であり、人間の知識は意図的に排除されている。人間の知識を排したバージョンの方が勝っているのである。
だからといって、2016年の機械が欠陥のない完全体だったわけではない。同じソウルの対局が決定的な証拠となっている。
第4局。3連敗からの逆転を狙い、名誉挽回にかけての激闘の末、李世石は盤中央でAlphaGoの二塊の間に一本の石を打ち込んだ。後に「神の一手」と呼ばれるその着手に対し、AlphaGo自身が推測した人間が指す確率もまたおおよそ万分の1で、奇妙なまでにシンメトリカルだった。システムはこれを処理しきれなかった。次の数手を経て自らの勝率見積もりは崩壊し、棋力は劣化、そのまま一局的敗北へと突き進んだ。
つまり2016年3月当時、機械はまだ弱点を抱えており、人間が全世界が見守る中で最大限のプレッシャーのもとで見つけ出した穴が存在した。これは黙って通り過ぎるのではなく明確に語られるべきことだ。同時に語られるべきなのはその後起きた事柄である:この種の穴は着実に補填され、そのシステムの後継機はこのような対局で二度と敗れることはなくなった。トップエンジンが真剣勝負で人間に一連勝を許してから久しい。2016年の結果は移行期の一枚絵であり、永続する力関係ではない。
これらの盤桌から他のあらゆる領域へ移行するのは勝利そのものではなく、メカニズムである。チェスと囲碁が最初にくじけるのは当然で、その理由は照れ隠しをするくらい単純だ。ゲームにおいては、勝敗がルールによって完全に精密に定義されている。「勝つか負けるか」。採点は無料で即時に行え、議論の余地もない。あるシステムが一週末で4000万局の自対自をこなし、4000万個の明文化された判決を得ることができる。
次に目を向けるべき場所を示唆している。単純なタスクではなく、もともとスコアボードを備えているタスクである。
五十年の問題
タンパク質はアミノ酸鎖であり、合成された瞬間に複雑な三次元構造へ折りたたまれる。形状がタンパク質の機能を決定する。配列が形状を決定する。前者から後者を導き出す問題は、少なくとも1970年代初頭から生物学における未解決の課題となってきた。さらに攻撃的所有を拒絶するかのように開かれたままである。第一原理に基づく物理シミュレーション也罢、進化的近縁関係の統計的分析也罢、数十年にわたって積み重ねられてきた構造の直感也罢、どれも歯が立たなかった。
1994年、ジョン・モルト(John Moult)が率いる研究グループは、この状況にアクションを起こした。専門分野の誰もが進展を謳歌していたが、誰もそれを検証できなかったのである。
彼らはテストを作成した。それ以降、2年ごとに開催されるCASP(Critical Assessment of Structure Prediction:タンパク質構造予測重要評価)は、実験的に確定されたばかりのタンパク質構造を参照し、場合によってはまだ確定途中のものさえも用意し、その配列を世界中に公開する。どのようなチームでも予測を提出可能だ。答えに触れることはできない。なぜならターゲットの一部の解答自体がまだ存在しないからである。実験構造が確定すると、予測値が比較され採点される。
採点はGDT(Global Distance Test)と呼ばれる指標を用いて行われ、0〜100の範囲で、おおまかには鎖の最終位置が実際の位置と十分に一致している割合を表す。モルト氏は、おおむね90点以上を実験的に確定された構造と同等と見なしていると述べている。評価の大半の歴史において、最優秀予測のスコアは60点前後で推移していた。
2020年のCASP14では、427組として登録された参加者が全てのターゲットにおいて中央値92.4点を記録した。最も困難なカテゴリである「有用な構造的近縁性が期待できないターゲット」においても中央値87.0点をマークした。平均誤差は約1.6オングストロームであり、原子一個の幅にほぼ相当する。
モルト氏は大会設立当初から議長を務めており、グラフを開示する前に視聴者に大会の歴史的経緯を振り返らせた。一枚のグラフが物語全体を物語っていた。二十年にわたるラインが60点付近を這い続けていたところへ、突如として他のどのラインも到達したことのない高みへ別のラインが躍り出ていたのである。
427組正是AlphaFold2だ。モルト氏は宣言した。単一のタンパク質鎖について、問題は解決済みであると。
ただし条件付きであるべきだし、誠実な叙述ならばどこでも注釈が必要だ。単鎖の構造予測はタンパク質科学の全貌ではない。タンパク質がどのように複合体を組み、どのように運動し、生細胞内でどのような挙動を示すかは依然として未解決である。閉じた大課題とは、具体かつ精密に記述された課題のことである。
この精密さこそが、ここでこの話を語る意義の本質だ。構造予測が瓦解したのは、元々簡単な分野だったからではない。半世紀にわたる失敗史が反対の事実を証明している。瓦解させたのは、1994年にその分野が自らスコアボードを構築したからである。
CASPを科学ではなく工学的視点で見たとき、何が提供されるかが明確になる。それはあらゆる予測に適用可能で、数秒で算出可能な明確な成功尺度だ。不正が不可能な基準事実を提供する。答えが他者によって実験室内で物理的に確定されているからだ。固定スケジュールで継続的に新規問題を生み出すパイプラインを提供する。さらに30年にわたる採点された試行錯誤の蓄積、つまりこの分野において「より優れていること」「劣っていること」の階層記録を提供する。
これらすべてを満たす分野は、無意識のうちに自らの問題に対して自動化された攻撃を準備してしまっていた。スコアボードが前提条件であり、その他はすべて工学と計算資源の問題であり、これらは長きにわたり毎年安価になり続けてきた。
これは恐ろしくあっさりとした勢いで一般化していく。学術分野でベンチマーク合意が形成されるところには、必ず的が撃たれる。機械翻訳には採点ベンチマークがある。音声認識にも採点ベンチマークがある。画像分類には100万枚の写真にラベル付けされたデータセットと年間競技大会があり、その大会を見たことのある者ならば物語の結末を知っているだろう。法則は「難しいものが先に倒れる」わけでも「簡単なものが先に倒れる」わけでもない。法則は「測定可能なものが先に倒れる」なのである。
これはまだ測定されていないすべての事象に対して、極めて自明なる疑問を投げかける。
採点不能なるものに点数をつける
最後の防衛線は、采点不能なる事象にあるはずだった。
ライティングはその典型例だ。どのプログラムもパラグラフを渡して数値を返すことで「どれほど良いか」を判定できない。有能な編集者二人でも意見が分かれる。一人の編集者でも日が変われば自分の過去の意見と衝突する。文章の質は文脈・読者層・目的・嗜好と絡み合っており、これらを単一の数値に還元することは不可能である。機械がスコアボードを要求し、言語にそれが存在しないのであれば、言語は安全であるはずだ。
この論理は妥当だ。ここに起こった変化こそが、今回の叙述において最も重要な要因である。
その分野は「優れたライティング」の客観的尺度を見出せなかった。今もなお存在しない。彼らが選択したのは、利用可能な唯一の素材を使って点数を創出することだった。その素材とは、人間の判断自体なのである。
このアプローチの歴史は、多くの人が想定しているよりも遙か昔に遡る。2008年、ノックスとストーンはTAMERと呼ばれるシステムを記載した。これは人間がエージェントの行動を観察して評価を与え、その評価をもとに人間がどう反応するかを予測するモデルを学習させる仕組みだ。その後、学習信号を与える主体は人間からモデルへと移行する。2017年、クリスチャンら多数の研究陣はAtariゲームのエージェントにこの着想を応用した論文を発表し、多くの人々が現在の実践の直接の源であるとみなしている。2019年にはザイグルらによって言語モデルに応用され、現在使われている用語の大部分がこの論文で確定された。2022年、OUYANGらは指示従順タスクにおいて産業規模でこの手法を実証し、ほどなくして地球規模の大半の人が無自覚のうちに対応成果に触れることになる。
その核心的メカニズムは名前が示す以上にシンプルなので、具体的に把握する価値がある。
ひとりの人間が並べられた二つのテキストの前に座る。両方のテキストは同一のプロンプトに対してモデルが生成したものだ。課題はそれらに点数をつけることではない。点数をつけるのはむしろ人間が最も苦手とする作業である。なぜならAの評価7点がBの評価5点に過ぎず、同じ人間でも午後の時間帯によって安定性を欠くからである。課題はただどちらが良いかを選ぶことである。これは人間が確実に下せる判断であり、こうしたペア比較の羅列を一貫した尺度へ変換する数学的手法は、その対象分野より遙かに古く、BradleyとTerryによる1952年のペア比較研究にまで遡ることができる。
こう言った判断を下す業務環境を考えなければならない。なぜならそれが最終的に結果に影響を及ぼすからである。この人間は毎時頻繁に此类の判断を求められ、報酬を支払われ、書面ガイドを参照しつつ顧客が求める「より良い回答」の基準を説明する必要がある。ペアの構成によってはほぼ同一の内容となる場合もある。あるいはこの担当者が全く存じ上げないテーマに関わるケースもあり、そのような場合は正しさの有無にかかわらず、より自信ありげで組織立てられた方が選ばれる傾向がある。これは担当者たちを批判するためではない。どのような条件下でも人間がいかなる行動を取るかを記述したものであり、そこから得られる選考結果が生産物の原材料なのである。
こうした選考データを十分集めれば、二段のテキストのうち人間がどちらをより好きがるかを予測する第二モデルを学習させることができる。この第二モデルは数値を出力する。そしてこの数値こそが、これまで長らく欠けていた唯一のピースだったのである。
ここで構築されているものを注意深く scrutiny しなければならない。軽視されがちだからである。最適化対象となっているスコアは世界そのものの事実を表していない。それは私達のモデルに関する指標なのだ。それは特定の時期に雇われ、特定の指示のもと働き、他の誰と同様に午後になれば疲労を溜める一群の人間の判断を圧縮し学習的に模倣したものなのだ。CASPが予測値を採点する際に実験で確定された物理的现实を基準にするのに対し、このシステムは人間が認知した統計的プロファイルに基づいてテキストに点数をつける。
このプロファイルは有用ではある。しかし必然ながら近似値であり、描かれた対象との乖離が存在する。その乖離を完全に解明している者はいない。我々の嗜好モデルが捉えきれない実際の嗜好の断片は目的関数に含まれていない。ゆえに最適化の対象外となり、あらゆる状況の変動に晒されることになる。強力な最適化アルゴリズムに、その量を保護する理由などないのである。
これは構成上の事実であり、ここで述べる際はいかなる深刻な帰結についても言及していない。現時点での焦点はより狭く、反駁しにくい。採点不能なる事物のジャンルは、見た目ほど広範ではない。もしある分野が計測を拒否しても、人間の嗜好から計測基準を構築して推進することは可能だ。この防衛線が有効なのは、誰も点数を創出することを考え付かなかった時のみなのである。
次はどれが倒れるか
ここに至って現実的な問題と、利用可能な答えが残される。
あなたが好きな活動を選ぶとする。仕事也好、職人技也好、職業也好、長年にわたって習熟してきたタスク也好。そして三つの質問を投げかけてほしい。
第一に、成功と失敗を信頼区別できるか。完璧でなくてもよく、全員ができる必要もない。だが一定の整合性が保てて、有能な審査員が大部分の場合で一致できる水準であればよい。ゲームはこの基準を容易に通過する。タンパク質構造予測は、最終的に実験室が解答を出してくるため通過する。ライティングは絶対的には不合格だが、相対的には合格だ。なぜなら人は通常、二回の試作のうちどちらが優れているかを見極められるからである。
第二に、このような判断を低コストで大量生産可能か。この問いは可能性ではなくタイミングを規定する。ゲームのように無料で即時な判断があれば、システムは自前で数百万件の訓練データを生成できる。実験室が必要な判断は遅いが依然として実行可能であり、30年分の採点トライアルの蓄積がある。有償の人間が文章を読んで判断を下す必要があれば非常に高額になる。だからこそ、これらの人間を模倣して評価プロセスから脱却させようとする多大な努力が投資されてきたのである。
第三に、これは分野がいつ滅ぶかを決定するのではなく、その後何が起きるかに関する問題である。このスコアは本当にあなたが求めているものか。ゲームの得点はあなたが求めているものだ。なぜならゲームにおいて勝利は定義上、全てを意味するからである。実験的に測定されたタンパク質構造は、あなたが求めているものに極めて近い。ラベラーの嗜好を学習したモデルはあなたが求めているものではない。それはあなたが求めているもののプロファイル(輪郭)であり、プロファイルと実物の間には隔たりがあるからである。
自身の業務をこの三問で検証してみてほしい。多くの人が最初の問いに対する答えがすぐに得られ、しかも胸を痛めることに気づくだろう。私達がスキルと呼ぶことの多くは、少なくとも相対的な意味において、有能な人間が二つの試作を並べて目を通せば採点可能なのである。二番目の問いこそが真の不確実性の根源だ。なぜならコストと規模は流動的なターゲットであり、それがすでに一方的な方向へ長期間移動し続けているからである。三番目の問いを口にすることは皆無に近いが、この問いが相手のフィールドの姿を決める。
些細な日常業務でもゆっくりとこの演習を行ってみる価値がある。放射線科を考えてみよう。成功と失敗を区別できるか。できるし、非常に精確だ。診断が最終的に患者の病状によって証明または反証されるからである。判断を低コスト大量に生み出せるか。概ね可能である。病院は数十年来、画像とその確認結果という形で採点サンプルを蓄積し続けてきたからである。このスコアは本当に望むものか。ここでの答えは複雑になる。評価対象が「記録された診断との整合性」である一方、真に望んでいるのは「患者の健康状態の改善」だからだ。両者はほとんどの場合一致するものの、最も重要な局面で必ず分離するのである。
次に一見安全そうな分野を挙げよう。マネジメントである。第一問ですら難題だ。有識者間で特定の経営者の優劣について意見が割れており、その分裂が短期間で解消されないからである。第二問はより困難だ。マネジメントの判断の結果が出るまでには数年を要し、他に発生した事象と混然一体となって切り離せないからである。第三問が最も困難だ。なぜなら誰が提案する優良マネジメントの代替指標であれ、離職率からエンゲージメントスコア、一人当たり生産性まで、明らかにそれ自体ではないからである。この診断によれば、マネジメントが安全であるのは深いからではない。測定されていないからこそであり、これは異なる、そしてそれほど魅力的でない保護なのである。
機械はすでに最適化の軸を占拠してしまった。明確に指定された目標であれば、十分な計算資源があれば、最適な手の探索はもはや競争ではない。しかもその結果は往々にして我々より強力であるだけでなく、より不気味なものとなり、我々の伝統が「見るべきではない」と警告する領域へ到達してしまう。これは未来予知ではない。チェス、囲碁、将棋、タンパク質構造、そしてかつては「人間のみが可能」とされるリストに載っていた事象が次々と該当する現状を記述したものである。
残るのは目標そのものである。誰かが点数の意味を決めた。上記の各事例において、その決定にはたった半日が費やされただけなのに、すべての傑出した成果はそれに基づき、それに忠実に、そしてその過程で見落とされたあらゆるものに対しては無頓挫である。
ゆえに最後の問いは熟考に値する。あなたの仕事において、すでに点数は存在しているか。もしあれば、それは誰が書いたものであり、彼らが記述する際にあなたを念頭に置いていただろうか。
これは『Whatever You Ask For』シリーズの第二部であり、機械が最後に何を私たち必要とし、私たちがどれほど拙い対応をしてきたかを扱ったものである。













