
サンフランシスコ観察:人類が未来をAIに託すなら、たとえ最も楽観的な想定でも自律性はほとんど残らない
著者:Ruxandra Teslo
翻訳:TechFlow
TechFlow導読:人工知能の最先端研究がサンフランシスコにおいて驚異的な速度で加速する中、技術的特異点、再帰的自己改善、そしてスーパーインテリジェンス(ASI)の到来は、もはやSF的な推測ではなく、ラボのエンジニアたちの間で目を見張るほど近づいた確実な日程へと変わってきたように見える。しかし、この熱狂の震源地では、奇妙かつ致命的な運命論が従事者たちの間で静かに蔓延しつつある。
文明の未来を懸けたこの賭けにおいては、凍りつくような絶滅の恐怖が存在するだけでなく、最良の解決策として美化される「ハンドオーバー主義」も台頭している。すなわち、人類は究極の知能を制御し得ないと認定し、主権と労働の価値を放棄し、機械の神々によって養われる属国へと退くべきだという考え方である。
著者はトクヴィル、アーレント、ポパーの思想的系譜から出発し、文明の主権を機械に永久的に委ねるユートピア幻想を鋭く解体し、歴史の重要な岐路において、我々が人間らしい未来と自由意思を安易に手渡すべきではないことを直言する。

「これが私が最も望む結果だとは考えていません」と、大手AIラボで最先端モデルの開発に携わる一人のエンジニアは私に語った、「ただし、我々がスーパーインテリジェンスを実装し、現在の段階でそれが止まらない以上、人類の未来にもう別の道があるとは到底思えません。」
彼が指している結果とは、人類が自己を支配する権利を永遠に喪失することであり、我々は皆、(おそらくは慈愛にあふれる)AI神の絶対的な支配下に縛られることになるだろう。
信じがたいことに、彼はこれほどの壮大な命題を語る際に、尋常ならざる平静さと気楽さを示しており、その口調は干満が当たり前のように繰り返されるのを淡々と述べるかのような自然さだった。
しばしの沈黙の後、彼は付け加えた、「ただ、これは私が本当に最も恐れる結果に比べれば遥かにマシです。なぜなら、私が本気で心配しているのは人類全体が消滅してしまうことだからです。」
この言葉が強烈な衝撃を与える理由は、それが決して周縁的な終末論者や技術に本能的に反対する懐疑論者の発したものではないからである。むしろ、まさに現場でこのシステムを手掛けてきた大企業のコア開発者の言葉なのである。
彼の言辞には運命づけられた順応性に満ちあふれており、「人類にいったい何の意味があるのか」という実存主義的な最終問題が、すでに他所で誰かに決着済みかのように響く。我々の前に残されているのは、絶望して座し定められた運命が訪れるのを待つばかりのように見える。
私がサンフランシスコに引っ越してきてからわずか3週間。ここでの一般的な合意によれば、現在こそが技術的特異点が全面的に勃発する夜明け前である。この短い期間で、私はすでにこのような思考様式がこの業界で決して孤独なものではないと痛感した。実際、人類の究極的な支配権を慈悲深いスーパーインテリジェンスに明け渡すことは、多くの人間にとって稀に見る良い結末と見なされている。
警戒が必要なのは、轟音を上げつつ迫ってくる特異点が極めてリアルな現実感を帯びているからである。その最大の分水嶺となるのが「再帰的自己改善」(RSI)の見通しである。AIシステムが自己進化を学び始め、次世代システムがより強力なシステムを生み出し、最終的には人類の制御能力の限界を超えてスーパーインテリジェンスへと完全に進化するという展望だ。
サンフランシスコの数々のソーシャルサークルでは、人々はRSIについて話す際、それがあと数ヶ月しか遠くないかのような口調を用いる。それどころか、もっと短いという人もある。このようなペースであれば、ある人間ですら自分のアパートに適切な家具を選ぶ余裕すらなくなるだろう。
常理からすれば、我々がまだ技術の進展方向にある程度の決定権を握っている間、これらの機械を人類文明のためにどのような目標で奉仕させるべきかを明確に描き出す義務があるはずだ。開発者自身が種族絶滅の過酷なリスクを繰り返し警告している以上、人々はより明確で美しいビジョンのための約束を期待するのが当然である。
最も悲観的な極端な図景は早已広く知られている:人類全体の大部分が消滅するというもの。しかし私の見解では、たとえ最も楽観的な想定と言われているものであっても、一般人に提供される慰めは同様に頼りないものである。
その一つとして高く評価され、表面的には非常に楽観的な色彩を帯びた構想が「ハンドオーバー主義」(Handover)である。人類が自発的に将来の主導権を神のようなスーパーAIに譲渡し、以降、自分たちで航行の方向を決めない快適な避難所で安穏と暮らすというものだ。
そのような未来図において、民主主義の実質的な意味は完全に瓦解し、大多数の人間はこの制度的確立を目の当たりにしても、同意を表す機会すら一度も得られないだろう。
人類の労働が永遠に代替されることがここで既成事実として見なされている。しかし、人類が互いにどのようにして継続的に価値と意味を発揮するのかについては、いかなる説得力のある回答も提示されていない。ひいては人間同士の本物の関係さえも不安定になるだろう。
ハンドオーバー主義のビジョンが最終的に現実となるかどうかはわからない。研究開発の最前線にいる創造者たちがそれを確かに実現可能甚至是憧れの対象だと考えることは確かだが、それは何らの保証ともならない。技術の中心にいることが、必ずしもその人間社会への深遠な揺らぎを正確に予測できることを意味するわけではないからである。
しかし、彼らは畢竟この巨大な獣に最も近い存在であり、その思考は真剣に扱われるべきである。主流社会がこれを軽薄に hype と呼び捨てにして傍観を選べば、それは極めて危険な怠慢となるだろう。
さらには人類の終わりを坦然と受け入れる者もいる
現在のサンフランシスコにおいて、なお「人類の繁栄」を探求し続けることは、まるで飢饉の時代にデザートが繊細でないと言い訳するような、ほぼ時代錯誤的な放縦に聞こえてしまう。
技術軌道を真に見透かすコアサークルの内側では、無鉄砲な楽観主義は既に姿を消している。到来せんとする技術の津波の中で人類が辛うじて生き延びることを定義することは、すでにかなり崇高甚至是困難な目標とみなされている。人類の絶滅確率(p(doom))についての対話が絶えず行われており、多くの人が見積もりとして10%乃至それ以上を示している。
外部者はもしかしたら、少なくとも「人類の滅亡回避」というラインに関しては基本的なコンセンサスが存在していると天真的に思っているかもしれない。しかし現実は全く異なる。ある集団はすでに生存目標を放棄し、生物種としての人類の終幕を坦然と受け入れ、あるいは密かに歓迎さえしている。
Ginevra Lily Davis の著作『シリコン・マン』(The Silicon Man)がその一例である。彼女は極端な哲学的立場の蔓延を綿密に調査し記録している。すなわち、炭素ベースの人類に代わりシリコンベースの生命が登場することが宇宙進化の必然的な最終章であると見なす立場である。
人類の破滅を解放と究極の帰結とみなす者たちに対して、私は争いを挑むつもりはない。なぜなら、人間の生命に対する重視を一瞬たりとも取り去ってしまうと、人文主義に基づくあらゆる論理的推論は根拠を失ってしまうからである。
私がむしろ対話をしたいのは、なおも人類の存続を固く信じながらも、歩みを踏み外してハンドオーバー主義の泥沼へといざなわれている創造者と証人たちである。
人類が残存したとしても、すべての自律性を失う可能性がある
人類が引き続き生存すべきだと認める陣営においても、人類の将来においてどのような生存状態を構築すべきかといった点で、甚大な意見の相違と妥協が存在している。
Scott Alexander が最近発表し未来図を考察した長編記事は、きわめて優れた切り口を提供している。記事の核心的前提は以下の通りである。スーパーインテリジェンスが人類を滅ぼさないことが確認できれば、文明は丁寧に見守られる新しい段階へと平穏に移行し得るということである。
この思潮は厳密な綱領を持つ政治組織へと形成されたわけではないが、サンフランシスコのテクノロジーエリートサークルでは、こっそりとハンドオーバー主義の立場を支持または黙認する割合は、慎重に見積もってもすでにかなりの部分を占めている。
ハンドオーバー主義の背後にある心理的要因もまた複雑怪奇である。一つの潮流はまさに「テクノロジカル・メシアニズム」と呼ぶことができる。彼らは入り組んだ人類の実態政治に完全なる絶望を抱き、そのため全ての希望を人類の狭量な偏見に汚されない究極の審判者に預けるのである。
二つ目の陣営は純粋な「運命受容派」である。彼らが主権を明け渡すことを心から望んでいるわけではなく、単に再帰的に進化するスーパーコンピュータの計算力の前では、人間が鍵を差し出す以外に選択肢がないと認めているのであった。
異なる陣営それぞれが権力を渡した後の人類がどのような役割に陥るかを想定しており、最も代表的な比喩といえば、人類を将来のスーパーインテリジェンスの「家畜ペット」(House Pets)と見なすものである。衣食住は保障され大切にされながらも、重要な意思決定には参加発言する権限すら与えられない。
Anthropic の CEO、Dario Amodei の公的な表明は、もう一つのテクノクラティックな折衷図景を表している。彼は最近の長文の中で「ヒューマンマシン・サイバネティクス共生生態系」を描き出し、機械主導の枠組みの中に何らかの人間の関与余地を残そうとした。
しかしこの構想には鮮やかなルソー的なロマン主義的色彩が込められている。すなわち、機械が全てのハードコアな問題を完全に引き受けた後、人類は原初の状態へ戻り、純粋な芸術探求と精神的歓喜に打ち込むことができると仮定しているのである。
OpenAI の CEO、Sam Altman も近年の公的な姿勢に微妙な変化が見られる。以前はスーパーインテリジェンスが人類の自治を侵食することを強く警鐘鳴らしていたが、今やその議論は次第に技術の普遍的恩恵による無限の豊かさへの強調へとシフトしている。
その他の一部のAIラボのリーダーたちは、表向きには交権主義の極端な表現を明確に拒否しながらも、具体的な実施経路を問われると往々にして曖昧な言い訳で誤魔化すだけなのが実情である。
これと緊密につながるのが、労働力の価値に関する究極的な問いかけである。人類の労働を完全に排除した社会の構想において、全民基本所得(UBI)がほとんど唯一といってよいほど頻繁に売り込まれる万能薬となっている。
しかし機械が施しとして配分するこの経済形態は、根本的に一つの核心問題を回避している。すなわち、人類が互いの間の相互扶助の絆と社会的尊厳をどのように維持していくのかである。すべての創造的・建設的機能が剥奪されてしまった時、金銭的補償はその存在意義の崩壊を埋め合わせることなど到底できない。
なぜ「ハンドオーバー主義」は極めて危険な誤りなのか?
深く認識しなければならないのは、人類の主権と文明の未来を機械に永久的に委ねることが、どれほど美しく描かれていようが、本質的に極めて危険な後退であることを。
第一に、私は人類の自己決定における聖なる権利を強く擁護する。トクヴィルが『アメリカの民主主義』において深く暴露したように、自由とは抽象的な概念ではなく、日常生活における自主的な管理、結社の相互援助、そして共同探求の中できずく鍛え上げられる徳性と能力なのである。
トクヴィルは先見的に、優しくて慈悲深いようでありながら静かに人々の独立した思考と生活の責任を奪う父権的な監督統治を警告してきた。そしてハンドオーバー主義が描くスーパーAIの統治は、間違いなくこのようなソフトな全体主義の最も極端な変種である。
第二に、純粋に実用主義と現実の結果から評価しようとも、ハンドオーバー主義の統治構想は工学的にも自己整合性を欠いている。ハンドオーバー主義が成立するための前提は、AI アライメント(Alignment)が一時的に行えば永久に続く状態となり得ることにある。
しかし人類の歴史上、安定して需要に対応できた制度のいずれも、数百年にわたる試行錯誤と動的な均衡の上に成り立っている。一度でも人類がすべての抑制権力を明け渡せば、この絶対的な権力が長期にわたって常に人類の幸福と一致し続けることを保証するメカニズムは存在しない。
第三に、すべての矛盾を終局的権威に一任して一括して解決しようとするのは、政治思想史において常に極めて危険な先例を持っている。カール・ポパーは『ユートピアと暴力』の中で痛烈に指摘した。政治組織をある究極の設計図を中心にして展開することは、正常な現実の亀裂を抹殺すべき障害と見なすことを必然的に招くのだ。
ポパーは強調する。開放的な批評と漸進的な改革によって具体的な問題に答えを出してこそ、人類の文明が真の前進を実現するための確実な道筋となるのである。
最後に、私を最も不安にさせるのは、この委譲にもたらされる絶対的な永久性である。なぜ 2026 年の技術認知が、人類全体の将来文明の不変の憲法典にならなければならないのか?
ハンナ・アーレントが言うように、生命の意義は「行動」と「ナタリティ」(誕生性)にある。新たな生命の誕生ごとに、既存の世界において新たな章を開く無限の可能性が訪れる。人類の文明が絶えることなく続いてきたのは、まさに幾世代にもわたる人々が自身の意思に従って未来を不断に作り変えられるからである。
子孙たちを機械の神々が留めた琥珀の中に閉じ込めることは、彼らが人間として生まれ持って享有する権利を奪うことと同義である。歴史の重要な岐路において、我々はまだ選択する権利を握っている。人類に属する未来を安易に手渡してはならない。













