TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
SemiAnalysis:OpenAI自社製チップの実測でNVIDIAフラッグシップを圧倒?ジェンスン・フェン氏が最も懸念していた事態が発生

SemiAnalysis:OpenAI自社製チップの実測でNVIDIAフラッグシップを圧倒?ジェンスン・フェン氏が最も懸念していた事態が発生

2026.08.26
共有先
本記事では、InferenceX における Jalapeño のアーキテクチャの詳細、ソフトウェアの詳細、およびパフォーマンスの結果について詳しく解説する。

著者:SemiAnalysis

翻訳:TechFlow

TechFlow 解説:OpenAI 初の自社開発推論チップ「Jalapeño」の実測データが公開され、そのエネルギー効率は英現役フラグシップ Blackwell を凌駕し、次世代 Rubin に迫る。データセンターの電力制約に悩む AI 企業にとって、このチップは計算リソース市場の構図を書き換える可能性がある。しかし、第1世代チップが本当に英 CUDA エコシステムを揺さぶれるかどうかには、依然として疑問符がつく。

自社製 ASIC を用いた Rubin と Jalapeño の TCO、MW あたりスループット、そして過酷な詳細比較

過去2年間、OpenAI は密かに「Jalapeño」を開発してきた。この推論チップは最近 Hot Chips で発表された。シリコン版(流片)成功の噂は前から流れていたが、今回私たちが詳細を手に入れた。OpenAI は私たちにチップを見学させ、ラボでその真实性を検証し、当社の InferenceX 環境でベンチマークテストを実行することを招待した。

今年6月、OpenAI はブロードコムとの提携によるチッププロジェクトを発表し、ゼロから LLM 推論専用で設計された。設計作業は2024年半ばに始まったが、最初のチーム採用から製造・シリコン版までわずか約16ヶ月で完了し、極めて高速な ASIC 開発サイクルを示している。

通常、第1世代チップは競争力を持たないが、OpenAI は逆走し、複数のトップオープンソースモデルにおいて、当社がテスト可能なすべての NVIDIA、AMD、Google チップを抑え、業界首位の立場にいる。OpenAI が頼りにしたのは究極のハードウェア/ソフトウェア協同設計だ。驚くべきことに、OpenAI はモデル推論の特定の段階に過度に依存するのではなく、あらゆるシナリオで高性能を発揮する汎用チップの構築に注力した。

本記事では、InferenceX における Jalapeño のアーキテクチャ詳細、ソフトウェア詳細、およびパフォーマンス結果について深く掘り下げる。

汎用推論チップ

誰もが OpenAI のチップは OpenAI 模型用にカスタマイズされていると言うが、それは誤りだ。OpenAI は AI 推論向けの汎用チップを作成した。

タイムラインはあまりにも狂気じみている。これは「AI でチップ設計を加速する」という说法が真実であることを示している。非常にタイトなスケジュールにもかかわらず、OpenAI は多額の資金を投じ、現実的な設計判断を行い、かつ強力なチームを抱えていたため、これも決して驚くべきことではない。

仕様書だけを見れば、すぐに有力な競合候補となる:

さらに HBM4 を搭載していることで、NVIDIA や AMD のフラグシップ GPU と肩を並べる充分なポテンシャルを備えている:

多くのメディアはこのチップに関する報道で、OpenAI が口にした数言葉に従い、他家のチップでは不可能な方法で自社モデルを最適化すると報じた。これも誤りだ。Jalapeño は汎用推論チップであり、当社の InferenceX ベンチマークを含む多種多様なモデルやワークロードを実行できる──実際、当時私たちは OpenAI のエンジニアと共にラボでこのテストを実行した。冗談混じいに、OpenAI は彼らのチップ上で『DOOM』が実行されているのも見せた。このゲームは単なる Codex プロンプトだけで移植されたものである。

以下が私たちの最も重要な性能/Watt 結果であり、総消費電力1メガワットあたりのトークンスループットを示している。Jalapeño は他社全チップを圧倒した。すべてシングルトークン予測(STP)で行われており、グラフ上の他社チップはそれぞれ最高の SKU 設定で MTP を有効化している。

Jalapeño はほぼすべてのシナリオで性能/Watt が Blackwell を上回っており、かつ曲線上の特定の地点向けに最適化されてもいない。低レイテンシシナリオでの優れた性能はもちろん、高スループットシナリオでも同等に優れている。より公平な比較であるシングルトークン予測の結果を見れば、Jalapeño は各競合を遥か後方に引き離している。低並列シーンでは驚異的な対話性を発揮し、DeepSeek R1 モデルでは並列数1の場合、ユーザー当たり秒間700トークンを超えた。

不思議なことに、これらはすべて STP で実現されており、推論デコードもプリフィクス・デコード分離もない。DeepSeek R1 の以外にも、Kimi-K2.5 や GPT-OSS など他のいくつかのモデルで確認したが、これらはすべてユーザー当たり秒間約1,400トークンに達した。全モデルに対して、Jalapeño の GSM8k 評価結果が NVIDIA チップと同等であることを確認した。

ここにはいくつかの注意事項がある。第一に、すべてのデータは OpenAI から提供されたものだ。私たちはラボで InferenceX の動作を確認したが、完全な InferenceX ベンチマークスイートは実行せず、AgentX の結果も確認していない。AgentX はチップ性能比較の首选スイートであり、その超長コンテキストとマルチターン特性により、実際の生産ワークロード下のキャッシュ動作を反映することができる。8k1k で良いフレームワークも、AgentX では悪化する可能性がある。なぜなら実際の生産負荷はルーティング、プレフィックスキャッシュ機構、キャッシュ管理、オフロードインフラなどのコンポーネントを圧迫するからだ。単発の 8k1k テストではこれらをカバーしきれない。詳しくは我々の AgentX 記事を参照のこと。

AgentX - InferenceXv3:CUDA の堀はエージェント推論でも耐えられうるか?

第二に、Blackwell との比較はいくぶん不十分で、公平とは言えない我们认为。Jalapeño の真の競合は HBM4 を同様に使用する Rubin などのチップだ。Vera Rubin システムは現在顧客への出荷を開始している一方、OpenAI の Jalapeño はまだエンジニアリングサンプルであり、量産までにはまだ時間を要する。

したがって、パフォーマンスは本当に Blackwell ではなく Rubin と比較されるべきだ。ある意味で、我々はすでに Jalapeño のようなカスタムチップが Blackwell を凌駕すると予想していた。先月、NVIDIA と CoreWeave の発表時のパフォーマンス声明を分析した記事で述べた通り、Vera Rubin NVL72 の性能/Watt は GB200 NVL72 の 5.4 倍である。後に Jalapeño を Vera Rubin の7月のパフォーマンスデータと比較する予定だ。

Vera Rubin NVL72 vs GB200 NVL72?推論 TCO とアーキテクチャ分析

第三に、テストされたモデルはオープンソースの最前列にあるわけではない。NVIDIA と AMD は既に AgentX で DeepSeek V4 Pro や Kimi K3 などの大規模モデルの結果を公開している。モデルが大きいほど、またリリースが新しいほど、新チップ上での実装は複雑になる。とはいえ、OpenAI が Jalapeño 上で成功させたモデルも決して小さくない。

パフォーマンス分析

OpenAI の設計目標は性能/Watt だ。理由は単純である:OpenAI は現在予算やデータセンタースペースよりも電力制約に直面しており、そのため毎メガワットあたりのトークン数が極めて重要なのだ。Computex 2026 でジェンスン・ファン(黄仁勳)は、性能/Watt、信頼性、長期耐久こそが将来の GPU の中核特性だと語った。彼は実際に「1ギガワットの電力がある場合、ワットあたりのスループットが収益につながると述べた。また、チップが安価だからといって誤ったアーキテクチャを選ぶのは無意味とも指摘した。

NVIDIA も Hot Chips 2026 の Vera 講演でこれを強調し、同じ収益グラフを示した。「現代のデータセンターは電力制約を受ける」。電力は極めて重要であり、収益を牽引するのだ。

オペレーターが容易にさらにメガワットを獲得することはできない。GPU の追加と电网容量の拡大の間には時間スケールの大きな差異がある。データセンターの電力上限には様々な制限が存在する。例えば、公益事業者との接続、インフラ、冷却能力、UPS/予備電源設計などだ。送電網の遅延はハードウェアや建設進度を頻繁に超え、メーター裏(バックマージン)の電力容量需要を生み出した。つまり、データセンター内でガスタービンや現場発電機を建設することだ。これらの容量は公益事業者の電計器の裏側に位置し、公衆电网に依存しない。これによりオペレーターは电网接続や公益事業者のアップグレードを待つことなく施設に電力を供給できる。まさにこれが xAI の Colossus 2 がメーター裏電力に大きく依存し、実際の电网接続が大幅に遅れている理由である。詳細は我々のエネルギーモデルを参照のこと。

X の投稿で述べた通り、tok/s/MW はジュールあたりのトークン数に簡略化できる。ワットはジュール/秒だからである。したがって tok/s/MW はシステムの効率性と、エネルギーをトークンに変換する能力を表す。

この点においては、Rubin と比較してもなお Jalapeño が勝っている。OpenAI の Jalapeño の MW あたりの STP トークンスループットは、7月に NVIDIA と CoreWeave が発表した Vera Rubin の MTP 結果を上回る。さらに2025年の GB200 の MTP 結果をはるかに凌駕する。我々の Vera Rubin 記事で述べたように、VR と2025年 GB200 の結果を比較するのは、両者が類似した初期起動段階にあるためである。同時に、2025年 GB200 と比較することでソフトウェアの成熟度を一定に保てる。このロジックに基づき、私たちは3つの結果を比較した。つまり、Vera Rubin の最新2026年7月結果、GB200 の2025年結果、そして現在の Jalapeño 結果だ。この比較は極めて妥当である。というのも、これらが公開されている中で最も優れた Rubin データであり、OpenAI は Rubin よりも後に自社チップのシリコン版を行ったからだ。OpenAI と Rubin の双方はまだ成熟途上であり、性能は引き続き向上するだろう。

性能/TCO に関しては、Vera Rubin と Jalapeño は互角だ。ドルあたりの出力トークン数はほぼ同一である。しかし前述の通り、Jalapeño の結果は推論デコードを使用していない。Vera Rubin の結果は推論デコードを含んでいる。推論デコードによりトークンあたりのコストを約3〜5倍削減できる。Jalapeño が推論デコードを実現すれば、トークン提供のコストパフォーマンスはさらに高まるだろう。もちろん、一部の TCO 優位性は NVIDIA の高利益率を避け、ブロードコムのやや低め(ただし依然として高い)利益率に移行することに由来する。だがそれが全てではない。例えば Meta や Microsoft の AI ASIC プロジェクトはより長い期間を投じたが実現に至っていない。コストは方程式の一部に過ぎないことを示している。Jalapeño の完全な TCO 内訳については、SemiAnalysis AI Cloud TCO モデルを参照のこと。

アーキテクチャ面では、OpenAI はプリフィクス(prefill)とデコード(decode)を異なるチッププールに分ける選択をしなかった。ドラフトモデルとメインモデルは同じチップと相互接続構造を共有する。この設計思想は理論効率のいくらかを犠牲にして、実際の運用保守の容易さを手に入れる。その動機はワークロード構成が時間とともに変化するためである。例えば入力、キャッシュ書き込み、キャッシュ読み取り、および出力トークンの比率は顕著に変化している。この変化は、知識、推論、エージェントという三つのモデル時代を経て生じたものだというのが我々最近の記事で議論した通りだ。したがって、異種プリフィクス silicon とデコード silicon に固定数を事前設定すると、時間経過に伴って非効率を招くことになる。OpenAI はこのアーキテクチャで同種プールを選択し、あらゆるタスクでチップが良好に動作するよう努めた。

そしてそれは実際に達成された。Kimi K2.5(Cursor Composer 2.5 がこのモデルベース)において、Jalapeño はユーザー当たり秒間約700トークンを達成した。この速度は第2位のチップの100 tok/s/user を9倍近く上回る。

GPT-OSS においても再び一方的な勝利となった。Jalapeño の等価対話スループット/MW は、GB200 の最大スループットポイントのおよそ2倍だ。さらに GB200 の並列1のポイントとは50倍近い差がある。より高い並列数の Jalapeño ポイントには EP8 が使用されている。

これらの結果は印象的だ!ただし一点追求したい:これらはあくまで 8k1k であり、チューニング難度が大幅に低く、AgentX 実行データも未確認である。我々の AgentX 記事で述べた通り、マルチターンおよび長コンテキストワークロードは推論スタックのより多くの側面に負荷をかける。例えばルーティングやプレフィックスキャッシュだ。エージェントワークロードで卓越したパフォーマンスを出すためには、さらなる最適化が必要である。詳細は AgentX 記事を参照のこと。

AgentX - InferenceXv3:CUDA の堀はエージェント推論でも維持可能か?

仕様とアーキテクチャの詳細

すべての結果はプロジェクト開始からわずか9ヶ月の Jalapeño A0 ステッピョンに基づく。しかし B0 ステッピョンは現在ファブリーケーション中にある!B0 の最適化により、W 当たりの性能は初期 A0 silicon より約25%向上している。具体的には、B0 ステッピョンは単一フォトマスクサイズのカレントチップで 13.4 PFLOPs の MXFP4 を実現する。このチップは TSMC N3P で製造されている。一方、単一の Rubin カレントチップは類似サイズおよび同ノードで 17.5 PFLOPs の Dense Rubin NVFP4 を実現する。

Jalapeño の TDP がわずか 700W であるのに対し、Rubin はカレントチップあたり 900〜1150W であることから考えると、このパフォーマンスはより称賛に値する。Jalapeño は推論向けでありトレーニング向けではないため、OpenAI が FLOPs を最大化するために TDP を高める必要はない。理解すべき点だが、いずれにしても上記の結果は Jalapeño が優れたピーク理論 FLOPs を提供していることを示している。

他のアクセラレータと直接比較すると、Jalapeño は W 当たりの HBM バンド幅および W 当たりの FLOPs がともに最高レベルにある。この水準は 1800W の Rubin Max-Q 構成と肩を並べる。

Jalapeño は HBM4 を搭載し、Nvidia および AMD に次いで当該技術を早期に採用するチップの一つとなる。既存の TPU や Trainium プロジェクトさえ先行させる。Jalapeño の主要アーキテクチャ原則の一つは HBM バンド幅を十分に引き出すことであるため、妥協して非トップレベルの HBM を使用するとこの目標に背く。その結果、パッケージあたりのメモリ帯域幅は 15.4TB/s に達し、HBM3E を使用している他の販売中のアクセラレータを凌駕する。15.4TB/s の帯域幅は、HBM4 が 10Gbps のピンレートを実現できることを示唆しており、Rubin 内の Nvidia HBM4 の 9.6Gbps をわずかに超える。HBM はおそらく Samsung によって提供されるだろう。

OpenAI は2025年11月に Jalapeño のシリコン版を終了した。より正確には、トップレベルダイだけでなく CoWoS 設計のシリコン版である。2025年11月のシリコン版から9ヶ月以内、かつ実際のシリコン上でのデバッグはわずか3ヶ月しか経っていないにもかかわらず、OpenAI はすでに Jalapeño で非常に素晴らしい結果を収めている。チームがソフトウェアスタックを一から構築したことを考慮すれば、この点はさらに印象的だ。

一方で、Rubin の CoWoS シリコン版は2025年10月に終了しており、1ヶ月早い。しかし現在私たちが確認できる唯一の早期結果は CoreWeave のエンジニアリングサンプルに由来する。Nvidia は OpenAI のように私たちにテストおよびベンチマーク公開を許可しておらず、これはチップのソフトウェアがまだ成熟していないことを示唆する。OpenAI が自社チップでこれほど迅速に新モデルを動作させられることを考慮すると、CUDA の堀は既に消滅しつつある可能性が高い。

両者ともまだ最適化から程遠いが、全体として Jalapeño がより良いデータを提供していることは明らかだ。Nvidia のハードウェアが劣っていると考えるのではなく、Jalapeño のソフトウェアデバッグの進捗が Nvidia よりも速いと考えられる。これはハードウェア/ソフトウェア協調設計の威力を示しており、トップティアの最先端ラボ ASIC チームがより成熟した商用チップベンダーを凌駕する主要領域でもある。逆説的に聞こえるかもしれないが、ゼロからの出発は OpenAI に恩恵をもたらした可能性がある。後方互換性や古いソフトウェアバージョンの制約を受けず、新規アーキテクチャ決定を下せるためだ。

OpenAI はすでに Jalapeño のエンジニアリングサンプルを持っているものの、量産は現時点で2027年に段階的にキャパシティを拡大する計画であり、大半の生産は来年年末に割り当てられている。ユニット数および ASP に関する詳細は、SemiAnalysis アクセラレータモデルを参照のこと。

言い換えれば、OpenAI Jalapeño は真の意味での大規模 ASIC であると言える。

Rubin のタイムラインと比較すると、Jalapeño の速度は驚くほど速い。前述の通り、Rubin の方が先にスタートしたが、Jalapeño の結果は Rubin を凌駕している。

Jalapeño アーキテクチャ

アーキテクチャを深く掘り下げると、このチップのマトリックスエンジンは TPU と同様、MXFP 数値形式とウェイトレジデント脈動アレイを使用する。ただし TPU と直接比較すると、より小さな形状/ディメンションをサポートしており、つまりより大きな脈動アレイにおいて形状不一致の行列乗算が起きる際に生じる奇妙なパフォーマンスクリフを回避できる。

加えて、64ビットスカラコアと FP32/INT32 ベクタコアも搭載する。OpenAI はトレイレベルで冗長設計を採用し、コアおよびチャンネルレベルで歩留まり回収を內蔵している。彼らは、チップ設計における AI 支援により SIMD 面積が 8%、マトリックスエンジン面積が 10%削減されたと主張している。具体的なプロセス/電圧/温度(PVT)条件については言及していないものの、AI 支援モジュールが初期モジュール相较べタイミングと消費電力を改善したとも述べている。

Jalapeño のアーキテクチャ設計は、KV キャッシュとウェイトのメモリ転送、ならびに固定レイテンシとオーバーヘッドの排除に焦点を当てており、他のアクセラレータと比較して、小さなバッチサイズや小さな形状においても元のピーク演算能力/帯域幅に近づけることを目指している。

コアと HBM は複数のスライスに分割されており、各コアスライスは自身の HBM スライスに対して低遅延ローカルビューを持つ。スライス間の同期は高帯域幅専用のコレクションネットワークを通じて行われる。このミニマルなメモリ階層により、Jalapeño は GPU と比較して巨大な潜在的優位性を得ている。なぜなら GPU のメモリアクセスは複雑なメモリシステムを通過する必要があり、大きなレイテンシが発生し、それが大きな形状で償却または隠蔽されなければならないからである。

この選択が可能なのは、ウェイトと KV を注意深く配置することで、コア間の同期を限定的かつ既知の高帯域幅通信(例えば計算と重叠可能なテンソル並列通信など)に制限できるからである。

加えて、一般的な通信と拡張ネットワークへのアクセス用の追加の汎用 NoC も存在する。全体として、OpenAI は簡素化された NoC とメモリサブシステムにより、Nvidia や Google と比較して多大な電力節約を実現し、顕著なパフォーマンス向上を達成した。

コアレベルにおいて、OpenAI は L1 キャッシュを備えた Out-of-Order(OoO)コアを記述している。これは他のアクセラレータで目にするパターンとは全く異なり、他のアクセラレータは一般的に非同期 DMA サポートを伴うソフトウェア管理レジスタを使用している。ここでは、これにより Jalapeño がバリアーレイテンシなどの固定オーバーヘッドを回避でき、他のアクセラレータ(GPU など)では各コアの作業量を増加させて隠蔽または償却しなければならないため、元のピーク帯域幅/演算能力に近づきにくいという论点である。

代償として、Jalapeño はメモリ要求がタイムリーに到達することを確保するために良好なプリフェッチに依存することになる。これは予測や推論がより困難である。しかし、Codex を用いて健全なフレームワーク内で詳細なトレース情報を収集し、特定の形状に対して最適なプリフェクトを備えた最適カーネルを見つける作業は、人の介入なしにほとんど実行可能であると思われる。まさにこれこそが、OpenAI が DeepSeek R1、Kimi K2.5、GPT-OSS をこれほど迅速に動作させられた理由だと考えられる。

コアはまた「より小さい」マトリックスディメンションもサポートしており、これ(どれくらい小さいかによるが)により、異なるモデルやバッチディメンションに対して汎用性が高まり、マトリックスディメンションのアラインメント、パディングオーバーヘッド、ブロック化の非効率性への感度が低くなる。例えば、TPU、Trainium、Etched チップは非常に大きな脈動アレイを持ち、ブロック化の非効率性を避けるために大きなバッチサイズまたはモデルディメンションが丁度割り切れることを要求する必要がある場合がある。

Jalapeño により、OpenAI はシステム内の固定遅延の排除に注力し、パラレート曲線内のあらゆる領域においてできるだけ roofline パフォーマンスに近づけることを目指している。理論的には、これにより複数のワークポイントで GPU 相対の優位性をもたらす可能性がある:

低レイテンシ/小バッチ推論の上限パフォーマンスは GPU を大きく凌駕する。GPU は起動レイテンシ、バリアーレイテンシ、メモリシステムレイテンシなどの固定オーバーヘッドに制約される。

大バッチサイズや長コンテキストにおいても、ハードウェアの roofline に近づく潜在力がある。

ただし注意が必要だ:理論的に上限パフォーマンスが存在しても、実際の実行ではそのパフォーマンスに達するのがより困難になる可能性がある。そのため、そのアプローチはおそらく以下のようになる:

すべてのワークロード形状に対して最高の上限パフォーマンスを設計する

Codex に重い作業を任せ、その上限を実現するカーネルを探す

OpenAI チームは Jalapeño 上で InferenceX ワークロードを開始する際、周回速度が極めて速い。

そのため、私たちはこのアプローチに対して楽観的である。

Jalapeño が成功すれば、強いシグナルを送ることになる。

業界がプログラミングモデルと完璧な汎用コンパイラに対する執着を持っているが、それは最先端 AI モデルによって打ち破られるだろう。

OpenAI はアセンブラを書くように Jalapeño カーネルを記述する。

各カーネルにはマニュアルチューニングコードが含まれており、一部は約3000行に及ぶ。

正しさの確認チェックとカスタム sanitizer サポートもある。

初期のカーネル作業は humans-in-the-loop であり、全自動化されていない。

その後、よりスケーラブルな社内版 Codex に移行した。

OpenAI はこのバージョンをエンタープライズ顧客に販売する計画である。

内部サービスエンジンは「Teacup」と呼ばれる。

興味深いことに、OpenAI 以前には社内 MLA カーネル実装が存在しなかった。

InferenceX で DeepSeek のベンチマークを行うに至って初めて存在した。

Codex はカーネルエンジニアリングチームの介入なしに、使用可能な効率的なカーネルをこれほど迅速に生成できる。

これはソフトウェアパイプラインの開発能力を示している。

OpenAI は Gluon を用いて Jalapeño をプログラムする。

Gluon は OpenAI のカーネルプログラミング言語である。

Gluon は Triton 上に構築され、Triton の SPMD(Single Program Multiple Data)プログラミングモデルを維持している。

ただし、基盤となるプログラミング抽象を露出させる。

例えば NVIDIA GPU 向けには、PTX インストラクションにマッピングされる API を提供する。

MMA インストラクション、TMA インストラクション、mbarrier メカニズムなどを含む。

Gluon が提供する最も特徴的な抽象はレイアウトである。

一般的に、レイアウトはハードウェアリソースとテンソル要素との間のマッピングを定義する。

例えば warp 9 の第5番目のレジスタは、テンソル要素の第6行第7列に対応する。

Gluon のレイアウト抽象は Linear Layouts を基盤としている。

これは OpenAI が発明したレイアウト代数である。

Linear Layouts は数学的に「レイアウトとは何か」を形式化したものである。

レイアウトを操作するためのツールを提供する。

これにより、証明可能な正しさを持つレイアウト変換など、多くの機能をサポートする。

最適メモリスウィッシングも含まれる。

Jalapeño のプログラミングモデルでは、各 Gluon プログラムは永続スレッドにマッピングされる。

これは Jalapeño が永続カーネルプログラミングモードに適していることを示唆していると考える。

各プログラムは複数のタイル上で実行され、作業はハードウェアスケジューラではなくプログラマーによって割り当てられる。

OpenAI は TensorInfo についても言及している。

これは明示的にエンコーディングされたレイアウトの抽象である。

これはおそらく Jalapeño のために設計された一連のレイアウトである。

Linear Layouts によって駆動されるはずだ。

最後に、各コアはデータプリフェッチとデカップルド・アウト・オブ・オーダーユニットを提供する。

例えば、ユーザーはプリフェッチデータの到着を待つようにプログラムできる。

該データはセマフォによってロックされる。

皮肉なことに、GPT 5.6 Sol のような OpenAI モデルは現在 NVIDIA GPU 上で動作している。

それらはチップ設計に利用されており、CUDA の堀に対して真实的脅威を突きつけている。

NVIDIA 自身の GPU が潜在的な後継者をリアルタイムで推進している。

時系列で比較すると、Jalapeño の開発スピードもうかがえる。

2週間に満たない時間で、ある対話シナリオのスループットは 2倍以上に向上した。

Jalapeño チームから受け取った tarball 一つひとつに、奇妙な世界が閉じ込められている。

カーネルパフォーマンスの向上だけでなく、8日以内に Jalapeño チームは TP32 を有効化した。

以前の TP8 構成に基づき、単一システムの外へ拡張し、完全なラックレベル構成で大規模モデルを実行可能にした。

この開発スピードは確かに印象的である。

実際のハードウェアで実行する前にパフォーマンスを検証するため、OpenAI には「chilisim」というシミュレータがある。

その精度は実測ハードウェアの 5%以内であり、固定幅のトレースバスを使用している。

A0 におけるトレース能力は限定的だったが、B0 では大幅に改善した。

これは A0 silicon の実際の稼働データに起因している可能性がある。

エンジニアは Codex CLI による社内モデルの実行デモンストレーションを行った。

愛称は「Raiku」または「5.3 Codex Spark」で、TPOT は 1.2ms である。

チームは Codex が作成したデモがチップ上で直接実行されるのも紹介した。

36 FPS の DOOM や FP32 流体力学シミュレーションが含まれる。

「Liquid Light」のマウスドラッグ可視化も用意されている。

モデル面において、OpenAI の社内 megakernel 方案は愛称「gigakernel」と呼ばれる。

これは単一の megakernel を中心に構築され、デバイス上でループ処理することで、CPU オーバーヘッドと起動時間を削減する。

チームはさらに推論時の計算戦略を押し進めている。

社内では特に 100万回の rollout をどのように調整運用するかに関心を寄せている。

Disagg(分離型)にするべきか否かが課題となる

前述の通り、OpenAI はこれらのチップで prefill-decode 分離を採用していない。

PDD により NVIDIA および AMD GPU のパフォーマンスが顕著に向上するため、これは私たちを惊かせた。

同種ハードウェアであってもである。

なぜ Jalapeño チームがこの選択をしたのか、深く掘り下げてみよう。

ワークロードが固定されている場合、prefill-decode 分離は非常に魅力的に映る。

Prefill と Decode はハードウェアへの負荷が異なる。

各ステージを個別に最適化されたプールに配分すれば、選択された入出力比において効率を高められる。

ただし生産トラフィックはその比率を保ち続けるわけではない。

入力出力シーケンス長、並列数、キャッシュヒット率、推論受付率、そしてレイテンシ目標は終日変動する。

一度デバイスが prefill と decode プールに分離されると、prefill 需要が多すぎると decode チップは遊休状態になり、リクエストがキューイングされる。

逆に decode 需要が多すぎれば、その逆现象が起きる。

オペレーターは正しい分割を継続的に予測し、両側に予備キャパシティを確保しなければならない。

そして理想的な比率が絶えず変化するシステムのリバランスを図らなければならない。

統合システムでは、特定ステージにおいて一部のリソースが過少利用率になる可能性がある。

しかし各デバイスは依然として次のリクエストをサービスするために使用可能だ。

分離型システムでは、誤ったプールに属しているだけの理由でチップ全体が遊休状態になる可能性がある。

ローカル利用率は良く見えても、グローバル利用率は極めて悪い可能性がある。

分離は局所性も破壊する。

Prefill ワーカーは decode ワーカーが直ちに必要とする大規模な KV キャッシュを生成する。

生成を続けるためには、システムはその状態をネットワークを介して転送しなければならない。

これにより、バンド幅消費、同期、キューイング、そして別の障害ドメインが増加する。

コストも入力シーケンス長の増加とともに上昇する。なぜなら KV キャッシュが増大するためだ。

しかし、KV の移動を避けることは主に消費電力とレイテンシの最適化である。

ある程度の KV 移動を受け入れればハードウェア利用率を高められるが、その代償は消費電力と単一リクエストのレイテンシ増大である。

代替可能なクラスターは、レイテンシ敏感リクエストとスループット指向バッチの間でキャパシティを転移できる。

固定分割はトラフィック構成が変化した時にハードウェアを遊休状態にする。

加えて、コンテキスト長の変化は attention と FFN 作業のバランスを変える。

どの固定ハードウェア比率も設計点付近でのみ効率的である。

同様の制約は speculative decoding にも適用される。ドラフトモデルは検証機に対して極めて低いレイテンシで候補トークンを提供しなければならない。両者を異なる専用プールに分けると、緊密に結合されたデコードループが分散プロトコルになってしまう。追加の通信と調整により、ドラフトが節約したレイテンシを喰い尽くす可能性がある。speculative を価値のあるものにする局所性を保つためには、両モデルを同じデバイスと低レイテンシ構造上に配置する必要がある。

しかし、需要が十分に大きく、安定しており、予測可能な場所では、decoupling はいまだ勝者となりうる。特に伝統的な GPU が良好なスループットを得るために大バッチサイズや段階的なバッチを必要とする場合にそうだ。ただし、これには無償の昼食はない。

和風からインド料理(辛口から激辛)へ:Katsu、Vindaloo、Chana——これらカレー料理がどうラックシステムを構成するのか?

Jalapeño システムはラックユニットレベルで CPU ホストラックと ASIC ラックから構成される。ホストラックは「Katsu」と呼ばれる16個のホスト CPU トレイを収容する。各 Katsu は右側の16個の ASIC トレイのいずれかに対応し、「Vindaloo」と呼ばれる。各ホストには Turin クラス AMD EPYC CPU が2基搭載され、ラックあたり1.5TB DRAM、2x E1.S、2x M.2 SSD が配备される。各トレイには 400G(2x200G)フロントエンドネットワークも配備される。各 Katsu トレイは8本の外部 PCIe DAC ケーブルで各 Vindaloo トレイに接続される。これらのケーブルはラック前面で水平配線される。システムレベル設計は Celestica との共同作業で行われた。

ASIC ラックは16個の Vindaloo トレイと8個の拡張スイッチトレイ(6個のローカル+2個のグローバル)から構成され、「Chana」と呼ばれる。各 Vindaloo トレイには8個の Jalapeño ASIC が含まれ、ラックあたり合計128個の Jalapeño ASIC となる。ASIC は銅ケーブルバックプレートを通じて各 Chana スイッチトレイに接続され、Nvidia の Oberon に似ている。拡張トポロジーはローカルドメインとグローバルドメインに分かれる。ローカルドメインはラック内の128個の ASIC をカバーする。グローバルドメインは最大16個のラックまたは2,048個の ASIC を接続する。帯域幅とトポロジーについては後述で詳しく説明する。

サイドマウントホストラックの電力供給は約50kW(量産時31kW)、ASIC ラックは130kW を消費する。全体のツインラックシステムは約160kW である。消費電力から見れば、これは基本的にデュアルウィドスの GB300 ラックに相当する。

OpenAI は単一の拡張ネットワーク内で最大2,048個の Jalapeño XPU を接続できる。拡張ネットワークは2つのドメインで構成される。ローカルドメインはバックプレートを通じてラック内の全128個の XPU を接続する。グローバルドメインは銅ケーブルと光インタコネクトの混合を用い、16個のラックの2,048個の XPU を接続する。各ラックは8個の Chana スイッチトレイを含む。中央の6個の Chana スイッチはローカルドメイン用であり、それぞれが102.4T Tomahawk 6 スイッチ ASIC を搭載する。上部と下部の2個の Chana スイッチはグローバルドメイン用である。おそらく 2x 102.4T Tomahawk 6 スイッチであり、各スイッチトレイは最大204.8T と考える。

ローカルドメインでは、128個の Jalapeño チップの各 XPU あたりの片道帯域幅は 4.8Tb/s である。これらは6個の 102.4Tb/s Tomahawk 6 ASIC へとフルメッシュ接続される。これは各 XPU に48ペアのディファレンシャルペア(DP)オス・メスコネクタがあるのに相当する。合計でラックあたり6,144ペアの DP 受動銅ケーブルがローカル拡張用に使用される。

グローバルドメインでは、16個のラック合計2,048個の XPU が銅バックプレート、電気 204.8T TH6 スイッチ、1.6T オプティカルモジュール、光回路交換機の組み合わせで接続される。各 XPU のグローバルリンク片道帯域幅は 1.6Tb/s である。つまり XPU とグローバルスイッチ間のバックプレート用に16ペアの DP オス・メスコネクタがある。各グローバルスイッチトレイには2個の ASIC があり、そのエグジット帯域幅はバックプレートとフロントパネル光学機器間で分配される。

ローカルドメインとグローバルドメインの間に、ラックあたりのバックプレートコネクタ数は各 XPU で64ペアの DP である。合計でラックあたり8,192ペアの DP 受動銅ケーブルとなる。

グローバルドメインは純粋な rail アーキテクチャを採用しており、グローバルドメイン内の8本の rail で構成される。OpenAI は各ラックに設置された光回路交換機(OCS)を通じてグローバルドメイン内の光リンクをルーティングしていると考える。各 XPU の 1.6Tb/s グローバル帯域幅は銅バックプレートを介してグローバルスイッチトレイに到達し、その後フロントパネルの 1.6T オプティカルモジュールを介してスイッチから離開する。まず受動光スイッチに入り、それからラックを離れる。これにより拡張ドメインの規模は2,048個の XPU(16個のラック、各128個の XPU)に拡大する。

拡張ネットワークは総システムコストの約10%しか占めないため、この柔軟性は将来の10兆〜20兆パラメータモデル、あるいは200万〜400万トークン コンテキストウィンドウに向けた貴重なオプションを購入するものである。デプロイ面では、OpenAI は neocloud と提携している。また、1月中にデータセンターパートナーと連携して信頼性データを収集しながら、埠頭からラックまでのデプロイメント時間を最適化している。

今後の展望

次に、初登場する生産用トークンを目前に控えた Jalapeño の未来について議論する。次の目標は100MW であり、障害は主にハードウェアにある:どれだけ生産できるか、データセンターをどれだけ適切にデプロイ・運用できるか、モニタリングやレジリエンスをどのように処理するかなどである。ソフトウェアはすでに検証済みであり、社内モデルも存在するため、任意のソフトウエアの先行優位性は簡単に追いつかれるだろう。有料コンテンツ以降では、今後数年間 OpenAI と契約を結んでいる NVIDIA、AMD、Cerebras などのチップ会社への影響について議論する。

当社の Accelerator モデルでは、次世代チップの歩留まり、数量、およびタイムスケジュールもカバーしている。

以降部分は有料コンテンツであり、権限の問題によりさらなる翻訳は行われないが、前文には OpenAI が NVIDIA チップにどのような挑戦をしているかを反映する十分な情報が掲載されている。チップセクターや NVIDIA 株価に注目している投資家にとって、これらの情報は新鮮かつ堅牢な参考价值を提供するだろう。