
SemiAnalysis: OpenAI 자사 개발 칩 실측 결과 엔비디아 플래그십을 압도한다? 젠슨 황이 가장 우려하던 일이 현실이 됐다
작성자: SemiAnalysis
번역: TechFlow
TechFlow 요약: OpenAI의 첫 번째 자체 개발 추론 칩 'Jalapeño'의 실제 측정 데이터가 공개되었으며, 효율성에서 엔비디아 현행 플래그십인 Blackwell을 압도하고 차기작 Rubin에 버금간다. 데이터센터 전력 병목에 시달리는 AI 기업들에게 이 칩은 컴퓨팅 시장 구도를 바꿀 수 있다. 하지만 첫 세대 칩이 실제로 엔비디아의 CUDA 생태계를 흔들 수 있을지는 여전히 의문부호다.
자체 개발 ASIC로 본 Rubin과 Jalapeño의 총 소유 비용(TCO), 밀리와트당 처리량 및 날카로운 디테일
과거 2년 동안 OpenAI는 꾸준히 ‘Jalapeño’를暗中 개발해 왔으며, 이번 추론 칩이 방금 Hot Chips에서 공개되었습니다. 테스트칩 성공에 관한 루머가 어느덧 나돌았지만, 이제 우리는 구체적인 세부 정보를 입수했습니다. OpenAI는 우리가 칩을 직접 확인하고 실험실에서 그 진위를 검증하며 당사 인퍼런스 X(InferenceX) 스위트(suite)로 벤치마크 테스트를 수행할 수 있도록 초청했습니다.
지난 6월 OpenAI는 보편통신(Broadcom)과의 칩 프로젝트를 발표했으며, 이는 처음부터 LLM 추론 전용으로 설계된 프로젝트입니다. 설계 작업은 2024년 중순에 시작되었고, 초기 팀 구성부터 제조 테스트칩(Tape-out) 완료까지 약 16개월밖에 걸리지 않았는데, 이는 매우 빠른 ASIC 개발 사이클입니다.
일반적으로 첫 번째 세대 칩은 경쟁력이 없지만, OpenAI는 이와 달리 여러 최고의 오픈소스 모델에서 테스트 가능한 모든 엔비디아, AMD, 구글 칩을 압도하여 업계 선두에 자리했습니다. OpenAI의 비결은 극강의 하드웨어/소프트웨어 공동 설계에 있습니다. 놀라운 점은 OpenAI가 모델 추론의 특정 단계에만 과도하게 집중하는 대신, 모든 환경에서 고성능을 제공할 수 있는 범용 칩 제작에 주력했다는 것입니다.
본 글에서는 Jalapeño가 InferenceX 위에서 구현한 아키텍처 세부 사항, 소프트웨어 특징 및 성능 결과를 깊이 있게 다룹니다.

범용 추론 칩
모두가 OpenAI의 칩이 OpenAI 모델 전용으로 맞춤 제작되었다고 말하지만, 이는 잘못된 주장입니다. OpenAI는 AI 추론을 위한 범용 칩을 만들었습니다.
개발 일정은 매우 과감합니다. 이는 “AI를 통해 칩 디자인 가속화”라는 말이 사실임을 시사합니다. 일정이 매우 빠름에도 불구하고 OpenAI는 막대한 자금을 투입했고 실용적인 디자인 결정을 내렸으며, 팀 역량이 매우 강력하므로 이러한 결과는 surprise하지 않습니다.
사양만 봐도 강력한 경쟁자가 됩니다:

HBM4를 채택함으로써 엔비디아와 AMD의 플래그급 GPU와 손색없는 성능을 자랑합니다:

많은 미디어의 칩 관련 보도는 OpenAI의 몇 마디 casually spoken remarks를 쫓아, 자신만의 모델을 다른 칩이 할 수 없는 방식으로 최적화한다고 주장합니다. 이는 사실이 아닙니다. Jalapeño은 범용 추론 칩으로, 다양한 모델과 워크로드, 심지어 당사 InferenceX 벤치마크까지 모두 지원합니다. 당시 우리는 OpenAI 엔지니어들과 함께 실험실에서 해당 테스트를 직접 실행했습니다. 장난스럽게도 OpenAI는 코드웍스(Codex) 프롬프트만으로 그들의 칩에 포트된 ‘둠(Doom)’ 게임까지 돌아가는 모습을 보여주었습니다.
다음은 우리가 가장 중요하게 여기는 성능/와트 결과로, 밀리와트당 총 전력 소비 대비 토큰 처리량을 살펴본 것입니다. Jalapeño은 나머지 모든 칩을 압도합니다. 이는 모두 다중 토큰 예측(MTP)을 사용하지 않고 얻은 수치이며, 차트의 다른 칩들은 각자 SKU의 최상위 설정으로 MTP를 전제로 한 결과입니다.

Jalapeño는 거의 모든 시나리오에서 성능/와트가 Blackwell을 상회하며, 곡선의 특정 지점만을 겨냥해 튜닝하지 않았습니다. 저지연 상황에서 우수한 성과를 보이는 것은 물론 고처리량 환경에서도 뛰어난 성능을 발휘합니다. 더욱 공정한 비교는 단일 토큰 예측(STP) 결과를 통한 것인데, Jalapeño은 모든 경쟁사를 크게 따돌립니다. 저동시성环境下에서는 놀라운 상호작용성을 선보였으며, DeepSeek R1 모델에서 동시성 1 기준으로 사용자당 초당 700 토큰을 넘겼습니다.
놀라운 것은 이 모든 것이 단일 토큰 예측(STP)만으로 구현되었다는 점이며, 추정 디코딩(Speculative Decoding)이나 프리필-디코드 분리도 적용되지 않았습니다. DeepSeek R1 외에도 Kimi-K2.5와 GPT-OSS 등 기타 모델들도 대략 사용자당 초당 1,400 토큰 수준으로 달성했습니다. 모든 모델에 대해 Jalapeño의 GSM8K 평가 결과가 엔비디아 칩과 동등함을 확인했습니다.
여기에 몇 가지 주의사항이 있습니다. 첫째, 모든 데이터는 OpenAI가 제공했습니다. 우리는 실험실에서 InferenceX 작동을 직접 검증했으나 전체 InferenceX 벤치마크 스위트를 실행하진 않았으며, AgentX 결과도 확인하지 못했습니다. AgentX는 당사가 칩 성능 비교를 위해 가장 선호하는 스위트인데, 그数据集의 초장문 컨텍스트와 멀티 턴 특성이 실제 프로덕션 워크로드 하의 캐시 행위를 잘 반영하기 때문입니다. 8k1k에서 잘 작동하는 프레임워크가 AgentX에서는 더 낮은 성능을 보일 수 있는데, 그 이유는 실제 프로덕션 부하가 라우터, 프리픽스 캐싱 메커니즘, 캐시 관리, 오프로딩 인프라 등을 압박하는 테스트이기 때문입니다. 단일 턴 8k1k 테스트는 이러한 부분을 다루지 못합니다. 자세한 내용은 당사 AgentX 기사를 참조하세요.
AgentX - InferenceXv3: CUDA 해자(Hubao)는 에이전트 추론에서도 견딜 수 있을까?
둘째, Blackwell과 비교하는 것은 다소 불완전하고 공정하지 않다고 생각합니다. Jalapeño의 진정한 라이벌은 역시 HBM4를 탑재한 Rubin 등 칩입니다. Vera Rubin 시스템은 현재 고객에게出货을 시작했지만, OpenAI의 Jalapeño는 아직 엔지니어링 샘플일 뿐 양산까지는 시간이 더 필요합니다.
따라서 성능은 Blackwell이 아닌 Rubin과 비교해야 합니다. 어떤 의미에서 우리는 Jalapeño처럼 맞춤형 칩이 Blackwell을 초과할 것으로 예상했습니다. Vera Rubin NVL72의 성능/와트는 GB200 NVL72의 5.4배인데, 이는 지난달 엔비디아와 CoreWeave 발표 시 성능 선언문을 분석했던 기술평론에서 언급했습니다. 이후 Jalapeño를 Vera Rubin의 7월 성능 데이터와 비교하겠습니다.
Vera Rubin NVL72 vs GB200 NVL72? 추론 TCO 및 아키텍처 분석
셋째, 테스트한 모델들은 오픈소스의 최전선에 위치하지는 않았습니다. 엔비디아와 AMD는 이미 AgentX를 통해 DeepSeek V4 Pro와 Kimi K3 등 더 큰 모델의 결과를 공개했습니다. 모델이 클수록, 출시일이 새울수록 새로운 칩에서 완전히 작동시키는 것은 더 복잡해집니다. 그렇긴 하지만, OpenAI가 Jalapeño에서 성공적으로 작동시킨 모델 규모도 만만치 않습니다.
성능 분석
OpenAI의 설계 목표는 성능/와트입니다. 이유는 간단합니다. OpenAI는 현재 예산이나 데이터센터 공간보다 전력 공급에 제약받기 때문에, 밀리와트당 토큰 수가 매우 중요합니다. Computex 2026에서 쥔옌황(Jensen Huang)은 성능/와트, 신뢰성, 장기 수명이 미래 GPU의 핵심 특성이라고 말했습니다. 그는 직접 “전력이 1기가와트(GW)라면, 와트당 처리량은 곧 수익이다”라고 강조했습니다. 또한 단순히 칩 가격만 싸다는 이유로 틀린 아키텍처를 선택하는 것은 의미가 없다고 덧붙였습니다.

엔비디아는 Hot Chips 2026에서의 Vera 연설에서도 같은 점을 강조하며 동일한 수익 차트를 공개했습니다. “현재 데이터센터는 전력에 의해 제한됩니다.” 전력이 절대적으로 중요하며 수익을 좌우합니다.
운영자는 쉽게 추가 미리가와트(MW)를 확보할 수 없습니다. GPU 증설과 전력망 용량 확충 사이의 시간적 격차는 큽니다. 데이터센터의 최대 전력 수용에는 다양한 제약이 따릅니다. 예를 들어 공공사업체 연계, 인프라, 냉각 능력, UPS/비상 발전 설계 등이죠. 전력망 연계 지연이 하드웨어 및 구축 일정을 자주 초과하면서, 계량기 뒤쪽(표후) 전력 용량에 대한 수요가 발생했습니다. 즉, 데이터센터 현장에서 가스 터빈 및 발전기를 직접 설치하는 방식입니다. 이 용량은 공공사업 계량기 뒤에 위치해 공용 전력망에 의존하지 않으므로, 운영자는 전력망 연계나 공공사업 업그레이드를 기다리지 않고도 시설에 전력을 공급할 수 있습니다. 바로 이것이 xAI의 Colossus 2가 표후 전력을 심각하게 의존하는 이유이며, 실제 전력망 연결은 훨씬 뒤처져 있기 때문입니다. 상세 내용은 당사 에너지 모델을 참고하세요.
저희가 X 게시글에서 썼듯, tok/s/MW는 줄(Joule)당 토큰 수로 단순화할 수 있습니다. 와트(Watt)가 곧 초당 줄(Joule)이기 때문입니다. 따라서 tok/s/MW는 시스템 효율성과 에너지를 토큰으로 변환하는 능력을 나타냅니다.

이 측면에서 Jalapeño는 Rubin과 비교해도 승리합니다. OpenAI의 Jalapeño가 밀리와트당 STP 출력 토큰 처리량은 Vera Rubin의 MTP 결과보다 우수합니다. 해당 수치는 엔비디아와 CoreWeave가 지난 7월 발표한 것입니다. 또한 2025년 GB200의 MTP 결과보다 훨씬 뛰어납니다. 저희가 Vera Rubin 기사에서 언급했듯, VR과 2025년 GB200 결과를 비교한 것은 양자가 유사한 초기 단계에 있기 때문입니다. 동시에 2025년 GB200과 비교함으로써 소프트웨어 성숙도를 일정하게 유지할 수 있습니다. 이러한 논리에 따라 당사는 세 가지 결과, 즉 Vera Rubin의 최신 2026년 7월 수치, GB200의 2025년 수치, 그리고 현재의 Jalapeño 수치를 비교합니다. 이 비교는 합당한데, 이는 공개된 Rubin 데이터 중 최고 수준이기 때문이고, OpenAI는 Rubin 후속으로 자체 칩을 테이프아웃 했기 때문입니다. OpenAI와 Rubin 모두 아직 성장 단계라 성능은 앞으로도 계속 향상될 것입니다.

성능/총 소유 비용(TCO) 측면에서 Vera Rubin과 Jalapeño는 팽팽합니다. 달러당 생성하는 토큰 수는 거의 동일합니다. 그러나 앞서 설명했듯, Jalapeño 수치는 추정 디코딩(Speculative Decoding)을 적용하지 않았습니다. Vera Rubin 수치는 이를 적용한 결과입니다. 추정 디코딩은 토큰당 비용을 약 3~5배 절감할 수 있습니다. Jalapeño가 추정 디코딩을 구현하면 토큰 서비스 제공 시 비용 효율이 더욱 높아질 것입니다. 물론 일부 TCO 우위는 엔비디아의 높은 이익률에서 벗어나 보편통신(Broadcom)의 상대적으로 낮음(그러나 여전히 높음)한 이익률로 전환되는 데서 비롯됩니다. 하지만 그것이 전부는 아닙니다. 예를 들어 Meta와 마이크로소프트의 AI ASIC 프로젝트는 더 오래 투자했지만 성공적으로 정착시키지 못했습니다. 이는 비용이 수식의 일부에 불과함을 보여줍니다. Jalapeño의 완전한 TCO 분해는 SemiAnalysis AI 클라우드 TCO 모델을 참조하세요.

아키텍처 측면에서 OpenAI는 프리필(Prefill)과 디코드(Decode)를 서로 다른 칩 풀로 분리하지 않기로 했습니다. 드래프트 모델과 메인 모델은 동일한 칩과 인터커넥트 구조를 공유합니다. 이러한 설계 철학은 이론적 효율성의 일부犠牲을 치르더라도 실제 운영의 편의성을 획득한 것입니다. 동기는 워크로드 구성이 시간에 따라 변화한다는 점입니다. 예를 들어 입력, 캐시 쓰기, 캐시 읽기와 출력 토큰의 비율은 현저하게 변했는데, 이는 저희가 최근 기사에서 논의한 지식(Knowledge), 추론(Reasoning), 에이전트(Agent)라는 세 가지 모델 시대를 거치며 발생한 변화입니다. 따라서 이종 프리필 실리콘과 디코드 실리콘에 고정 수를 미리 배정하면 시간이 지날수록 효율성이 떨어질 수밖에 없습니다. OpenAI는 해당 아키텍처에서 동형 풀을 선택하여 모든 작업에서 칩이 훌륭히 작동하도록 노력했습니다.
실제로 그렇게 되었습니다. Kimi K2.5(Cursor Composer 2.5의 기반 모델)에서 Jalapeño은 사용자당 초당 700 토큰에 가까운 속도를 달성했습니다. 이 속도는 2위로 좋은 칩인 100 tok/s/user의 9배 이상입니다.

GPT-OSS에서도 또 다른 압승을 거뒀습니다. Jalapeño의 동등한 상호작용 처리량 밀리와트당 산출량은 GB200의 최고 처리량 지점의 거의 두 배이며, GB200 동시성 1 지점의 50배 이상이었습니다. 더 높은 동시성을 갖춘 Jalapeño 포인트는 EP8을 사용했습니다.

이 결과들은 인상적입니다! 그러나 우리는 조금 까다롭게 볼 필요가 있습니다. 이들 수치는 단지 8k1k 기준이며, 튜닝 난이도가 훨씬 낮고 여전히 AgentX 실행 데이터가 없습니다. 저희가 AgentX 기사에서 지적했듯, 멀티 턴과 긴 컨텍스트 워크로드는 인퍼런스 스택의 더 많은 부분에 부담을 줍니다. 예를 들어 라우터와 프리픽스 캐싱이 그러합니다. 에이전트 워크로드에서 탁월한 성능을 내려면 추가 최적화가 필요합니다. 상세 내용은 AgentX 기사를 참조하세요.
AgentX - InferenceXv3: CUDA 해자는 에이전트 추론에서도 지켜낼 수 있을까?
규격 및 아키텍처 심층 분석
모든 결과 프로젝트 시작 후 불과 9개월 된 Jalapeño의 A0 스테핑에서 도출되었습니다. 그러나 B0 스테핑은 현재 파운드에서 진행 중입니다! B0의 최적화는 초기 A0 웨이퍼 대비 와트당 성능을 약 25% 향상시킵니다. 구체적으로 B0 스테핑은 단일 마스크 크기 계산 칩에서 13.4 PFLOPs의 MXFP4를 달성합니다. 해당 칩은 TSMC N3P 공정으로 제조됩니다. 비교하자면, 단일 Rubin 계산 칩은 유사한 크기와 동일 노드에서 17.5 PFLOPs의dense Rubin NVFP4를 달성합니다.
Jalapeño의 TDP가 고작 700W에 불과한 반면 Rubin은 계산 칩당 900~1150W를 요구한다는 점을 고려하면, 이 성과는 더욱 존경할 만합니다. Jalapeño가 훈련이 아닌 추론을 목표로 하기 때문에 OpenAI는 FLOPs 극대화를 위해 TDP를 높일 필요가 없습니다. 이는 납득이 갑니다. 하지만 어쨌든 상기 결과는 Jalapeño가 준수한 피크 이론상 FLOPs를 제공했음을 보여줍니다.
다른 액셀러레이터와 직접 비교할 때 Jalapeño는 와트당 최상의 HBM 대역폭과 와트당 최상의 FLOPs를 보유하고 있습니다. 이 수준은 1800W의 Rubin Max-Q 구성과 맞먹습니다.

Jalapeño은 HBM4를 탑재할 예정이며, Nvidia와 AMD에 이어 해당 기술을 비교적 일찍 채택한 칩 중 하나로, 기존 TPU 및 Trainium 프로젝트보다 앞선 수치입니다. Jalapeño의 핵심 아키텍처 원칙 중 하나는 HBM 대역폭을 최대한 끌어내는 것이므로, 티어不是頂級 HBM을 쓰는 것은 이 목표에 위배됩니다. 이로 인해 패키징당 메모리 대역폭이 15.4TB/s에 달하며, 이는 HBM3E를 사용하는 모든 기타 판매 중인 액셀러레이터를 능가합니다. 15.4TB/s 대역폭은 HBM4 핀 속도가 10Gbps에 도달했음을 시사하는데, 이는 Nvidia가 Rubin에 탑재한 HBM4의 9.6Gbps보다 약간 높은 수준입니다. HBM은 아마 삼성에서 공급할 가능성이 큽니다.

OpenAI는 2025년 11월 Jalapeño 테이프아웃을 완료했습니다. 더 정확히는 상위 레이어 다이뿐만 아니라 CoWoS 설계 테이프아웃이었습니다. 2025년 11월 테이프아웃 이후 9개월, 그리고 실제 실리콘에서 디버깅을 시작한 지 단 3개월 만에 OpenAI는 Jalapeño로 매우 우수한 성과를 거뒀습니다. 팀이 소프트웨어 스택을 처음부터 구축했다는 점을 고려하면 더욱 인상적입니다.
동시에 Rubin의 CoWoS 테이프아웃은 2025년 10월에 완료되어 한 달 앞서지만, 현재 저희가 확인한 유일한 초기 결과는 CoreWeave의 엔지니어링 샘플에서 비롯되었습니다. Nvidia는 OpenAI처럼 저희가 테스트하고 벤치마크를 공개하는 것을 허용하지 않았으며, 이는 칩 소프트웨어가 아직 성숙하지 않았음을 시사합니다. OpenAI가 자체 칩上で 새로운 모델을 이처럼 빠르게 성공적으로 안착시켰다는 점을 감안할 때, CUDA 해자는 이미 사라졌을 가능성도 있습니다.
여전히 최적화되지는 않았으나, 전반적으로 Jalapeño가 더 나은 데이터를 제공하고 있음을 확인할 수 있습니다. 저희는 Nvidia 하드웨어가 더 낫다고 보지 않습니다. 오히려 Jalapeño의 소프트웨어 디버깅 진도가 Nvidia보다 빠릅니다. 이는 하드웨어/소프트웨어 공동 설계의 힘을 보여주며, 최정선 연구실의 ASIC 팀이 더 성숙한 상용 칩 벤더를 초월할 수 있는 주요 영역이기도 합니다. 직관과는 다르게, 제로베이스 접근이 오히려 OpenAI에게 유리하게 작용했을 수 있는데, 이는 후방 호환성이나 레거시 소프트웨어 버전의 제약 없이 완전히 새로운 아키텍처 결정을 내릴 수 있었기 때문입니다.
OpenAI는 이미 Jalapeño 엔지니어링 샘플을 확보했지만, 양산 계획은 현재 2027년에 점진적으로 증가시킬 예정이며, 대부분 생산량은 내년 말에 배치될 예정입니다. 유닛 수량과 평균 판매 가격(APQ) 등에 대한 자세한 내용은 SemiAnalysis 액셀러레이터 모델을 참조하세요.
OpenAI Jalapeño는 말 그대로 진정한 대규모 ASIC입니다.
Rubin의 타임라인과 비교하면 Jalapeño의 속도는 놀라울 정도로 빠릅니다. 앞서 언급했듯, Rubin이 먼저 출발했음에도 Jalapeño의 결과는 Rubin을 압도합니다.

Jalapeño 아키텍처
아키텍처를 깊게 들여다보면, 해당 칩의 매트릭스 엔진은 MXFP 데이터 타입과 가중치 체류(weight-stationary) 펄세이션 어레이를 사용하며 TPU와 유사합니다. 하지만 TPU와 직접 비교 시 더 작은 형태(shape)/차원을 지원하므로, 더 큰 펄세이션 어레이에서 형태 불일치 행렬 곱셈 시 발생하는 이례적인 성능 급락을 피할 수 있습니다.
또한 64비트 스칼라 코어와 FP32/INT32 벡터 코어를 탑재했습니다. OpenAI는 트레이 레벨에서 중복 설계를 도입했으며, 코어 및 채널 레벨에서 수율 회수(Yield Recovery) 기능을 내장했습니다. 그들은 칩 설계에서 AI 지원이 SIMD 면적을 8%, 매트릭스 엔진 면적을 10% 줄였다고 주장합니다. 명확한 공정/전압/온도(PVT) 조건을 밝히지 않았지만, AI 지원 모듈이 초기 모듈 대비 타이밍과 전력 소모를 개선했다고 전했습니다.
Jalapeño 아키텍처 설계는 KVCache와 가중치의 메모리 이동, 고정 지연 시간 및 오버헤드를 제거하는 데 집중하여, 다른 액셀러레이터에 비해 최소 배치(mini-batch)나 작은 형태일 때도 원시 피크 연산량(FLOPS) 및 대역폭에 한층 근접하도록 했습니다.
코어와 HBM은 여러 슬라이스로 구분되며, 각 코어 슬라이스는 자체 HBM 슬라이스에 대해 저지연 로컬 뷰를 가집니다. 슬라이스 간 동기화는 고용량 전용 컬렉션 네트워크(Collection Network)를 통해 이루어집니다. 이러한 미니멀 메모리 계층 구조는 Jalapeño가 GPU 대비巨大 잠재적 우위를 차지하게 했는데, GPU의 메모리 액세스는 복잡한 메모리 시스템을 통과해야 하며 큰 형태(Shape)에서 분산되거나 숨겨야 하는 상당한 지연 시간을 초래하기 때문입니다.
이러한 선택은 가능했는데, 이는 가중치와 KV를 신중하게 배치함으로써 코어 간 동기화를 제한적이고 알려진 고용량 통신(예: 연산과 겹칠 수 있는 Tensor Parallelism 통신)으로 축소할 수 있기 때문입니다.

또한 일반적인 통신과 확장 네트워크 액세스를 위한 추가 범용 NoC(Network on Chip)도 존재합니다. 전반적으로 OpenAI는 경량화된 NoC와 메모리 서브시스템을 통해 Nvidia 및 Google 대비 막대한 전력 절감 효과를 거두었으며, 뚜렷한 성능 향상을 이루었습니다.

코어 수준에서 OpenAI는 L1 캐시가 탑재된 오더블 리(OoO, Out-of-Order) 코어를 설명했습니다. 이는 저희가 다른 액셀러레이터에서 목격한 패턴과 사뭇 다르며, 타 액셀러레이터는 대체로 비동기 DMA 지원을 갖춘 소프트웨어 관리 레지스터를 사용합니다. 여기서의 논지는 Jalapeño가 barrier 지연(barrier latency) 등의 고정 오버헤드를 피할 수 있다는 점이며, 다른 액셀러레이터(GPU 등)에서는 이를 숨기거나 분산시키기 위해 코어당 작업을 늘려야 하므로 원시 피크 대역폭/연산량에 도달하기更难해집니다.
대가로 Jalapeño는 적절한 메모리 요청이 제때 도착하도록 좋은 프리페치(Fetch)에 의존하게 되는데, 이는 예측과 추론이 더 어렵습니다. 하지만 Codex를 활용해 체계적인 프레임워크 내에서 상세 트레이싱 정보를 확보함으로써, 주어진 형태에 대해 최적의 프리페치를 갖춘 커널을 찾는 과정은 사실상 인간 개입이 거의 필요 없을 것입니다. 저희는 이것이 OpenAI가 DeepSeek R1, Kimi K2.5 및 GPT-OSS를 이처럼 신속하게 성공적으로 안착시킬 수 있었던 이유라고 봅니다.
코어는 “더 작은” 매트릭스 차원도 지원하며, 이는(얼마나 작은지에 따라) 다양한 모델 및 배치 차원에서 더 넓은 범용성을 갖추도록 하고, 매트릭스 차원 정렬, 패딩 오버헤드 및 블록킹 비효율성에 덜 민감하게 만들어줄 것입니다. 예를 들어 TPU, Trainium 및 Etched 칩은 매우庞大的 펄세이션 어레이를 갖추고 있어, 블록킹 비효율성을 피하려면 대규모 배치나 정확히 나누어 떨어지는 모델 차원이 필요할 수 있습니다.
Jalapeño를 통해 OpenAI는 시스템의 고정 지연을 제거하는 데 집중하여, 파레토 곡선(Pareto Frontier)의 모든 영역에서 로프라인(Roofline) 성능에 최대한 근접하도록 했습니다. 이론적으로 이는 여러 동작 지점에서 GPU 대비 다음과 같은 우위를 가져올 수 있습니다:
저지연/소규모 배치 추론의 한계 성능이 GPU를 크게 상회합니다. GPU는 부팅 지연, barrier 지연, 메모리 시스템 지연 등 고정 오버헤드에 제약받기 때문입니다.
대규모 배치나 긴 컨텍스트에서도 하드웨어 로프라인에 가까워질 잠재력을 지녔습니다.
다만 한 가지 경고가 따릅니다. 이론적으로 한계 성능이 존재한다 해도, 실제 커널은 해당 성능을 달성하기 더 어려울 수 있습니다. 따라서 그들의 접근 방식은 다음과 같습니다:
모든 워크로드 형태에 대해 최대 한계 성능을 설계함
Codex가 무거운 작업을 맡아 해당 한계를 실현하는 커널을 찾아내게 함
OpenAI 팀은 Jalapeño上で InferenceX 워크로드를 구동하며 회전 속도가 매우 빠릅니다.
이에 따라 당사는该方法에 대해 낙관적입니다.
Jalapeño가 성공한다면 강한 신호를 보내게 될 것입니다.
산업계가编程语言 모델과 완벽한 범용 컴파일러에 가진 집착은 최정선 AI 모델에 의해 깨지게 될 것입니다.
OpenAI는 Jalapeño 커널을 어셈블리어 작성하듯 프로그래밍합니다.
각 커널은 수동 튜닝 코드를 포함하며, 일부는 약 3,000 줄에 달합니다.
정확성 검증(checks)과 커스텀 sanitized 지원도 마련되어 있습니다.
초기 커널 작업은 자동화보다는 인간이 관여하는 Human-in-the-loop 방식이었으며,
이후 더 규모화된 내부용 Codex로 전환했습니다.
OpenAI는 해당 버전을 기업 고객 대상으로 마케팅할 예정입니다.
내부 서비스 엔진 명칭은 ‘Teacup’입니다.
흥미롭게도, OpenAI는 기존 자체 MLA 커널 구현체를 보유하지 않았습니다.
InferenceX를 통해 DeepSeek 벤치마크를 진행하기 전까지 그랬습니다.
Codex는 커널 엔지니어링 팀의 개입 없이도 이처럼 신속하게 유용하고 효율적인 커널을 작성해냈습니다.
이는 소프트웨어 파이프라인 개발 역량을 보여줍니다.
OpenAI는 Gluon을 사용하여 Jalapeño를 프로그래밍합니다.
Gluon은 OpenAI의 커널 프로그래밍 언어입니다.
Gluon은 Triton 위에 구축되었으며 Triton의 SPMD(Single Program Multiple Data) 프로그래밍 모델을 유지합니다.
하지만 underlying programming abstraction을 노출시킵니다.
예를 들어 NVIDIA GPU 대상 경우 PTX 명령어에 매핑되는 API를 제공합니다.
MMA 명령어, TMA 명령어, mbarrier 메커니즘 등이 포함됩니다.
Gluon이 제공하는 가장 독특한 추상은 레이아웃(Layout)입니다.
일반적으로 레이아웃은 하드웨어 자원과 텐서 요소 간의 매핑을 정의합니다.
예를 들어 warp 9의 5번째 레지스터는 6행 7열의 텐서 요소에 대응됩니다.
Gluon의 레이아웃 추상은 Linear Layouts에 기반합니다.
이는 OpenAI가 발명한 레이아웃 대수(Layout Algebra)입니다.
Linear Layouts는 수학적으로 레이아웃이 무엇인지 형식화합니다.
및 레이아웃 조작을 위한 도구를 제공합니다.
이는 증명 가능한 올바른 레이아웃 변환과 같은 다기능을 지원합니다.
그리고 최적의 메모리 Swizzling도 가능합니다.
Jalapeño의 프로그래밍 모델에서 각 Gluon 프로그램은 지속스레드(Persistent Thread)에 매핑됩니다.
저희는 이것이 Jalapeño가 지속 커널 프로그래밍 모드에 적합함을 시사한다고 봅니다.
각 프로그램은 여러 타일(tile)에서 실행되며, 작업 할당은 하드웨어 스케줄러가 아닌 프로그래머가 담당합니다.
OpenAI는 TensorInfo를 언급했습니다.
이는 명시적으로 레이아웃을 인코딩하는 추상화입니다.
이는 아마도 Jalapeño용으로 설계된 레이아웃 집합일 것입니다.
이것은 Linear Layouts에 의해 구동될 것입니다.
마지막으로, 각 코어는 데이터 프리페치 및 Decoupled OoO(Out-of-Order) 유닛을 제공합니다.
예를 들어, 사용자는 프리페치 데이터 대기 여부를 프로그래밍할 수 있습니다.
그 데이터는 세마포어 락(semaphore lock)으로 보호됩니다.
역설적이게도, GPT 5.6 Sol과 같은 OpenAI 모델들은 현재 NVIDIA GPU 위에서 구동되고 있습니다.
이들은 칩 설계에 활용되며 CUDA 해자에게 진정한 위협이 되고 있습니다.
NVIDIA의 자체 GPU는 실시간으로 잠재적 후계자를 뒷받침하고 있습니다.
시간을 아우르는 비교를 통해 우리는 Jalapeño의 개발 속도를 확인할 수 있습니다.
보름도 채 되지 않아, 일부 상호작용 시나리오의 처리량이 2배 이상 향상되었습니다.
저희가 Jalapeño 팀으로부터 인수받은 모든 tarball 하나마다 놀라운 세계가 담겨 있었습니다.

커널 성능 향상뿐만 아니라, 8일 만에 Jalapeño 팀은 TP32를 활성화했습니다.
이전의 TP8 구성을 기반으로 단일 시스템을 넘어선 확장을 이루었고, 전체 랙(Rack) 수준의 구성으로 대형 모델을 구동하는 데 성공했습니다.
정말 인상적인 개발 속도입니다.

실제 하드웨어 배포 전 성능을 검증하기 위해 OpenAI는 ‘chilisim’이라는 시뮬레이터를 보유하고 있습니다.
해당 시뮬레이션은 고정 폭 Trace Bus를 사용하며, 실제 테스트 하드웨어 대비 오차가 5% 이내입니다.
A0의 추적 능력은 제한적이었지만, B0에서는 크게 개선되었습니다.
이는 아마도 A0 실리콘의 실제 운영 데이터 덕분일 것입니다.
엔지니어들이 Codex CLI를 통해 내부 모델을 구동하는 시연을 선보였습니다.
이 모델의 별명은 ‘Raiku’ 또는 ‘5.3 Codex Spark’이며, TPOT는 1.2ms입니다.
팀들은 Codex가 작성한 데모를 칩 위에서 직접 실행하는 모습도 공유했습니다.
초당 36프레임(Doom) 게임 실행 및 FP32 유체 역학 시뮬레이션 등이 포함됩니다.
‘Liquid Light’ 마우스 드래그 시각화 효과도 제시되었습니다.

모델 측면에서 OpenAI의 자체 Megakernel 방안은 별명으로 ‘gigakernel’이라 불립니다.
이것은 단일 megakernel을 중심으로 구축되어 기기上で循環 구동되며, CPU 오버헤드와 시작 시간을 줄입니다.
팀들은 추론 시 계산 전략(Test-time compute strategy)을 지속적으로 고도화하고 있습니다.
특히 내부에서는 100만 번의 롤아웃(Rollout)을 어떻게 조율하여 사용할지에 집중하고 있습니다.
Disagg(분리형) 아키텍처 채택 여부, 그것이 문제다
이전에 저희는 OpenAI가 이러한 칩들에서 PreFill-Decode 분리를 적용하지 않았다고 언급했습니다.
이는 놀라운 소식인데, NVIDIA와 AMD GPU 성능이 PDD(Prefill-Decode Decoupling)로부터 현저한 혜택을 보기 때문입니다.
동종(Homogeneous) 하드웨어 상에서도요.
그렇다면 왜 Jalapeño 팀이 이런 방식을 택했는지 깊이 살펴보겠습니다.
워크로드가 고정되어 있다면 Prefill-Decode 분리는 상당히 매력적으로 보입니다.
Prefill과 Decode는 하드웨어에 가하는 부하가 서로 다릅니다.
각 단계를 별도로 튜닝된 풀(Pool)에 할당하면 선택된 입력/출력 비율에서 효율성을 높일 수 있습니다.
하지만 프로덕션 트래픽은 해당 비율을 유지하지 않습니다.
입력/출력 시퀀스 길이, 동시성, 캐시 히트율, Speculative Acceptance Rate, 지연 시간 목표 등은 하루 종일 변동합니다.
일단 장비가 PreFill과 Decode 풀로 분리되면, PreFill 수요가 지나치게 많을 경우 Decode 칩은 유휴 상태가 되고 요청은 대기열에 쌓입니다.
반대로 Decode 수요가 지나치게 많으면 상황이 반대로 작용합니다.
운영자는 정확한 분할을 지속적으로 예측해야 하며, 양측에 예비 용량을 여유분으로 남겨야 합니다.
이상적인 비율이 끊임없이 변하는 시스템의 균형을 다시 맞춰야 합니다.
통합 시스템에서는 특정 단계에서 일부 자원이 충분히 활용되지 않을 수 있습니다.
하지만 모든 장비는 다음 요청을 서비스하는 데 여전히 사용될 수 있습니다.
분리형 시스템에서는 전체 칩이 단지 잘못된 풀에 소속되었다는 이유로 유휴 상태가 될 수 있습니다.
로컬 이용률은 나아 보일 수 있지만, 글로벌 이용률은 매우 낮을 수 있습니다.

분리는 국소성(Locality)을 훼손하기도 합니다.
Prefill worker가 생성한 대규모 KV Cache는 Decode worker가 즉시 필요로 합니다.
생성 과정을 계속하려면 시스템이 해당 상태를 네트워크를 통해 전송해야 합니다.
이는 대역폭 소비, 동기화, 대기열 증가 및 또 하나의 장애 영역(Fault Domain)을 유발합니다.
KV Cache가 확장됨에 따라 비용 또한 입력 시퀀스 길이에 따라 상승합니다.
다만, KV 이동 방지 주력은 전력 소모 및 지연 시간 최적화에 목적이 있습니다.
일부 KV 이동을 감수하면 하드웨어 이용률을 높일 수 있으나, 그 대가로 전력 소모와 단일 요청 지연 시간이 늘어납니다.

교체 가능한(Cluster interchangeable)集群은 지연 시간 민감 요청과 처리량 지향 배치 사이에서 용량을 유연하게 이전할 수 있습니다.
고정 분할은 트래픽 조합이 변화할 때 하드웨어를 유휴 상태로 만들 뿐입니다.
또한 컨텍스트 길이는 Attention과 FFN(Feed-Forward Network) 작업 간의 균형을 변화시킵니다.
고정된 하드웨어 비율은 오직 설계 지점 주변에서만 효율적입니다.

동일한 제약은 Speculative Decoding(추정 디코딩)에도 적용됩니다. 드래프트 모델은 검증기에게候选 토큰을 극저지연으로 제공해야 합니다. 이를 서로 다른 전용 풀로 분리하면 긴밀히 결합된 디코드 루프가 분산 프로토콜로 변질됩니다. 추가적인 통신과 조정 오버헤드가 드래프트 모델이 절약한 지연 시간을 모두 소모할 수 있습니다. 두 모델을 동일 장치 및 저지연 구조에 배치해야, Speculative Decoding을 활용할 만한 국소성을 유지할 수 있습니다.

하지만 수요가 충분히 크고 안정적이며 예측 가능한 환경에서는 Decoupling(해체/분리)이 여전히 우위를 점할 수 있습니다. 특히 전통적인 GPU가 양질의 처리량을 내기 위해 대규모 및 단계별 배치(batching)가 필요할 때 더 그렇습니다. 다만 이는 공짜 점심(Free lunch)이 아닙니다.
일본식에서 인도식으로(약간 맵게에서 매우 맵게): 카츠(Katsu), 빈달루(Vindaloo),恰那(Chana)——이 요리 이름으로 랙 시스템은 어떻게 구성될까?
Jalapeño 시스템은 랙 단위에서 CPU 호스트 랙과 ASIC 랙으로 구성됩니다. 호스트 랙에는 ‘카츠(Katsu)’라는 이름의 호스트 CPU 트레이 16개가 수용됩니다. 각 카츠 트레이는 오른쪽의 16개 ASIC 트레이 중 하나인 ‘빈달루(Vindaloo)’와 1:1로 매칭됩니다. 각 호스트는 터링급 AMD EPYC CPU 2개를 탑재하며, 랙당 1.5TB DRAM, 2x E1.S, 2x M.2 SSD가 제공됩니다. 각 트레이에는 400G(2x200G) 프론트엔드 네트워크도 갖춰집니다. 각 카츠 트레이는 8개의 외부 PCIe DAC 케이블을 통해 각 빈달루 트레이와 연결되며, 이 케이블들은 랙 전면에서 수평 배선됩니다. 시스템급 설계는 셀렉스타(Celestica)와의 협업을 통해 완성되었습니다.
ASIC 랙은 16개의 빈달루 트레이와 8개의 확장 스위치 트레이(로컬 6개 + 글로벌 2개), 즉 ‘恰那(Chana)’로 구성됩니다. 각 빈달루 트레이는 8개의 Jalapeño ASIC을 포함하며, 랙당 총 128개의 Jalapeño ASIC을 형성합니다. ASIC은 구리 케이블 백플레인을 통해 각각의恰나 스위치 트레이에 연결되는데, 이는 엔비디아의 Oberon과 유사합니다. 확장 토폴로지는 로컬 도메인과 글로벌 도메인으로 나뉩니다. 로컬 도메인은 랙 내 128개 ASIC을 커버합니다. 글로벌 도메인은 최대 16개 랙 또는 2,048개 ASIC을 연결합니다. 아래에서 대역폭과 토폴로지를 더 자세히 설명하겠습니다.
측면 장착 호스트 랙의 전력 공급량은 약 50kW(양산 시 31kW)이며, ASIC 랙은 130kW를 소비합니다. 전체 듀얼 랙 시스템은 약 160kW에 달합니다. 전력 측면에서 보면 이는 기본적으로 듀얼 폭 GB300 랙 하나와 맞먹습니다.

OpenAI는 단일 확장 네트워크 내에서 최대 2,048개의 Jalapeño XPU를 연결할 수 있습니다. 확장 네트워크는 두 개의 도메인으로 구성됩니다. 로컬 도메인은 백플레인을 통해 랙 내 모든 128개 XPU를 연결합니다. 글로벌 도메인은 구리 케이블과 광 상호연결을 혼합하여 16개 랙의 2,048개 XPU를 연결합니다. 각 랙은 8개의恰나 스위치 트레이를 포함합니다. 중앙의 6개恰나 스위치는 로컬 도메인에 사용되며, 각기 102.4T Tomahawk 6 교환 ASIC을 탑재합니다. 상하단의 2개恰나 스위치는 글로벌 도메인에 사용됩니다. 저희 판단으로는 각 스위치 트레이당 최대 204.8T 출력을 내는 2x 102.4T Tomahawk 6 스위치가 탑재되었을 것입니다.
로컬 도메인에서 128개의 Jalapeño 칩 각 XPU의 단방향 대역폭은 4.8Tb/s입니다. 이들은 6개의 102.4Tb/s Tomahawk 6 ASIC과 풀 메시 방식으로 연결됩니다. 이는 각 XPU에 48쌍의 차동 쌍(DP) 암수 커넥터가 해당된다는 뜻입니다. 로컬 확장을 위해 랙당 총 6,144쌍의 DP 수동 구리 케이블이 사용됩니다.
글로벌 도메인에서 16개 랙 총 2,048개 XPU는 구리 백플레인, 전기적 204.8T TH6 스위치, 1.6T 광모듈 및 광회로스위치(OCS)의 조합으로 연결됩니다. 각 XPU의 글로벌 링크 단방향 대역폭은 1.6Tb/s입니다. 즉, 각 XPU에는 XPU와 글로벌 스위치 간 백플레인을 위한 16쌍의 DP 암수 커넥터가 제공됩니다. 각 글로벌 스위치 트레이는 2개의 ASIC을 보유하며, 그出口 대역폭은 백플레인과 프론트 패널 광학 장치 간에 분배됩니다.
로컬 도메인과 글로벌 도메인 사이에서, 각 랙의 백플레인 커넥터 수량은 각 XPU당 64쌍의 DP입니다. 랙당 총 8,192쌍의 DP 수동 구리 케이블이 존재합니다.
글로벌 도메인은 순수 레일(Rail) 아키텍처를 채택했으며, 글로벌 도메인 내 8개의 레일로 구성됩니다. 저희 추측에 따르면 OpenAI는 각 랙에 설치된 광회로스위치(OCS)를 통해 글로벌 도메인의 광 링크를 라우팅합니다. 각 XPU의 1.6Tb/s 글로벌 대역폭은 구리 백플레인을 거쳐 글로벌 스위치 트레이에 도달합니다. 이후 프론트 패널의 1.6T 광모듈을 통해 스위치를 이탈합니다. 무광 스위치를 먼저 거친 후 랙을 떠나는 구조입니다. 이를 통해 확장 도메인 규모는 16개 랙, 각각 128개 XPU로 구성된 총 2,048개 XPU에 도달합니다.

확장 네트워크가 총 시스템 비용의 약 10%에 불과하므로, 이러한 유연성은 향후 10조에서 20조의 파라미터를 가진 모델이나 200만에서 400만 토큰의 컨텍스트 윈도우를 위해 귀중한 확장 옵션을 마련해 줍니다. 배포 측면에서 OpenAI는 neocloud와 협력하고 있습니다. 또한 오는 1월까지 데이터센터 파트너사와 함께 신뢰성 데이터를 수집하며, 항구에서 랙까지의 배포 시간을 최적화하고 있습니다.
향후 전망
이어서 저희는 Jalapeño의 미래를 논의할 예정입니다.首个生产 토큰이 임박했습니다. 다음 목표는 100MW이며, 주요 장벽은 하드웨어 측면에 있습니다. 그들이 얼마나 생산할 수 있는지, 데이터센터를 얼마나 잘 구축 및 운영할 수 있는지, 모니터링과 탄력성 등을 어떻게 처리할 것인가 등입니다. 소프트웨어는 이미 검증되었으며, 내부 모델을 확보한 만큼 어떤 소프트웨어 선탑재 우위라도 쉽게 따라잡힐 수 있습니다. 유료 벽 뒤에서는 향후数年 동안 OpenAI와 계약을 체결한 NVIDIA, AMD, Cerebras 등 칩 회사들에 미치는 영향을 다룰 예정입니다.
저희는 또한 액셀러레이터 모델에서 차세대 칩의 생산량, 수량 및 타임라인을 포함하여 분석했습니다.
이후 부분은 유료 콘텐츠로, 권한 문제로 인해 추가 번역이 이루어지지 않았습니다. 하지만 전술한 내용을 통해 OpenAI가 엔비디아 칩에 제기하는 도전이 충분히 드러나 있습니다. 칩 섹터 및 엔비디아 주가에 관심 있는 투자자라면, 이러한 정보가 신선하고 실질적인 참고 자료로 작용할 것입니다.














