Jalapeño는 OpenAI와 Broadcom이 현대 대규모 언어 모델(LLM) 및 미래 에이전트 AI 워크로드를 위해 특별히 설계한 맞춤형 추론 프로세서다. 이 프로세서는 현재 최첨단 하드웨어보다 높은 와트당 성능을 제공한다고 OpenAI는 밝혔다. OpenAI는 이 하드웨어 프로젝트를 전략적으로 간주하며, Jalapeño를 자사 추론 하드웨어의 첫 세대로 구상하고 있다.

OpenAI는 Jalapeño가 재활용된 훈련 가속기나 범용 AI 프로세서가 아닌, 목적에 맞게 구축된 추론 ASIC임을 강조했다. Jalapeño의 아키텍처는 LLM 동작에 대한 이해를 바탕으로 설계되었으며, 대규모 추론에 중요한 실질적인 병목 현상, 즉 값비싼 데이터 이동, 컴퓨팅 및 메모리 리소스 간 균형, 네트워킹 효율성, 전반적인 동작 등을 해결하는 데 중점을 뒀다. 이 프로세서 설계는 높은 처리량과 낮은 지연 시간을 결합하도록 의도되었으며, 이를 위해 대규모 컴퓨팅 칩렛과 HBM 메모리를 사용한다.

OpenAI와 Broadcom은 Jalapeño 프로세서가 기존 AI 가속기보다 높은 유효 활용률을 제공하며, 이론적 최대치에 가까운 성능을 구현하도록 설계되었다고 주장했다. 이는 비용 및 전력 측면에서 높은 효율성을 의미한다. 그러나 양사는 Jalapeño ASIC의 성능 목표를 공개하지 않아, 이러한 주장은 신중하게 받아들여야 한다. Broadcom과 OpenAI는 Jalapeño의 구체적인 사양을 공개하지 않았지만, 웨이퍼와 패키징을 선보였다. 패키지에는 하나의 대형 컴퓨팅 칩렛이 6개의 HBM 모듈로 둘러싸여 있으며, 입출력 인터페이스를 담당하는 것으로 보이는 또 다른 칩렛이 2개의 구조적 더미 다이로 둘러싸인 형태를 갖췄다.