Artificial Analysis는 Google Cloud를 통해 제공되는 비공개 사전 출시 Gemma 4 31B 엔드포인트에서 비교를 실행했다. 동시성 1에서 50개의 순차적 클라이언트 요청 중앙값을 측정했으며, 비교 대상인 공개 제공업체는 공유 프로덕션 서버리스 엔드포인트를 사용했다. 한 번에 하나의 요청을 처리하는 방식은 하드웨어가 게시할 수 있는 사용자당 최고 토큰 속도를 생성하며, 다른 엔드포인트가 실행되는 다중 테넌트 조건과 직접 비교할 수 없다.

각 LP30은 약 500MB의 온다이 SRAM을 탑재했으며 HBM은 없다. 따라서 256개의 칩으로 구성된 전체 LPX 랙은 128GB 메모리를 보유하며, 40 PB/s의 총 대역폭과 315 PFLOPS의 FP8 연산 성능을 제공한다. Vera Rubin 호환 MGX 액체 냉각 랙에서 칩 간 지연 시간은 350ns이며, 1,000개 이상의 LPU로 확장된다.

모델 가중치를 HBM에서 스트리밍하는 대신 SRAM에 상주시켜 단일 토큰 디코드를 지배하는 메모리 접근 지연 시간을 제거했다. 이 설계는 캐시, 분기 예측, 비순차적 실행을 제거하고 컴파일러가 클록 사이클 단위로 스케줄링하는 완전 결정론적 파이프라인을 채택했다. 이 아키텍처는 전 Google TPU 엔지니어인 조나단 로스(Jonathan Ross)가 설립한 Groq가 2020년 ISCA 논문에서 설명한 Tensor Streaming Processor에서 직접 파생되었으며, 이 논문의 제목은 Arsovski와 Raghavan이 Hot Chips에서 재사용한 “Think Fast”였다.

랙 전반에 걸쳐 Nvidia는 칩을 단일 가상 클록에 동기화하며 이를 플레시오싱크로너스(plesiosynchronous) 네트워크라고 부른다. 각 칩은 프로세서이자 라우터 역할을 하므로 패브릭은 적응형 라우팅이나 혼잡 감지가 필요 없으며, 칩 간 클록 드리프트는 칩 간 링크에서 보상된다. Q&A 세션에서 작업 도중 칩이 실패했을 때의 영향에 대해 질문하자 Arsovski는 사용자들이 “업계의 다른 모든 하드웨어와 동일한 경험을 할 것”이며 “체크포인트를 찍거나 하드웨어를 재구성할 것”이라고 말했다.

Nvidia는 LPX 랙을 Vera Rubin NVL72에 연결되는 디코드 보조 프로세서로 제안한다. Rubin GPU는 연산 집약적인 프리필(prefill) 단계를 처리하고 KV 캐시를 구축하며, LPU는 출력 토큰을 생성한다. Nvidia는 작업을 세 가지 방식으로 분할하는 방법을 시연했다. 첫째, 분리된 프리필 및 디코드; 둘째, 어텐션-FFN 분리 방식으로, 어텐션과 캐시는 GPU HBM에 유지하고 LPU는 피드포워드 레이어를 실행한다; 셋째, 외부 드래프트 추측 디코딩 방식으로, LPU의 작은 모델이 토큰을 제안하고 GPU가 이를 병렬로 검증하며, 드래프트 토큰만 링크를 통해 전달된다.

FPGA는 동기식 LPU 도메인과 호스트 I/O 및 GPU 핸드오프의 비동기식 세계를 연결하며, Nvidia의 Dynamo 런타임은 CUDA의 LPU 확장과 함께 분할을 조율한다. Nvidia는 400K 토큰 캐시 컨텍스트를 가진 2조 파라미터 워크로드에서 이러한 모드를 통해 Rubin 단독 대비 약 3~5배의 성능 향상을 달성했다고 밝혔다.

Cerebras는 동일한 Hot Chips 세션에서 CS4 웨이퍼 스케일 시스템을 발표했다. 최고 시스템 아키텍트 Jean-Philippe Fricker는 이 시스템이 GPU보다 최대 30배 빠르고 CS3의 토큰 속도를 두 배로 높이며 10배의 토큰 용량을 제공한다고 말했다. 각 CS4 랙은 세 개의 웨이퍼 스케일 엔진을 Nexus라는 새로운 모듈형 플랫폼에 통합하며, 이 플랫폼은 전원, 연산, I/O를 분리하는 플러그형 연산 “백팩”을 중심으로 구축되었다. Fricker는 메모리 대역폭이 43 PB/s라고 밝혔으며, 이는 “Nvidia의 차세대 Rubin 칩보다 2,000배 높은 메모리 대역폭”이라고 청중에게 말했다. Cerebras는 또한 동일한 문제의 프리필 측면을 위한 파트너를 보유하고 있다. 지난 7월 AMD Helios GPU를 프리필에, 웨이퍼 스케일 엔진을 디코드에 사용하는 계약을 체결했으며, 이는 Nvidia가 Groq와 함께 자체적으로 구축하는 것과 동일한 작업 분할 방식이다.