엔비디아가 추론 전용 가속기 Groq 3 LPX를 전면 양산에 들어갔다고 현지 시각 8월 24일 발표했다. 미국 팔로알토에서 열린 반도체 학회 핫칩스(Hot Chips)에서 공개했다. 추론은 학습을 마친 모델이 실제 요청을 받아 답을 만들어 내는 과정이다.

AI 에이전트는 답을 한 번에 쓰지 않는다. 토큰을 하나씩 만들어 이어 붙이는데, 토큰은 모델이 글을 다루는 최소 단위다. 도구를 부르고 다른 시스템과 주고받는 작업이 길게 이어지면 토큰 하나마다 생기는 짧은 지연이 계속 쌓인다. 이렇게 토큰을 만들어 내는 과정을 디코드라고 부른다.

Groq 3 LPX는 이 디코드를 전담한다. 루빈 GPU가 긴 맥락을 읽어 들이는 일을 담당하고, 지연에 민감한 토큰 생성은 LPX가 처리한다. 속도와 처리량 가운데 하나를 포기하지 않아도 되도록 두 칩을 함께 설계했다는 것이 엔비디아의 설명이다.

아티피셜 애널리시스가 오픈소스 에이전트 모델 젬마 4 31B로 측정한 결과, 10만 토큰짜리 긴 문맥을 다룰 때 초당 3,400개의 토큰을 만들어 냈다. 엔비디아는 가장 가까운 경쟁 플랫폼보다 4배 빠른 수치라고 밝혔다.

랙 하나에는 LP30 가속기 256개가 들어가고, 칩과 칩을 직접 연결해 하나의 큰 프로세서처럼 쓴다. Groq 3 LPX는 베라 루빈(Vera Rubin) NVL72 플랫폼을 확장해 이 부분을 담당한다.

제품 이름의 Groq은 추론 칩 회사 그록(Groq)의 상표로, 엔비디아가 라이선스를 받아 쓴다. 일론 머스크의 AI 모델 그록(Grok)과는 철자가 다른 별개 회사다.

첫 도입처는 AI 클라우드 기업 네비어스다. 네비어스는 자사 토큰 팩토리에 베라 루빈 NVL72와 함께 Groq 3 LPX를 추가해 개발자들이 반응이 빠른 에이전트와 코딩 시스템을 만들 수 있게 한다. 코어위브는 같은 자리에서 베라 루빈 랙을 여러 스위치로 연결하는 스펙트럼-X 멀티플레인을 실제 운영에 적용했다고 밝혔다.

엔비디아는 에이전트가 다른 AI 시스템과 주고받고 여러 데이터 소스를 참조하면서 필요한 토큰 양이 빠르게 늘고 있어, 인프라도 여기에 맞춰 바뀌어야 한다고 설명했다.

자세한 내용은 엔비디아에서 확인할 수 있다.

이미지 출처: 엔비디아