엔비디아의 차세대 AI 플랫폼 베라 루빈 NVL72가 MLPerf 인퍼런스 v6.1에 처음 결과를 제출해 기존 GB300 NVL72보다 최대 3.7배 높은 처리량을 기록했다고 9월 16일 밝혔다. MLPerf 인퍼런스는 AI 모델이 실제 요청에 답하는 속도를 업계 공통 기준으로 재는 시험이다.
베라 루빈 NVL72는 이번에 딥시크-R1과 큐원3-VL 두 과제에 프리뷰 결과를 냈다. 큐원3-VL에서는 vLLM과 엔비디아 다이나모를 써서 오프라인과 서버, 인터랙티브 시나리오 전반에서 GB300 NVL72보다 최대 3.7배 높은 처리량을 달성했다. 딥시크-R1에서는 엔비디아의 텐서RT-LLM 라이브러리를 써서 최대 2.5배를 기록했다.
엔비디아는 하드웨어와 소프트웨어를 함께 설계한 결과라고 설명했다. 베라 루빈의 텐서 코어와 트랜스포머 엔진이 프리필과 디코드 두 단계를 모두 가속한다. 프리필은 모델이 입력을 읽어 들이는 단계이고 디코드는 답을 한 글자씩 생성하는 단계다. NVFP4 정밀도는 모델 가중치와 어텐션, 작업 기억의 메모리 사용량을 줄여 품질 손실을 최소화하면서 처리량을 높인다.
GB300 NVL72는 확장 효율에서 성과를 냈다. 랙 하나 72개 GPU에서 4개 랙 288개 GPU로 확장한 오프라인 시나리오 제출에서 99%의 확장 효율을 달성했다. GPU를 추가하면 처리량이 거의 그만큼 증가한다는 뜻이다.
소프트웨어 최적화 효과도 확인됐다. GB300 NVL72의 큐원3-VL 성능은 직전 v6.0보다 최대 1.6배 개선됐다. 작업 기억의 정밀도를 낮추고 연산 단계를 합치는 기법이 적용된 결과다.
에이전트 작업에서는 차이가 더 벌어졌다. 세미애널리시스의 에이전트X 벤치마크 프리뷰 시험에서 베라 루빈 NVL72는 GB300 NVL72보다 30배 높은 성능을 기록했다. 여러 단계로 추론하고 계획하는 AI 에이전트가 늘면서 추론 성능을 재는 방식도 달라지고 있다.
이번 v6.1에는 엔비디아 생태계 파트너 19곳이 참여했고, 그중 8곳이 다중 노드 블랙웰 NVL72 시스템으로 결과를 제출했다. 에이수스와 애저, 시스코, 코어위브, 크루소, 델 테크놀로지스, 후지쓰, 기가 컴퓨팅, HPE, 인벤텍, 람다, 마이택 컴퓨팅, 네비어스, 오라클 클라우드 인프라, 퀀타 클라우드 테크놀로지, 레드햇, 사이틱스, 슈퍼마이크로, 위윈이 참여 명단에 포함된다. 네비어스는 베라 루빈 NVL72 프리뷰 결과도 함께 공개했다.
자세한 내용은 엔비디아에서 확인할 수 있다.
이미지 출처: 엔비디아
AI Matters 뉴스레터 구독하기
