오픈소스 AI 추론 엔진 vLLM이 엔비디아의 차세대 랙 시스템 ‘베라 루빈 NVL72’ 지원 현황을 공개했다. vLLM 팀은 현지 시각 10월 9일 블로그에서 인퍼랙트, 레드햇, 엔비디아와 함께 루빈 환경을 구축했다고 밝혔다. 엔비디아는 하드웨어를 조기 제공했다. 추론 엔진은 학습을 마친 AI 모델을 실제 서비스에서 빠르게 실행하는 소프트웨어다. vLLM은 학습을 마친 LLM을 실제 서비스 환경(서버)에서 빠르고 효율적으로 실행(추론)하기 위해 만든 오픈소스 고성능 추론 및 서빙 엔진(Software)이다. 모델 종류가 아니라, 모델을 돌려주는 소프트웨어 도구에 가깝다.

vLLM은 미니맥스 M3 모델로 에이전트X 벤치마크를 측정한 결과, 같은 응답 속도 기준 GPU당 처리량이 GB200 대비 최대 7.84배였다고 밝혔다. 사용자당 초당 150토큰 조건에서는 5.18배였다. 큐웬3-VL-235B-A22B 모델을 사용한 MLPerf 추론 v6.1 시각·언어 모델 시험에서는 GB300 NVL72 대비 최대 3.7배 처리량을 기록했다.

하드웨어 사양도 차이가 크다. 베라 루빈 NVL72는 GB200 NVL72보다 NVFP4 추론 연산 성능이 약 5배, 메모리 대역폭이 2.4배, 양방향 NV링크 대역폭이 1.7배 높다. 메모리는 HBM3e에서 HBM4로 바뀌었다. NVFP4는 엔비디아의 4비트 부동소수점 데이터 형식이다.

소프트웨어 최적화도 함께 진행됐다. 플래시인퍼 0.7.0은 루빈에 맞춘 어텐션, 행렬 연산, 전문가 혼합(MoE) 커널을 추가했다. 전문가 혼합은 입력에 따라 모델 일부만 작동시키는 구조다. CUDA 13.4의 메모리 위치 정보를 활용한 MoE 커널은 예비 시험에서 평균 약 1.2배 빠른 속도를 냈다.

vLLM은 루빈에서 딥시크, 문샷 AI의 키미, Z.ai의 GLM, 미니맥스 모델을 실행할 수 있다고 밝혔다. CUDA 13.4와 파이토치 2.15 기반 일일 빌드 이미지는 도커 허브에서 받을 수 있다.

자세한 내용은 vLLM에서 확인할 수 있다.

이미지 출처: vLLM