NVIDIA, 맞춤형 NVHBM 메모리 솔루션 발표

NVIDIA는 향후 GPU에 사용될 맞춤형 HBM 솔루션인 NVHBM을 발표했다. 이 솔루션은 더 높은 대역폭과 낮은 전력을 제공한다. NVIDIA NVHBM DRAM 솔루션은 NVLink Fusion의 확장으로, 모델 크기가 수조 개의 매개변수 시대로 엄청나게 증가하면서 메모리 대역폭이 중요해지는 시점에 XPU에 더 높은 메모리 성능과 효율성을 제공한다.

NVIDIA는 NVHBM 솔루션이 메모리 컨트롤러를 XPU에서 분리하여 HBM의 베이스 다이에 직접 배치함으로써 표준 HBM 솔루션보다 더 나은 대역폭과 효율성을 제공한다고 밝혔다. Qualcomm의 HBC와 같은 솔루션도 표준 LPDDR DRAM 스택을 사용하여 유사한 방식을 채택하며, 삼성, SK 하이닉스, 마이크론 등 주요 3사도 향후 제품에서 HBM 베이스 다이 내부에 컴퓨팅 및 메모리 컨트롤러를 구현할 계획을 강조했다.

이 기술은 향후 GPU에 통합될 예정이며, 메모리 컨트롤러 자체는 NVIDIA가 맞춤 설계하여 HBM 베이스 다이에 통합된다. 이 솔루션을 통해 메모리 대역폭은 30% 이상 향상되고 전력 소비는 표준 HBM4E 솔루션보다 15% 낮아진다. XPU에서 메모리 컨트롤러를 제거하면 메인 칩의 다이 면적을 최대 25% 절약할 수 있으며, 이는 추가 컴퓨팅 기능에 할당할 수 있다. JEDEC HBM4e 표준과 비교하여 이 설계는 PHY 및 지원 영역을 최대 67% 줄인다. 또한, 더 좁은 인터페이스는 인터포저 라우팅을 단순화하여 전체 레이아웃에서 최대 80% 더 많은 사용 가능한 실리콘을 제공한다.

NVHBM, NVLink Fusion 생태계에 통합

NVIDIA는 여러 메모리 공급업체에서 사용할 수 있는 표준 NVHBM 구현을 구축하고 있다. 이는 여러 공급업체에 걸쳐 메모리 설계를 통합하고 검증하는 데 필요한 엔지니어링 노력을 줄이는 데 도움이 된다. NVLink Fusion 생태계에 속한 기업들은 맞춤형 AI 칩을 더 빠르게 시장에 출시할 수 있다.

Amazon의 Annapurna Labs 부사장인 Nafea Bshara는 “NVHBM은 고대역폭 메모리 성능과 효율성을 발전시키기 위한 새로운 아키텍처 접근 방식을 나타낸다”며, “미래 AWS 인프라 설계에 도움이 될 이 기술 협력을 기대한다”고 말했다. NVHBM을 활용할 첫 파트너 중 하나는 Amazon의 Annapurna Labs로, AI 워크로드 전반에 걸쳐 향상된 성능과 효율성을 위해 NVHBM 기술과 NVLink 스케일업 아키텍처 통합을 위해 협력할 예정이다. Trainium4부터 시작되는 차세대 AWS Trainium 칩은 NVLink Fusion을 사용하여 NVIDIA GPU와 Amazon 칩을 공통 랙 스케일 아키텍처로 연결한다. NVIDIA가 Feynman GPU에 맞춤형 HBM을 언급했으므로, 2028년 출시될 이 세대가 NVHBM을 처음으로 채택할 것으로 예상된다.