d-Matrix, 3D DRAM으로 AI 데이터 문제 해결 제안

d-Matrix는 스택형 메모리를 활용하여 HBM보다 훨씬 높은 효율로 SRAM과 유사한 대역폭을 제공하는 3D DRAM을 AI 데이터 문제 해결책으로 제안했다.

AI 모델 크기와 KV 캐시가 계속 확장됨에 따라 용량 및 대역폭 제약이 더욱 두드러지고 있다. 현재 모든 주요 DRAM 제조업체는 로직과 DRAM을 스택하는 차세대 솔루션을 개발 중이지만, d-Matrix는 지금이 3D DRAM의 시대라고 강조했다.

현재 AI 워크로드에 주로 사용되는 메모리 기술은 SRAM과 HBM이다. SRAM은 속도가 빠르지만 용량 확장이 어렵고 누설 전류가 높으며 HBM 솔루션보다 100배 비싸다. HBM은 대규모 모델에 필요한 고용량을 제공하지만, 전력, 공정, 패키징 한계로 인해 대역폭 확장에 어려움이 있다. 현재 HBM4 DRAM 솔루션은 약 20 TB/s의 대역폭을 제공하며, 이는 Corsair의 SRAM 가속기와 같은 SRAM 솔루션이 제공하는 300 TB/s 대역폭과는 큰 차이가 있다. 2.4 pJ/bit에서 100 TB/s HBM 솔루션은 HBM 전력만으로 1.92KW를 필요로 한다. 따라서 기술을 다음 진화 단계인 3D-DRAM으로 전환하는 아이디어가 제시되었다.

d-Matrix는 3D DRAM 구현을 위해 두 가지 방법을 제안했다. 하나는 스택형 DRAM이 로직 위에 위치하는 방식이고, 다른 하나는 DRAM 다이가 로직 다이 아래에 스택되는 방식이다. 첫 번째 방법은 가속된 열이 열에 민감한 DRAM 스택을 통해 방출되어야 하므로 열 문제가 발생하며, 두 번째 방법은 DRAM 스택의 TSV를 통해 수백 와트의 전력이 공급되어야 하므로 전력 공급 문제가 발생한다. 로직 온 탑 방식의 1-Hi 스택은 0.5W/mm2 미만의 전력 밀도에서 필요한 전력 공급과 함께 안정적인 액체 냉각(DRAM 100C 미만)이 가능하다고 알려졌다.

Raptor 3D DRAM, HBM 대비 압도적인 효율성

3D DRAM은 컴퓨트 온 메모리 스택을 통해 SRAM과 유사한 대역폭 및 전력 특성을 제공한다고 주장된다. 용량은 HBM보다 낮지만, SRAM 솔루션보다 공간을 적게 차지하며 용량은 더 많다. 4개 이하의 레이어를 가진 3D DRAM은 더 나은 수율, 훨씬 높은 대역폭을 제공하며, PHY 또는 비치프론트 제한이 없고 HBM 에너지의 1/10 수준으로 작동한다.

Raptor 3D DRAM이라는 이 솔루션은 TSMC의 4nm(N4) 공정을 기반으로 하는 로직 다이와 3D DRAM을 사용하는 하단 다이로 구성되며, 36마이크론 F2F(Face-to-Face) 스태킹을 통해 통합되어 저비용, 고용량, 고수율 공정을 구현한다. 각 3D DRAM 카드는 0.37 pJ/bit(32 GB)에서 100+ TB/s의 대역폭을 제공하는 반면, 192 GB HBM4 DRAM 솔루션은 2-3 pJ/bit에서 18 TB/s의 대역폭을 제공한다. 이는 HBM4보다 5.6배 높은 대역폭, 5-8배 낮은 에너지, 7배 높은 IO 밀도를 의미한다.

그러나 3D DRAM 자체는 다양한 통합 과제를 안고 있다. d-Matrix는 이 중 몇 가지에 집중하고 있다. 에너지 소비를 줄이기 위해 d-Matrix는 대규모 시스톨릭 어레이나 컴퓨트 엔진의 데이터를 사용하지 않고, 텐서 엔진을 DRAM이 공급하는 뱅크에 피치 매칭하는 방식을 채택했다.

이 칩에는 칩렛당 총 256개의 텐서 엔진이 있으며, d-Matrix는 이동되는 데이터 양을 줄이기 위해 뱅크를 텐서 엔진에 피치 매칭한다. 그러나 TE가 예상하는 기본 플릿 크기(128바이트 플릿)와 DRAM이 공급하는 크기(뱅크당 컬럼당 32바이트) 사이에 불일치가 존재한다. 각 채널에는 3개의 뱅크가 있으며, Chi가 128바이트를 예상하는 동안 96바이트만 얻게 된다. Raptor는 이를 오버페치할 수 있지만, 많은 대역폭이 낭비된다.

두 번째 문제는 I/O 전력 한계다. 전력을 비트당 0.37 pJ로 낮추더라도 대역폭을 초당 100테라바이트로 높이려면 300와트의 I/O 전력이 필요하다. HBM과 달리 단일 사이클 플릿이다.

로직 다이는 상단에 위치하며, 이는 콜드 플레이트를 장착하고 열을 제거하기 쉽게 하기 위함이다. 그러나 3D DRAM은 105C의 접합 온도를 위해 설계되었다. 이를 수용하기 위해 8배 빠르게 리프레시된다. 온도가 상승하면 이 DRAM은 누설되기 시작한다. 표준 DRAM과 비교하여 3D DRAM은 4밀리초마다 리프레시된다.

다음 문제는 수율이다. 3D DRAM에서는 각 마이크로뱅크가 1366행, 각 5.33메가바이트로 매우 작게 설계되었다. 이를 통해 DRAM은 메모리 대역폭의 1.37%만 손실된다. RAS 문제를 해결하기 위해 로직 다이에는 매우 강력한 오류 정정 코드인 Reed Solomon T=2 오류 정정 코드가 적용되어 128바이트에 걸쳐 두 개의 심볼 오류를 효과적으로 수정할 수 있다.

결론적으로 d-Matrix는 Raptor 3D DRAM을 NVIDIA Rubin R200 플랫폼(HBM4 탑재)과 비교했다. 83-85%의 유효 대역폭 활용률로 Raptor 3D DRAM은 NVIDIA HBM4 솔루션 대비 23.4배 높은 대역폭(GB/s/mm2)과 13.5배 우수한 전력 효율(mW/GB/s)을 제공했다.

Raptor 시스템으로 대표되는 3D DRAM은 SRAM에 가까운 대역폭과 에너지 효율성을 제공하면서 순수 SRAM 솔루션보다 훨씬 높은 용량을 갖춘 매력적인 중간 지점을 제시한다. 또한 HBM의 대역폭, 전력, 비치프론트 한계를 피한다.

짧은 수직 상호 연결을 통해 맞춤형 DRAM 위에 로직을 스택함으로써 HBM보다 약 10배 우수한 pJ/bit로 100 TB/s를 제공하며, 이는 현대 LLM 및 에이전트 워크로드를 지배하는 메모리 대역폭 제한 디코드 단계에 특히 적합하다. 용량은 오늘날의 대규모 모델을 실제 랙 스케일 배포에서 충분히 지원하며, 뱅크 매핑, 패브릭 토폴로지, 프로토콜, 열 관리 및 신뢰성 분야의 공동 설계 혁신을 통해 기술을 효과적으로 확장할 수 있다.