인공지능(AI)이 데이터센터와 네트워크 엣지 전반으로 확산되면서 기존 메모리 구조의 한계가 부각되고 있다. 샌디스크의 알퍼 일크바하르(Alper Ilkbahar) 최고기술책임자(CTO)는 AI 추론 시대에 대응하기 위한 새로운 메모리 아키텍처로 고대역폭 플래시 메모리(HBF™)를 제시했다.

현재 AI 워크로드를 처리할 수 있는 데이터센터는 전체의 약 7분의 1 수준이지만, 2030년까지 그 비중은 약 70%에 이를 것으로 예상된다. AI는 하이퍼스케일 데이터센터를 넘어 엔터프라이즈 데이터센터와 네트워크 엣지로 확장되고 있으며, 엣지 AI 애플리케이션은 이번 10년이 끝나기 전에 약 665억 달러 규모의 매출을 창출할 것으로 전망된다.

AI 컴퓨팅 인프라 확장의 핵심은 데이터다. 대규모 AI 모델은 방대한 데이터를 고속으로 공급받아야 하며, 이는 기존 데이터센터 스토리지와 메모리 구조에 부담을 주고 있다. 특히 DRAM과 고대역폭 메모리(HBM)는 집적도, 저장 용량, 확장성 측면에서 대규모 AI 모델의 요구를 따라가기 어려워지고 있다는 지적이 나온다.

DRAM·HBM, AI 추론 확산 속 구조적 한계 부각

AI 인프라 확장 과정에서 하이퍼스케일 컴퓨팅 제조업체들은 DRAM과 HBM의 생산 비용 증가, 설계 복잡성 확대, 전력 소비 증가라는 문제에 직면하고 있다. 엔터프라이즈 데이터센터와 엣지 AI 애플리케이션 환경에서는 물리적 공간이 제한적이기 때문에 메모리 비용과 전력 증가 부담이 더 크게 작용한다.

특히 AI 추론은 AI 학습과 다른 데이터 관리 요구사항을 가진다. 추론 환경에서는 점점 더 커지는 AI 모델을 저장해야 하지만, 기존 HBM과 DRAM 기반 메모리는 용량과 비용 효율성 측면에서 한계를 보이고 있다. 이에 따라 AI 추론에 최적화된 새로운 메모리 기술의 필요성이 커지고 있다.

DRAM의 경우 용량 확장이 정체되는 반면, AI 추론을 위한 대용량 메모리 수요는 계속 증가하고 있다. 또 DRAM의 핵심 장점인 낮은 지연 시간과 랜덤 액세스 특성은 AI 추론 환경에서 상대적으로 중요성이 낮아질 수 있다. AI 추론은 데이터 프리패칭 같은 기법을 통해 데이터 접근이 비교적 예측 가능하고, 일정 수준의 지연을 허용할 수 있기 때문이다.

샌디스크는 이 같은 변화가 1,200억 달러 규모의 DRAM 산업 전반에 걸친 구조적 과제로 이어지고 있다고 봤다. 이와 함께 이번 10년이 지나기 전까지 하이퍼스케일 사업자의 AI 인프라 지출이 6조 7천억 달러에 이를 수 있다는 전망도 제시됐다.

AI 추론에 필요한 메모리 조건

AI 추론에 최적화된 스토리지 클래스 메모리는 대용량과 확장성을 갖춰야 한다. 또 높은 메모리 집적도, AI 추론 요구사항을 충족하는 높은 대역폭, 낮은 시스템 전력 소비, 테라바이트당 비용 기준의 경제성을 확보해야 한다.

샌디스크가 제시한 HBF는 이러한 요구에 맞춰 설계된 차세대 메모리 아키텍처다. HBF는 고성능 컴퓨팅과 데이터 집약형 애플리케이션이 요구하는 용량, 전력 효율, 처리량, 확장성을 충족하는 것을 목표로 한다.

샌디스크에 따르면 HBF는 HBM과 유사한 수준의 대역폭을 유지하면서도 더 높은 용량과 메모리 집적도를 제공한다. 또한 비휘발성 저장 매체로서 전원이 꺼진 뒤에도 데이터를 유지할 수 있고, 온도 측면에서도 안정적이어서 높은 동작 온도를 지원할 수 있다.

NAND 플래시 기반으로 재설계된 HBF

HBF는 샌디스크의 BiCS NAND 설계 및 제조 기술과 다이 아키텍처를 활용한다. NAND 플래시를 고대역폭 및 추론 메모리 특성에 맞게 최적화해 재설계한 구조다. 특히 BiCS CBA(CMOS Bonded Array) 웨이퍼 기술을 활용해 에너지 효율성과 대역폭을 높이는 방식이 적용된다.

기존 NAND 플래시와 비교하면 HBF는 병렬 처리, 고도화된 로직 미세화, 맞춤형 적층 기술을 통해 지연 시간을 줄이고 읽기 대역폭을 크게 향상시키는 데 초점을 맞춘다. 이를 통해 대형 언어 모델이 DRAM에 근접한 속도로 데이터를 처리할 수 있도록 지원한다는 설명이다.

HBF는 대규모 KV 캐시 지원에도 적합한 구조로 제시됐다. 길고 복잡한 사용자 프롬프트와 고객·도메인 특화 데이터를 효율적으로 처리할 수 있어 AI 추론 정확도 향상에 기여할 수 있다는 것이다.

데이터센터 넘어 엣지·엔터프라이즈로 확장

HBM은 높은 성능에도 밀도, 비용, 전력 측면의 제약으로 인해 엣지 및 모바일 환경에서 일반적으로 사용하기 어렵다. 반면 HBF는 대용량 메모리 수요를 충족해 복잡한 AI 추론 문제를 엣지 환경에서도 처리할 수 있는 가능성을 제시한다.

예를 들어 스마트폰 같은 엣지 디바이스가 실시간 의사결정을 수행하고 고도화된 작업을 처리하는 데 활용될 수 있다. HBF의 비휘발성 메모리 특성은 이전 질의의 컨텍스트를 자연스럽게 재활용하는 데에도 기여할 수 있다.

엔터프라이즈 컴퓨팅 환경에서도 HBF의 활용 가능성이 제기된다. 엔터프라이즈 데이터센터는 하이퍼스케일 데이터센터보다 운영 규모가 작아 HBM 기반 대규모 GPU 클러스터를 구축하기에는 비용 부담이 크다. HBF 기반 가속기를 도입하면 중소 규모 엔터프라이즈도 도메인 특화 목적의 대규모 사전 학습 모델을 미세 조정할 수 있다는 설명이다.

AI 성장의 병목으로 떠오른 메모리 구조

데이터센터와 엣지 AI 디바이스는 자율적으로 작동하며 다양한 작업을 지원하는 방향으로 진화하고 있다. 웹사이트 호스팅과 엔터프라이즈 데이터 관리 같은 기존 업무도 머신러닝, 딥러닝, 데이터 분석을 활용해 실행 가능한 인사이트를 생성하는 지능형 워크로드로 전환되고 있다.

이에 따라 대규모 추론 모델을 관리하기 위한 데이터센터 및 엣지 메모리 구조를 재검토해야 한다는 주장이 힘을 얻고 있다. 샌디스크는 HBF가 HBM 대비 용량 면에서 우위를 가지면서도 AI 추론에 필요한 높은 처리량을 충족할 수 있다고 강조했다.

확장 가능한 차세대 시스템 메모리로서 HBF는 성능 병목을 줄이고, 최신 데이터센터와 엣지 네트워크 환경에서 AI 애플리케이션의 인사이트 도출 속도를 높이는 기술로 제시되고 있다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지