슈퍼마이크로(Supermicro)가 IBM, 엔비디아(NVIDIA)와 협력해 대규모 인공지능(AI) 추론 환경의 성능과 효율성을 높이는 새로운 KV 캐시 스토리지 솔루션을 선보였다. GPU 메모리의 용량 한계를 극복하고 반복적인 연산을 줄여 AI 모델의 응답 속도와 처리량을 높이는 것이 핵심이다.

슈퍼마이크로는 5일(현지시간) AMD EPYC 9005 시리즈 프로세서(코드명 Turin)를 탑재한 Supermicro Petascale 올플래시 스토리지 서버에 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 프레임워크, NVIDIA Spectrum-X Ethernet 네트워킹 기술을 통합한 KV 캐시 스토리지 솔루션을 발표했다.

이번 솔루션은 에이전틱 AI와 긴 컨텍스트를 사용하는 생성형 AI 애플리케이션에서 발생하는 추론 병목 현상을 해소하는 데 초점을 맞췄다. 특히 기존 GPU 메모리에 제한됐던 KV 캐시 용량을 외부 공유 스토리지로 확장해 GPU 활용률과 추론 처리량을 높이고, 여러 GPU 노드에서 캐시 데이터를 공유할 수 있도록 설계됐다.

대규모 AI 추론을 위한 KV 캐시 고성능 플랫폼(KV Cache High-Performance Platform for Large-Scale AI Inference)

GPU 메모리 한계 극복…KV 캐시로 중복 연산 최소화

대규모 언어 모델(LLM)의 추론 과정은 크게 프리필(Prefill)과 디코드(Decode) 두 단계로 구성된다. 프리필 단계에서는 입력된 텍스트를 토큰으로 변환하고 모델이 이를 처리해 추론에 필요한 중간 상태인 KV(Key-Value) 데이터를 생성한다. 이후 디코드 단계에서는 해당 정보를 활용해 응답 토큰을 순차적으로 생성한다.

문제는 에이전틱 AI나 코딩 도우미, 검색증강생성(RAG), 멀티모달 AI, 다중 턴 대화형 애플리케이션처럼 방대한 컨텍스트를 처리하는 환경에서 KV 데이터가 빠르게 증가한다는 점이다. 대규모 코드베이스와 문서, 대화 기록, 이미지 등을 반복적으로 처리할 경우 GPU와 CPU 메모리만으로는 생성되는 KV 캐시를 충분히 수용하기 어려워진다.

이때 이미 계산한 KV 상태를 외부 스토리지에 저장하고 후속 요청에서 재사용하면 동일한 컨텍스트를 다시 연산할 필요가 없어진다. GPU가 반복 계산에 사용하는 자원을 줄이고 실제 응답 생성에 더 많은 연산 능력을 할당할 수 있는 것이다.

슈퍼마이크로와 IBM, 엔비디아가 공동 개발한 솔루션은 이러한 KV 데이터를 대용량 공유 네트워크 스토리지에 저장하는 영구 저장형 캐시 계층을 제공한다. GPU 로컬 메모리를 넘어 캐시 용량을 확장할 수 있으며, GPU 노드와 클러스터 전반에서 저장된 데이터를 공유하도록 지원한다.

또한 캐시 데이터의 고가용성을 확보하고 서비스 중단 없이 스토리지 용량을 확장할 수 있도록 해 대규모 AI 추론 인프라의 확장성과 복원력을 강화한다.

찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 “AI 워크로드가 학습에서 추론으로 확대됨에 따라 에이전틱 AI와 긴 컨텍스트 다중 턴 생성형 AI가 특징인 고처리량 추론 워크로드를 구축하는 기업과 네오클라우드 사업자는 병목 현상을 해소해야 GPU 효율을 높일 수 있다”며 “IBM, 엔비디아와 함께 개발한 이번 솔루션은 이 같은 성능상의 장점이 명확하다”고 말했다.

1200억 매개변수 LLM 테스트서 최대 56배 빨라진 첫 응답

공동 테스트에서는 KV 캐시 스토리지를 활용한 추론 성능 개선 효과가 확인됐다.

슈퍼마이크로와 엔비디아가 매개변수 1200억 개 규모의 대규모 언어 모델을 대상으로 실시한 테스트에서 영구 저장형 KV 캐시를 사용했을 때 13만 토큰 길이의 프롬프트에 대한 첫 토큰 생성 시간(TTFT, Time To First Token)이 최대 56배 단축된 것으로 나타났다.

TTFT는 사용자가 AI 모델에 요청을 보낸 시점부터 첫 번째 응답 토큰이 생성되기까지 걸리는 시간으로, 생성형 AI 서비스의 초기 응답 성능을 나타내는 주요 지표다.

특히 입력 프롬프트 길이가 3만 토큰에서 13만 토큰으로 증가했을 때 성능 차이가 두드러졌다. KV 캐시를 적용한 환경에서는 TTFT가 0.377초 증가하는 데 그쳤지만, KV 캐시를 사용하지 않은 환경에서는 29.55초 늘어났다.

이는 입력 데이터가 길어지더라도 기존에 계산한 컨텍스트 정보를 재사용하면 응답 지연 증가를 크게 억제할 수 있음을 보여준다. 장문의 문서를 분석하거나 여러 차례 대화를 이어가는 생성형 AI 서비스에서 활용할 수 있는 특성이다.

GPU 활용률 개선도 주요 특징이다. 자주 재사용하는 컨텍스트를 GPU 메모리 외부에 저장함으로써 GPU의 유휴 시간을 줄이고, GPU 자원을 요청량에 비례해 늘리지 않더라도 더 많은 동시 추론 요청을 처리할 수 있도록 지원한다.

클러스터 단위 공동 검증…AI 서비스 안정성과 구축 효율 강화

세 기업은 솔루션의 성능뿐 아니라 실제 대규모 AI 인프라에서의 운영 안정성도 검증했다.

슈퍼마이크로, IBM, 엔비디아는 높은 수준의 동시 요청이 발생하는 환경과 다른 워크로드의 간섭으로 추가 네트워크 트래픽이 발생하는 상황 등을 포함해 클러스터 수준의 광범위한 테스트를 진행했다.

이를 통해 NVIDIA Dynamo 추론 프레임워크와 IBM Storage Scale, Supermicro Petascale 스토리지 서버, NVIDIA Spectrum-X 네트워킹을 결합한 통합 아키텍처의 동작을 공동 검증했다.

영구 저장형 KV 캐시가 제공하는 고가용성 구조도 기업 환경에 필요한 요소다. 캐시에 저장된 추론 상태를 보호하고 여러 GPU 노드 및 클러스터에서 공유 접근을 지원함으로써 대규모 서비스 운영 시 복원력과 스토리지 활용 효율을 높일 수 있다.

인프라 구축 기간 단축도 내세웠다. 슈퍼마이크로는 공장 내 랙 통합과 현장 구축 서비스를 통해 기존에 수 주가 걸리던 솔루션 구축 기간을 수일 수준으로 줄일 수 있다고 설명했다.

샘 워너(Sam Werner) IBM 스토리지 총괄은 “기업에는 AI 추론을 확장해 줄 수 있는 근본적으로 더 좋은 방식이 필요하다”며 “IBM과 슈퍼마이크로, 엔비디아는 고객이 GPU 투자의 가치를 극대화하고 연산 자원과 독립적으로 확장하며 인프라 효율을 크게 높여주는 고성능의 강력한 복원력을 가진 KV 캐시 솔루션을 함께 제공하고 있다”고 말했다.

이어 “이번 협력은 기업용 AI 추론의 확장성과 신뢰성, 비용 대비 효율을 높여주는 중대한 진전”이라고 강조했다.

슈루티 코파르카르(Shruti Koparkar) 엔비디아 AI 추론 제품 총괄은 “에이전틱 AI와 긴 컨텍스트 애플리케이션에서는 여러 단계에서 컨텍스트를 효율적으로 재사용하는 것이 핵심”이라며 “NVIDIA Dynamo는 분산 추론을 조율해 기업에서 GPU별로 실질적으로 활용할 수 있는 처리량을 높여준다”고 설명했다.

그는 “이번 KV 캐시 솔루션은 NVIDIA Dynamo 및 Spectrum-X Ethernet을 Supermicro Petascale 스토리지 서버, IBM Storage Scale과 결합한 제품으로 중복 연산을 줄이고 첫 토큰 생성 시간을 개선하며, 고객에게 복원력 있는 AI 추론 서비스를 확장하는 고성능 공유 스토리지 계층을 구현해준다”고 덧붙였다.

이번 솔루션은 AI 추론 과정에서 발생하는 중복 연산과 GPU 메모리 용량의 제약을 외부 스토리지 계층을 통해 완화하도록 설계됐다. 슈퍼마이크로와 IBM, 엔비디아는 이를 기반으로 기업과 네오클라우드 사업자가 고처리량 AI 추론 서비스를 보다 효율적으로 확장할 수 있도록 지원한다는 방침이다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지