[IT동아 남시현 기자] 강민구 캘리포니아 샌디에이고 대학교 전기컴퓨터공학과 교수팀이 이끄는 VVIP LAB과 국내 AI 반도체 설계 기업 디노티시아(Dnotitia) 연구진, 최정욱 한양대학교 융합전자공학부 교수가 공동 연구한 ‘STAR-KV: 적응형 랭크 제어를 위한 소프트 임계값 처리를 통한 저랭크 KV 캐시 압축(Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control)’ 논문이 세계 3대 AI 학회 중 하나인 국제머신러닝학회(ICML) 2026에서 스포트라이트로 정식 발표됐다.

연구에 참여한 디노티시아는 기업의 비정형 데이터를 AI가 활용할 수 있도록 관리하고 의미 기반 저장·검색과 AI 에이전트의 데이터 활용을 지원하는 AI 데이터 인프라 솔루션 ‘씨홀스’와 벡터 데이터베이스 처리 전용 반도체 ‘VDPU’를 개발하는 국내 AI 팹리스(Fabless) 기업이다.

ICML의 논문 발표는 최상위 1~3%에 해당하는 구두 발표와 4~6%에 해당하는 스포트라이트, 그리고 상위 15%까지 해당하는 포스터로 나뉜다. 세 트랙 모두 정식 게재되지만 학회 현장의 주목도와 영향력에 따라 트랙이 구분된다. 따라서 해당 논문은 전 세계 AI 학회에서 대단히 주목할만한 논문이며, 특정 분야에 상당한 영향력을 줄 수 있다는 평가를 받는다.

LLM 추론 성능 관계된 KV 캐시, 압축 시 성능 저하가 발목

트랜스포머 모델 기반의 대형언어모델은 단어를 하나씩 순차적으로 생성한다. 이때 문장 생성 속도를 높이고 이전에 계산했던 단어들을 메모리에 저장하고 재사용하는 기술을 KV 캐시(Key-Value Cache)라고 한다. KV캐시는 단어들의 키와 밸류의 행렬값을 메모리에 저장해둔 뒤 다음 단어를 만들 때 마지막으로 생성된 단어의 K, V값만 가져와 붙이는 식이다. 쉽게 말해 문장을 생성할 때 매번 처음부터 내용을 생성하는 게 아니라 필요한 값을 복사해놓은 뒤 마지막에 이어붙여서 결과를 내는 것이라 할 수 있다.

KV 캐시를 활용하면 문장을 처음부터 생성하지 않으므로 문장 생성 속도가 대단히 빨라지고, 연산 자원 역시 줄어든다. 이때 대화가 길어질수록 저장해야하는 KV캐시의 용량이 빠르게 늘어나며 심한 경우 임시로 저장된 KV캐시가 모델 자체의 용량보다 커지는 경우도 발생한다. 메타 라마 3.1-8B 모델을 128K 토큰 4 배치로 구동하면 KV 캐시가 전체 메모리 점유율의 81%를 차지할 정도다. KV 캐시는 LLM 자체의 성능과 효율을 끌어올리는 기술이어서 널리 활용되지만 문제는 최근 ‘롱 콘텍스트(긴 문맥 수용량)’가 대두되면서 KV캐시 적용 모델에 대한 문제점이 대두되고 있다.

지금까지는 짧은 문장만 주고받으며 단답형으로 내용을 주고받았지만, 더 정확하고 세밀하고 많은 데이터를 한번에 입력하기 위해 긴 문장을 한 번에 입력하는 경우가 늘고있다. 코드 분석을 위해 전체 코드 파일을 입력한다거나, 수백 페이지에 달하는 보고서 분석을 맡기는 식이다. 현 시점에서는 질문을 분석하는 처리 도구(헤드)를 완전히 분해하지 않고 묶어서 공유하는 그룹화된 쿼리 어텐션(GQA, Grouped-Query Attention), KV 캐시를 잠재 공간이라는 저차원에 저장하고 AI가 연산을 수행할 때만 이를 실시간으로 풀어 쓰는 멀티헤드 잠재 어텐션 (MLA, Multi-head Latent Attention) 같은 기술이 사용된다.

GQA와 MLA 모두 KV 캐시를 극적으로 줄여 토큰 효율을 높인다는 장점은 있지만, 기존에 만들어진 모델에는 사후 적용이 어렵다. 또한 압축률이 일괄 적용되거나 정보의 중요성을 정해진 지표로 판단해 압축하는 휴리스틱 방식으로 처리하다보니 압축률을 높일수록 정확도가 떨어지거나, 압축을 다시 복원하는 과정에서 지연시간이 늘어나 성능이 하락하는 문제 등이 있다. 논문에서는 75% 압축 시 일괄 압축은 26.33%, 휴리스틱 방식은 17.14%정도 성능이 저하한다는 값을 제시했다.

정밀도와 압축률 끌어올린 ‘STAR-KV’ 방법론 제시

해당 논문은 정확도와 압축률을 향상시키기 위해 세밀한 랭크 제어를 통한 KV 캐시 압축 프레임워크인 STAR-KV (Soft Thresholding for Adaptive Rank KV Cache Compression)를 제안한다. 일괄 압축 대신 미분 가능한 소프트 임계값 메커니즘을 통해 데이터의 우선순위를 고려해 압축하고, 또 정해진 지표와 민감도를 고려하는 하이브리드 분해 전략. 그리고 혼합 정밀도 저랭크 인식 양자화를 통합한다. 이를 복합 적용하면 압축률을 높아도 손실이 거의 없이 KV 캐시를 저장할 수 있다는 게 연구진의 설명이다.

기존의 압축 방식은 정해진 압축률 기준을 설정한 뒤 그 이상 값은 일괄 처리하는 하드트렁케이션 방식이다. 문제는 데이터를 처리할 때 갑자기 데이터가 끊어지니 성능 전반이 떨어지는 원인이 됐다. STAR-KV가 제안하는 소프트 임계값 메커니즘은 곡선 함수를 이용해 데이터를 부드럽게 사라지도록 처리해 정확도를 살린다.

하이브리드 분해 전략은 쉽게 말해 통합 압축과 개별 압축을 혼합해서 쓰는 방식이다. 기존의 AI 압축 기술은 키와 밸류를 일괄 처리해 정확도가 상황마다 달랐다. 그래서 데이터 그 자체에 해당하는 밸류는 크게 묶어 정밀하게 압축하고, 데이터의 식별자인 키는 전체를 묶지 않고 각 단위별로 따로따로 쪼개서 가볍게 압축한다. 두 방식을 섞어서 활용하면 컴퓨터의 연산 숫자와 데이터를 다시 복원할 때 드는공수가 크게 줄어 작업 속도가 빨라진다.

혼합 정밀도 저랭크 인식 양자화는 데이터를 여러 블록으로 구분한 뒤 중요도에 따라 다른 양자화를 적용하는 방안이다. 양자화는 높은 비트로 제작된 모델을 낮은 비트로 낮춰 모델 운용에 필요한 자원은 줄이는 기술이다. 통상적으로 32비트 부동소수점(FP32)으로 제작된 AI 모델을 4비트로 낮출 경우 모델 용량이 약 8배 줄어든다. 물론 정확도도 필연적으로 떨어지는데 이를 최대한 유지하는 것이 AI 모델 양자화 기술력이다. 논문에서는 데이터를 양자화했을 때 일부 채널로 쏠리는 현상을 막기 위해 데이터를 블록 단위로 나눈 뒤 상위 20%의 중요 채널은 4비트로, 나머지는 3비트로 양자화해 정확도를 최대한 유지하는 것을 제안한다.

60% 수준 압축해도 원본과 성능 유사, 용량은 최대 20배 절감도 가능

실험은 일반적인 개인 소비자 환경을 상정해 엔비디아 RTX 4090을 활용했으며 범용성을 확인하고자 LongChat-7B-v1.5-32K, Llama-2-7B, Llama-3-8B-Instruct, Llama-3.1-8B-Instruct 네 모델을 활용했다. 그 결과 상식 추론 및 텍스트 데이터셋에서의 모델 성능평가에서 LongChat-7B는 60%를 압축했음에도 비압축 원본과 거의 동일한 성능을 보여줬으며, 75% 압축시에도 정확도를 60.49%까지 유지했다. 최신 기술인 팔루(Palu)는 50%만 압축해도 58.49% 정도고 ReCalKV도 70%를 압축하면 53.07%여서 압축률은 훨씬 높은데 성능은 더 잘 나오는 것을 입증했다.

긴 문맥 이해 성능 테스트는 GQA가 적용된 Llama-3.1-8B-Instruct 모델을 결과를 주목할만하다. 이미 KV 캐시가 줄어든 모델이라 추가 양자화시 열화가 심한데, 팔루는 50% 압축 시 정확도가 32.21%로 무너져 30% 정도만 압축해 정확도를 36.93%로 유지하는 게 최선이다. 반면 STAR-KV는 60%를 압축해도 정확도가 39.58%여서 원본인 42.23%와 맞먹었다.

결과적으로 LongChat-7B를 STAR-KV 기술로 KV 캐시를 75% 압축한 뒤 3.2비트 양자화까지 적용하면 KV 캐시 용량은 최대 20배까지 절감된다. 이때 별도 학습이나 정보 제공 없이도 정답을 맞추는 제로샷 정확도는 원본의 60.34% 대비 1.16%만 저하된 59.18%를 달성했다. 기존의 KVQuant, KIVI 양자화 방식과 비교하면 압축률은 각각 2.5배, 2.9배 더 높다. 연구진은 오픈AI의 Triton 프로그래밍 언어로 GPU를 맞춤 설계한 환경에서는 어텐션 모듈 속도가 최대 6.9배, 최종 텍스트 생성 처리량은 최대 3.1배 가속한다고 정리했다.

논문 심사자들은 본 논문이 KV캐시로 인해 발생하는 GPU 메모리 및 대역폭 한계를 효율적으로 해결하고자 하며, Triton 기반의 맞춤형 GPU 커널 등 실험 결과를 통해 그 우수성을 입증했다고 평가했다. 논문에 사용된 모델 크기가 작은 점, 방법론 자체가 보정된 데이터셋과 미세조정 단계가 필요했다는 점은 한계로 꼽혔다. 다만 이 미세조정은 3000개 샘플 수준의 소규모 보정 데이터로 약 6 GPU 시간이면 충분해, 대규모 재학습 없이 경량 튜닝만으로 기존 모델에 적용할 수 있다는 점은 실용적 강점으로 평가된다.

향후 추가적인 실험 결과가 제공될 경우 논문의 타당성이 훨씬 높아질 것으로 평가했다. 결론적으로 STAR-KV는 세밀한 조정을 통해 KV캐시의 압축 한계를 더 끌어올릴 수 있음을 증명했으며, 일반 사용자용 작업 환경에서도 가능하다는 것을 보여줬다.

이번 논문에 공동저자로 참여한 양세현 디노티시아 CTO는 "이번 성과는 UC 샌디에이고 VVIP LAB과의 산학 공동 연구를 통해 KV 캐시 압축의 정확도-압축률 한계를 한 단계 끌어올린 결과"라며 "디노티시아는 이러한 원천 기술 연구를 실제 AI 서비스 환경에 접목하는 고도화 작업을 지속해 나갈 것"이라고 밝혔다.

디노티시아는 이번 STAR-KV의 결과를 향후 실제 AI 서비스 환경에 적용할 수 있도록 고도화에 나서며, vLLM 등 오픈소스 LLM 추론 환경에서도 활용되도록 배포할 방침이다.

IT동아 남시현 기자 (sh@itdonga.com)