[IT동아 남시현 기자] 이장환 한양대학교 융합전자공학부 연구원이 제1 저자로 참여하고 최정욱 융합전자공학부 교수와 AI 반도체 기업 리벨리온(Rebellions)이 참여한 ’ReQAT: 4비트 부동소수점 양자화 인식 학습을 통해 완전한 정밀도의 추론 정확도 달성’ 논문이 국제머신러닝학회(ICML 2026)에서 정식 발표됐다. 해당 논문은 약 1만 5000여 건의 제출 논문 중 가장 혁신적이고 영향력이 크다고 판단되는 논문에 해당하는 ‘구두 발표’ 논문으로 선정돼 전 세계 AI 학회가 주목할만한 성과로 평가받는다.

최근 AI 업계는 16비트 부동소수점(BF16)으로 제작된 AI 모델을 4배 가량 작은 4비트 부동소수점(FP4)으로 압축해 필요한 연산 자원은 줄이면서 성능은 유지하는 ‘모델 양자화’ 연구가 한창이다. 이때 주로 ▲모델 가중치(W) ▲계산의 중간값인 ‘활성화값’(A) ▲ 대화 맥락을 기억하는 KV캐시(KV)를 기존 16비트 부동소수점(BF16) 대신 더 작은 단위인 FP4 단위로 추론하는데 유독 수학 문제 등에서 정확도가 떨어지는 문제가 있었다. 해당 논문은 숫자나 연산 기호 등이 양자화될 때 어떤 문제로 오류가 발생하는지 짚어내고, 이를 해결함으로써 모델 양자화 전반의 정확도를 끌어올릴 수 있는 방안을 제시한다.

LLM 추론의 고효율화를 위한 4비트 양자화, 정확도가 떨어지는 문제

엔비디아는 블랙웰 아키텍처부터 4비트 양자화에 해당하는 NVFP4를 지원하며, KV 캐시를 추가로 양자화하는 NVFP4 W4A4KV4, 오픈AI의 MXFP4 W4A16, AMD의 MXFP4 W4A4 등이 현재 AI 인프라 시장에서 주요 4비트 추론 환경으로 손꼽힌다. 하지만 가중치와 활성화값, KV 캐시를 모두 4비트로 쪼개는 W4A4KV4 규격 양자화를 적용하면 유독 수학 등 긴 추론 문제에서 전체 정확도가 떨어지는 문제가 있었다. 이 때문에 기존의 양자화는 가중치와 활성화값은 줄여도 KV 캐시는 16비트 로 남겨두는 식으로 보완했다.

연구팀은 숫자나 연산, 기호 등 향후 어떤 토큰이 올지 매우 확실하게 결정되어 있는 ‘저엔트로피 토큰’이 오히려 압축 시 정밀도를 크게 떨어뜨리는 요인임을 입증했다. 예를 들어 ‘1+x+x^3 =0이므로 α^3 = -1 -α입니다. 그런 다음 α^7을 계산해 보겠습니다’라는 문장에서는 1+x+x^3 =0은 명확하게 수식이나 숫자라서 엔트로피가 낮다. 반면 ‘그런 다음’ ‘계산하다’ 같은 단어는 이어서 올 문장의 가능성이 열려있어 고엔트로피 토큰으로 분류된다.

이때 모델의 크기를 줄이기 위해 FP4로 모델을 압축할 때 발생하는 여러 가지 잡음이 오히려 저엔트로피 토큰에 치명적인 오류를 일으키는 것을 확인했다. 예를 들어 BF16 값을 FP4로 내릴 때 반올림하거나 버릴 때 발생하는 오차가 논리에 교란을 일으키고, 이로 인해 반드시 와야 할 값 대신 다른 상관없는 내용들이 포함되어 문제가 생기는 것이다. 또한 KV캐시를 일률적으로 4비트 범위로 압축하면 정상 범위에 있는 값이 뭉개지거나 표현력을 잃어버리는 정보 손실이 발생하고, 또 캐시값이 벡터를 회전시켜 위치정보를 찾는 대규모 추론 모델의 회전 위치 임베딩 구조가 학습과 추론을 불안정하게 만드는 것으로 봤다.

쉽게 말해 고엔트로피 토큰은 내용이 압축되더라도 ‘그럼 그렇게 해볼까요?’를 ‘그럼 그렇게 할까요?’ 정도로 줄이기 때문에 크게 성능이 떨어지지 않지만 저엔트로피 토큰은 ‘+x+x^3 =0이므로 α^3 = -1 -α’에서 점 하나, 숫자 하나만 잘못 들어가도 완전히 다른 결과가 나오기 때문에 성능이 크게 떨어진 것이다.

연구팀은 가중치와 활성화값, KV캐시를 모두 4비트로 양자화하는 ‘ReQAT’을 제안한다. ReQAT는 TAQ(추론 경로 정렬 양자화 인식 훈련)과 SEM(선택적 엔트로피 최소화),‘Q-FIT(변환을 통한 양자화 친화적 초기화)가 결합돼 기존 W4A4KV4에서 발생하는 성능 저하 문제는 방지하고 연산에 필요한 자원은 크게 줄인다.

우선 1단계에서는 BF16으로 미세조정하고, 1.5단계에서 Q-FIT를 활용해 원래 값과 출력 후 값의 차이가 최소화하도록 값을 최적화한다. KV캐시를 4비트로 압축하더라도 주요 정보가 깨지지 않게끔 다듬어놓는 것이다. 그다음에 TAQ를 통해 본격적인 2단계 압축 훈련을 진행한다. 이때 앞서 문제를 다시 복습하고, 저엔트로피값이 오류를 일으키지 않도록 잡아둔다. 테스트 중 1.5단계까지만 진행했을 때에는 실제로 다른 정답이 나올 가능성이 높아졌다가 2단계 QAT를 적용해 당초 목적으로 둔 값과 비슷한 결과가 나오도록 보정됐다.

실험 결과는 기대 이상이다. 연구팀이 R1-큐웬-14B 모델과 R1-라마-8B 모델을 통해 AIME, GSM8K, MATH-500 벤치마크를 구동한 결과, 일반적인 미세조정이 적용된 BF16 모델, 그리고 기존 양자화 인식 훈련된 모델은 데이터 양을 늘려도 토큰 수가 2억 8000만 개가 넘어가면 성능이 정체됐다. 반면 ReQAT를 적용하면 데이터 양이 늘어날수록 성능이 계속 늘어난다. 원본 상태에서 AIME 결과가 56.83%의 정확도를 보일 때 고정밀 조건에서 최대 학습을 시킨 결과인 65.46%보다 ReQAT를 적용시켰을 때 65.94%로 더 높은 정확도를 기록했다. 다른 여러 시험에서도 기존의 다양한 양자화 및 학습 방법보다 ReQAT가 명백히 우수한 결과를 보여줬다.

덕분에 NVFP4를 지원하는 엔비디아 블랙웰 아키텍처 기반 장치의 성능 효율성도 소폭 높아졌다. 엔비디아 DGX 스파크에서 NVFP4를 적용했을 때 기본 추론 처리량은 BF16대비 최대 3.93배, 블랙웰 B200은 최대 3.13배다. 여기에 ReQAT를 적용하면 연산 과정에서 약 4~5% 손실이 발생해 각각 3.90배, 3.05배 수준이 된다. 양자화 적용에도 추론 처리량이 향상된 이유는 BF16은 KV캐시가 256 배치(Batch, 데이터의 규모)를 감당하지 못하지만 NVFP4는 256 배치를 모두 활용할 수 있는 점, 활성화 값까지 4비트로 줄이면서 행렬곱셈 연산이 2배 가까이 빨라진 덕분이다.

이번 연구는 리벨리온과의 산학협력으로 진행되었으며, 과학기술정보통신부 산하 한국연구재단의 중견연구자지원사업 및 혁신연구센터사업, 정보통신기획평가원 인공지능대학원의 지원으로 진행됐다. 논문에 포함된 연산 처리는 과학기술정보통신부의 첨단 GPU 활용 지원 사업과 고성능 컴퓨팅 지원 사업을 통해 조달됐다.

ReQAT, 경우에 따라 하드웨어 효율 최대 4배 높일 수 있는 기술

ReQAT는 기존의 W4A4KV4같은 모델 양자화 기술의 가장 큰 문제인 성능 저하 문제를 해결할 수 있는 방안이다. 결과물 역시 기존 16비트 양자화와 비슷하거나 더 높으며, 동일한 훈련 예산으로 최대 3.9배 더 빠른 속도와 처리량을 달성할 수 있었다. 쉽게 말해 성능 손실 없이 기존의 하드웨어의 추론 성능을 최대 4배 가까이 가속할 수 있다는 말이 된다. 특히 저엔트로피 토큰이 모델 양자화 시 성능 저하에 큰 오류를 일으킬 수 있다는 점을 밝히면서 향후 다른 모델 양자화 기술의 성능을 보완할 수 있는 계기를 마련했다.

논문 심사위원들 역시 해당 논문이 기술적으로 매우 탄탄하며 인공지능의 하위 분야에 높은 영향력을 미치거나, 여러 분야에 걸쳐 상당한 영향력을 지닌 논문으로 평가했다. 또한 수학 분야뿐만 아니라 일반 코딩 관련 벤치마크에서도 동일한 성능향상을 기록한 만큼 AI 모델 양자화 전체 분야에 새로운 전기를 마련한 것으로 볼 수 있다.

오진욱 리벨리온 최고기술책임자(CTO)는 이번 연구에 대해 “이번 ICML 논문 채택은 문제를 발견하는 학계와 문제를 실제 하드웨어로 풀 수 있는 산업계가 만나 시너지를 낸 사례이며, 리벨리온은 향후 제품 개발에 저정밀도 추론에 대해 얻은 관점을 적용할 예정이다 ”라고 밝혔다.

IT동아 남시현 기자 (sh@itdonga.com)