[IT동아 남시현 기자] AI 모델 양자화 기술 기업 노타(Nota)가 제43회 국제머신러닝학회(International Conference on Machine Learning, ICML 2026)의 세부 워크숍 ‘AdaptFM: 자원 적응형 파운데이션 모델 추론’에서 ▲ DREAM-MoE: 전문가 혼합형 대규모 언어 모델을 위한 다운스트림 라우팅 오류 인식 마진 보존 양자화 ▲ SRA-MoE: MoE 양자화를 위한 출력 인식 선택적 라우터 정렬 두 개의 논문을 정식 발표했다.

AdaptFM은 대규모 파운데이션 모델의 추론 과정에서 발생하는 막대한 연산 비용과 자원 제약을 해결하기 위해 조직된 ‘자원 적응형 추론 기술 체계 및 워크숍’이다. AdaptFM 워크숍은 파운데이션 모델의 입력 복잡도와 시스템 자원 상태 등을 고려해 효율적으로 추론하는 기술을 다룬다.

핵심 연구 영역은 모델의 학습이 끝난 이후 추론 단계에서 자원을 효율적으로 활용하고 제어할 수 있는 부분들이다. 여기에는 ▲ 레이어 건너뛰기 같은 유연한 아키텍처 구조 ▲ 결괏값을 재참조하는 재귀적 추론 등의 연산 ▲동적 네트워크 및 라우팅 ▲ 텍스트 생성 시 디코딩 및 토큰 수준의 최적화 기법 ▲ 양자화, 가지치기, 지식 증류 등 모델 압축 및 가속화 ▲ 하드웨어와 소프트웨어의 연결적인 디자인 등이다.

노타가 제안한 DREAM-MoE, SRA-MoE은 대형언어모델 구동 시 효율적으로 연산을 처리하는 전문가 모델(Mixture-of-Experts, MoE) 구조와 관련된다. DREAM-MoE는 대규모 AI 모델을 GPU에 나눠 들어갈 수 있는 단위로 넣어 순차적으로 양자화할 때 앞에서 생긴 작은 오차가 뒤쪽의 전문가 선택을 바꿀 수 있는 현상을 제어하는 기술이며, SRA-MoE는 모델 결과에 더 큰 영향을 주는 입력을 우선적으로 보호해 전문가 선택과 품질에 영향을 주지 않도록 하는 기술이다.

점수제가 아닌 목록제로 전문가 그룹 관리하는 ‘DREAM-MoE’

오늘날 대형언어모델은 동작할 때마다 각 분야로 나뉘어있는 전문가 네트워크를 선택적으로 활용하는 MoE 방식을 활용한다. 아울러 모델 구동이 필요한 연산량과 메모리 등을 줄이기 위해 16비트로 학습된 모델을 4비트 압축하는 양자화 과정도 널리 쓰인다. 하지만 MoE는 작은 교란에도 다른 전문가 집합이 실행될 만큼 민감하며 양자화 과정에서 데이터가 조금씩 변하면서 실제로 다른 전문가 모델로 바뀌며 결과가 뒤바뀌기도 한다.

현행 방식은 원본 모델의 점수를 그대로 복제해 전문가 순서를 보존하려 하지만 모델 양자화 시 발생하는 노이즈나 반올림, 올림 등으로 인해 숫자가 조금씩 변하다가 다른 모델이 선택될 수 있는 식이다. 가령 전문가 A가 2.0, 전문가 B가 1.9점인데 양자화 이후 전문가 A가 1.8점, 전문가 B는 1.9점이라면 숫자 차이는 작아도 원본에서는 A가 동원되는 작업에 B가 투입되어 정확도에 문제가 생길 수 있다.

이 논문에서 제시하는 DREAM-MoE는 단순히 점수를 맞추는 ‘라우터-로짓 매칭’ 방식을 넘어서 ▲ 마진 보존 쌍별 라우팅 목표 ▲ 다운스트림 라우팅 오류 인식 두 가지 방식을 제안한다. 마진 보존 쌍별 라우팅 목표는 점수 등을 복제하는 방식 대신 상위 전문가 그룹 내에서 상대적인 점수 차이와 순위를 보존하는데 집중한다.

양자화를 통해 숫자가 변하더라도 전문가 자체의 점수 격차, 그리고 순서 자체를 잡아두는 만큼 원본에서 동원되는 것과 동일한 전문가가 투입되도록 한다. 또한 전문가 모델 중 선택 목록에 들어온 것과 탈락한 전문가 모델의 경계를 만들고 이들 간의 점수가 좁혀지지 않게 수학적으로 유도한다. 따라서 양자화 노이즈가 개입해서 전문가 모델 순서가 바뀔만한 사건이 생기더라도 사전에 지정한 목록과 규칙 등을 바탕으로 원래 의도한 전문가 모델이 동작하도록 한다.

다운스트림 라우팅 오류 인식은 딥러닝 모델이 여러 레이어를 거쳐 연속적으로 데이터를 처리하는 ‘다운스트림’ 구조에서 단순 오차 보정만 적용하지 않고 다음 블록 결과에 미치는 영향을 고려해 순서가 유지되도록 한다. 대규모언어모델은 수십 개의 블록이 직렬 구조로 연결돼 있으며 순차적으로 양자화한다. 방식은 작은 검증용 데이터셋을 활용해 데이터가 순차적으로 양자화할 때 전문가 집합이 얼마나 일치하는지 확인한다. 물론 모든 절차에 이 조건을 적용하면 오히려 과도한 제약이 될 수 있어서 다음 블록 라우터의 전문가 선택 결과가 원본과 많이 달라졌을 때 함수가 동작한다

실험은 세 가지의 LLM 모델에 대해 각각 4비트, 3비트의 AutoRound, TopM-MSE, DREAM-MoE를 적용한 결과가 첨부됐다. 딥시크-V2-라이트-챗에서 언어 모델의 이해력을 뜻하는 퍼플렉시티(PPL) 지표는 AutoRound가 8.37, TopM-MSE가 8.38일 때 DREAM-MoE가 8.3을 기록해 언어 성능을 가장 잘 보존했고. 특히 다운스트림 평균 정확도는 AutoRound 39.46%와 TopM-MSE 38.18%을 40.54%로 제치며 높은 정확도를 보여줬다. 3비트 양자화 역시 DREAM-MoE가 가장 낮은 PPL을 기록했다.

특히 문라이트-16B-A3B-인스트럭트를 3비트 양자화한 조건에서는 AutoRound가 15.58, TopM-MSE가 15.46일 때 DREAM-MoR가 1.5포인트 앞선 13.93을 기록했다. 해당 값은 수치가 낮을수록 언어 이해 능력이 뛰어난 값이다. 큐웬 3-30B-A3B 역시 3비트 양자화 기준에서 다운스트림 정확도가 61.54%를 기록해 AutoRound의 60.46%, TopM-MSE의 60.07% 대비 1.08~1.47%를 앞섰다.

DREAM-MoE를 통해 로짓-매칭을 단순 마진 보존 손실로 교체한 결과만으로 6개의 시험 중 5개 설정에서 정확도가 향상됐고, 5개의 상승폭은 평균 1.68 포인트에 달했다. 또한 다운스트림 라우터 손실을 보정했을 때는 PPL이 전체 6개 설정 중 4개에서 낮아지며 이해도가 높아진 모습을 보여줬다. 해당 연구를 통해 LLM 양자화 시 전문가 모델값을 지정해 두면 전반적인 정확도가 향상되는 점이 입증되었으며, 특히 실제 추론 시 추가 연산이나 모듈이 필요 없어 적용 가능성이 매우 우수하다는 점이 돋보인다.

일괄 양자화 대신 선택적 관리로 실사용 효율 높인 ‘SRA-MoE’

MoE의 장점은 매개변수를 크게 확장할 수 있으면서도 연산 비용은 낮추는 데 있다. 매개변수가 300B 수준이어도 실제 동작할 때는 20B 수준의 전문가 그룹만 작동하는 식이다. 하지만 연산 효율을 높이는 AI 모델 양자화 시 미세한 값의 변화로 원래 전문가가 아닌 다른 전문가로 할당되는 ‘라우팅 시프트’ 현상이 발생할 수 있고 이 경우 성능이 크게 떨어진다. LLM 중앙 관리자가 변호사를 호출했는데 변리사가 오는 바람에 결과가 틀어지는 식이다.

지금까지의 MoE 양자화는 향후 왜곡을 감안하고 모든 토큰을 일괄 양자화했는데, 연구팀은 대다수 토큰이 크게 압축해도 최종 출력에 변화가 없고 일부 토큰만 최종 출력에 큰 차이가 있다는 것을 확인했다. 이에 모든 토큰을 일괄 정렬하기보다는 출력 변화에 민감한 토큰을 선택적으로 정렬해 효율화해야 한다고 제시했다. 우선 토큰 양자화 시 향후 결괏값을 사전에 측정하는 Sampled-JSD 지표를 통해 모델 간의 출력 결과 차이를 확인하고, 이를 바탕으로 민감한 토큰들만 추려내 최적화한다. 또한 영향이 적은 하위 전문가를 배제하기 위한 상위 세 개의 전문가를 정렬하는 Top-3K MSE 손실 함수도 제안했다.

실험은 큐웬3-30B-A3B와 솔라-오픈-100B, GLM-4.5-Air 세 개를 활용해 가중치 4비트 및 3비트로 양자화하고 AIME24, AIME24, GPQA-다이아몬드 등 고급 추론 벤치마크를 적용했다. 큐웬 3-30B-A3B 모델을 가중치 4비트한 결과 사후훈련양자화(GPTQ)와 라우팅 정렬(RA)로 AIME25 테스트를 했을 때 정답률이 67.5%인 반면 선택적 라우터 정렬(SRA)은 70%의 정확도를 보였다. 가중치 3비트 양자화 시 AIME24 결과는 GPTQ, RA가 각각 66.67, 69.58일 때 SRA는 72.08을 기록했다.

대형 모델인 솔라-오픈-100B로 양자화해 AIME24를 해결한 결과에서는 RA 방식이 오히려 노이즈 개입으로 인해 GPTQ보다 성능이 떨어졌지만, SRA는 GPTQ보다 더 높은 성능을 보여줬다. 아울러 손실 함수를 논문에서 제안한 Top-3K로 설정했을 때는 원래 활성화값 혹은 전체 전문가를 모두 정렬한 것보다 높은 점수를 보여줬다.

엔비디아 H100을 활용해 vLLM 실측 추론 효율성을 테스트한 결과에서는 전반적인 출력 토큰은 20% 향상되고 소요 시간은 17% 줄어주는 결과를 보여줬다. 초당 출력 토큰 수는 16비트 기준 389.04토큰인데 SRA-MoE 적용 양자화 환경에서는 469.26토큰으로 20.6% 늘었다. 총 처리 토큰수도 20.6% 늘었으며 출력당 토큰 소요 시간은 10.19ms에서 8.44ms로 17.1% 단축됐다. 특히 최대 수용 가능한 콘텍스트에 영향을 주는 KV 캐시는 기존 12만 6000토큰에서 58만 3000토큰으로 약 4.6배 증가했다.

SRA-MoE는 라우팅 경로 변경은 대다수 토큰에 영향을 주지 않고, 일부 값만 정렬하면 된다는 방안을 제시했다. 또한 기존에는 모든 데이터를 균일한 가중치로 학습했는데 SRA는 절반 가량의 토큰을 학습에서 배제해 작업 효율성을 높이고 성능 자체를 높였다. 특히 솔라-오픈-100B, GLM-4.5-Air 등 대형 모델을 4비트 양자화한 결과에서는 KV 캐시를 확보하면서도 원본에 가까운 성능을 유지해 실용도가 높다고 평가할 수 있다.

기술력 입증한 노타, 기술 경쟁력 확보에 집중

노타는 두 편의 논문 발표 이외에도 ICML 2026 AdaptFM 워크숍에서 열린 큐웬 효율성 경쟁 대회에서 3위를 차지하며 기술 경쟁력을 알렸다. 큐웬 효율성 경쟁은 큐웬 3.5-4B 모델의 답변 생성 속도를 엔비디아 A10G GPU 서빙 환경에서 얼마나 향상할 수 있는지를 겨루는 대회로, 올해 전 세계 40여 개 팀이 참여했다. 노타는 모델 정확도를 유지하면서 평균 6.978배 빠른 추론 속도를 달성해 최종 3위에 올랐다. 이는 제한된 GPU 환경에서도 모델 성능과 추론 효율을 동시에 확보할 수 있는 노타의 기술력을 입증한 결과다.

김태호 노타 최고기술책임자 겸 공동창업자는 "이번 성과는 글로벌 AI 생태계에서 활용되는 대표적인 오픈소스 AI 모델인 큐웬을 대상으로 노타의 추론 최적화 기술력을 검증받은 사례”라며, “앞으로도 다양한 AI 서비스와 온디바이스·엣지 AI 환경에 최적화 기술을 확대 적용해 나갈 것"이라고 말했다.

IT동아 남시현 기자 (sh@itdonga.com)