[IT동아 남시현 기자] 딥러닝, AI 분야에서 양자화(Quantization)란 모델의 가중치와 활성화를 32비트 부동소수점(FP32) 같은 높은 정밀도에서 8비트 정수(INT8) 같은 낮은 정밀도로 변환하는 과정이다. 예를 들어 FP32 기반이 도로나 건물 주소까지 모두 기재된 정밀한 지도라면 INT8은 주요 건물과 큰 도로만 그려진 지도다. INT8 지도는 가볍고 작아서 휴대하기 좋고, 길을 찾는데도 훨씬 빠르다. 당연히 세세한 정보까지 찾기는 어렵지만 목적지에 도착하는 데는 큰 문제가 없다. AI 모델 양자화도 비슷한 원리다.

AI 모델을 양자화하면 동작에 필요한 연산량이 줄어들고 동작 속도도 빨라진다. 모델이 차지하는 저장공간과 메모리 사용량도 줄어들어 에너지 효율성도 향상된다. 필연적으로 정확도가 줄어들지만 최대한 손실을 줄이는 것이 AI 양자화 기술기업의 경쟁력이며, 갈수록 경쟁은 첨예해지고 있다. 초기에는 16비트나 8비트 양자화로 시작했으나, 최근에는 2비트 이하의 극단적 양자화도 등장하기 시작했다.

마이크로소프트는 올해 4월 1.58비트의 극단적 양자화가 반영된 비트넷 b1.58 2B4T 모델을 선보였다. 엔비디아는 AI 양자화 기술 기업인 데시(Deci), 옴니ML를 인수하며 시장 지원에 나서고 있으며, 아마존은 퍼시브(Perceive), 레드햇은 뉴럴 매직(Neural Magic)을 각각 인수해 양자화 생태계를 확보 중이다. 모델 양자화와 밀접한 관련이 있는 Arm과 퀄컴, 미디어텍 등 소형 기기용 반도체 제조사들도 기술 지원 및 생태계 확장에 공을 들이고 있다.

흥미로운 점은 소수의 빅테크 기업이 생태계를 독식하지 않고 다양한 기술 스타트업들이 함께 생태계를 만들고 있다. AI 적용 분야가 워낙 넓고 기업마다 적용 대상 등이 다른 덕분이다. 우리나라에서는 에너자이, 스퀴즈비츠, 노타, 클리카 등의 스타트업이 AI 모델 양자화 분야를 섭렵 중이다. 각각의 기업들이 괄목할만한 성장을 이루고 있는데, 에너자이의 사례를 통해 AI 모델 양자화 기업의 행보를 살펴본다.

1.58비트 양자화로 세계 시장 공략 나선 에너자이

에너자이는 AI 모델의 정확도 손실을 최소화하며 극저비트로 양자화하는 기술과 자체 개발한 AI 추론 최적화 엔진 ‘옵티미엄(Optimium)’을 기반으로 AI 양자화 시장에 도전 중이다. 옵티미엄은 1.58비트 커널을 유연하게 생성할 수 있어 1.58비트의 극저비트 정밀도(extreme low-bit precision) 모델도 지원한다. 이 기술을 활용했을 때 오픈AI의 음성인식 모델 ‘위스퍼 스몰’ 모델을 기존 대비 정확도 손실은 0.39% 미만으로 최소화하면서 속도는 2.46배 향상시키고, 엣지 환경에서 음성 및 언어 AI 모델 구동 시 주요 병목이 되는 메모리 사용량을 77.3% 절감하는 결과를 발휘했다.

에너자이는 지난 10월 15일 미국 캘리포니아 주 세너제이에서 열린 시냅틱스 테크 데이에 참가해 시냅틱스 고객사 및 파트너사를 대상으로 시냅틱스 SL1680 임베디드 IoT(사물인터넷) SoC(시스템 온 칩)에 1.58비트 AI 모델을 시연했다. 해당 기기는 소비자 가전, 산업 제어 시스템, 디지털 사이니지, 홈 시큐리티 게이트 웨이 등 저전력 기기에 주로 활용된다. 해당 기기 비교적 저사양 기기에서 서버연결 없이 자체적으로 고성능 음성 및 언어 AI 모델을 구동했다는 게 핵심이다.

아울러 산업용 에이전트 AI 플랫폼을 운영하는 미국 이터레이트.AI(Iterate.ai)가 주최한 AI 심포지엄에 패널로 참여했고, 과기정통부가 주관하고 뉴욕대학교 스턴경영대학원, 정보통신산업진흥원(NIPA), 한국소프트웨어산업협회(KOSA)가 공동 운영하는 현지화 AI 엑셀러레이팅 프로그램(AIIA)을 이수해 현지 시장 전략 고도화 및 투자자 네트워킹 등 미국 동부 시장 진출을 위한 발판도 마련했다. 또 미국의 IT 매체인 테크크런치(TechCrunch)가 주최한 ‘K-이노베이터 피치 나이트’와 ‘코리안 파운더스 밋업 인 스탠퍼드’ 행사에서 에너자이의 기술력을 소개하기도 했다.

11월에는 미국 캘리포니아 주 애너하임에서 개최되는 임베디드 월드 노스 아메리카(embedded world North America)에 부스를 마련했고, 초효율적인 임베디드 AI 추론을 위한 극단적 양자화 기술(Extreme Quantization Techniques for Ultra-efficient Embedded AI Inference)을 주제로 발표했다.

한국 넘어 아시아 시장에서도 주요 플레이어로 성장해

우리나라를 비롯한 아시아 시장에서도 활동 범위를 넓히고 있다. 에너자이는 지난 2022년 Arm Ai 파트너 프로그램에 선정돼 협력 관계에 있으며, 지난 10월에는 국내외 Arm 관련 파트너사가 참여하는 Arm 언락드 코리아 2025에서 ‘다양한 Arm 에코시스템 전반에서 온디바이스 AI의 확장’을 주제로 패널 토크에 참여했다. 11월에는 대만을 찾아 사물인터넷 분야 협회인 ‘엣지 AI 파운데이션’이 주최한 행사에서 어드밴텍(Advantech)과 함께 ‘엣지 AI 최적화: 경량 모델 및 확장 가능한 아키텍처(Optimizing Edge AI: Lightweight Models and Scalable Architecture)’를 주제로 워크숍을 진행했다.

패널토크에서는 퀄컴, 르네사스, 어드밴텍과 함께 ‘응용 엣지 AI-엣지 AI 배포 및 조율부터 확장 가능한 설루션(Applied Edge AI - Orchestrating Edge AI: From Silicon to Scalable Solutions)을 주제로 논의를 나눴다. 행사 이후 어드밴텍의 소프트웨어 개발 환경 및 운영 시스템인 WEDA와 관련해 엣지 AI 설루션 개발 및 배포 분야에서 협력하는 내용의 양해각서를 체결했다.

한편 에너자이는 2026년 1월 6일부터 9일까지 미국 네바다 주 라스베이거스에서 개최되는 소비자 가전 전시회(CES 2026)의 'K-스타트업 통합관’에도 참가해 Arm 기반 엣지용 SoC에서 에너자이의 극저비트 기술을 적용한 음성 기반 실시간 명령 제어 모델과, 실시간 자막 생성 및 번역을 수행하는 모델을 각각 선보일 예정이다.

쌓이기 시작한 도입 사례, 2026년이 더욱 기대되는 AI 모델 양자화 업계

에너자이는 글로벌 시장에서 협력 구도를 마련하고 기술을 소개하면서도 꾸준히 사업화를 추진 중이다. 앞서 해외 출장 기간 중에는 에너자이가 양자화한 음성 및 언어 AI 모델이 LG유플러스의 IP TV용 셋톱박스 200만 대에 상용 배포되기도 했다. AI를 도입하는 기업들이 많아질수록 AI 모델 양자화 기술을 찾는 수요도 자연스레 늘어날 상황이다.

기사를 통해서는 에너자이 한 곳의 사례만 들었지만, 이미 모든 국내외 AI 양자화 기업들이 각자의 분야에서 수많은 러브콜과 기술 협력을 요청받는 상황이다. 당연하지만 극단적 양자화 기술의 발전은 곧 일상에서 사용하는 다양한 기기에서 더 고도화된 AI를 누리고, 더 나아가 우리 일상 곳곳에서 AI를 활용할 수 있는 기술적 해답이기 때문이다. 오는 2026년은 우리나라가 AI 모델 양자화 기술 종주국으로 인정받는 해가 될 것으로 보인다.

IT동아 남시현 기자 (sh@itdonga.com)