SK텔레콤이 자체 개발한 거대언어모델(LLM) 기반의 멀티모달 및 문서 해석 기술을 공개했다고 29일(한국 시간) 발표했다. SK텔레콤에 따르면 이번에 공개한 기술은 'A.X 인코더(A.X Encoder)'와 'A.X 4.0 VL 라이트(A.X 4.0 VL Light)' 2종으로, 오픈소스 커뮤니티 허깅페이스(Hugging Face)를 통해 학술 연구나 상업 이용에 자유롭게 활용할 수 있다.

A.X 인코더는 긴 문서를 빠르고 효율적으로 처리하는 범용 문서 해석 기술이다. 1억 4천9백만 개 매개변수를 바탕으로 작동하며, 자연어 이해 성능지표에서 평균 85.47점을 달성해 글로벌 최고 수준급 성능을 확인했다. 기존 글로벌 오픈소스 모델 기반 'RoBerTa-base'의 성능지표 80.19점을 웃도는 수준이다.

특히 A.X 인코더는 16,384개 토큰까지 처리가 가능해 기존 모델들보다 최대 3배의 추론속도와 2배의 학습속도를 구현할 수 있다. 일반적으로 기존 모델들이 512개 토큰을 처리해 문장이나 문단 수준의 처리만 가능했던 것과 비교하면 월등히 큰 문맥을 빠르고 효율적으로 처리한다.

A.X 4.0 VL 라이트는 대규모 멀티모달 한국어 데이터셋으로 학습된 시각-언어모델(VLM)이다. 70억 개 매개변수의 A.X 4.0 라이트 모델을 기반으로 개발됐으며, 한국어 관련 시각정보 및 언어 이해뿐만 아니라 표·그래프 이해, 제조 도면 이해 같은 기업용 애플리케이션에서 탁월한 성능을 제공한다.

한국어 시각 벤치마크에서 평균 79.4점을 기록한 A.X 4.0 VL 라이트는 Qwen2.5-VL32B(73.4점)보다 훨씬 작은 모델 크기에도 더 우수한 성능을 보였다. 한국어 텍스트 벤치마크에서는 평균 60.2점을 기록해 경량모델임에도 국내 모델 중 최상위권에 올랐다.

김태윤 SK텔레콤 파운데이션 모델 담당은 "독자적인 기술력 확보가 소버린 AI의 핵심인 만큼, 자체 역량을 높이고 컨소시엄 기업들과의 협업에도 박차를 가해 글로벌 최고 수준의 AI 경쟁력을 확보하겠다"고 말했다.

SK텔레콤은 7월 한 달 동안 A.X 4.0 모델 2종과 A.X 3.1 모델 2종에 이어 이번 기술 2종을 추가하면서 총 6개 모델을 발표했다. 회사는 프롬 스크래치(From Scratch) 방식의 LLM 개발을 지속하며, 향후 발표할 A.X 4.0 추론형 모델 등 개발중인 LLM의 활용도와 성능을 높여갈 계획이다.

해당 기사의 원문은 SKT 뉴스룸에서 확인 가능하다.

이미지 출처: SKT