㈜크래프톤이 음성을 이해하고 생성할 수 있는 AI 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다. 이용자의 목소리에 담긴 감정과 억양 등의 정보를 활용해 자연스러운 음성 답변을 생성하는 모델로, 향후 이용자와 함께 게임을 플레이하는 AI 캐릭터 ‘CPC(Co-Playable Character)’ 고도화에 활용할 계획이다.

A.X K2 Raon-Speech는 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델’ 프로젝트의 2차수 성과 가운데 하나다. 크래프톤은 해당 프로젝트의 SK텔레콤 정예팀에 참여해 차세대 멀티모달 모델 연구를 주도하고 있다.

한국어·영어 46개 벤치마크로 종합 성능 평가

A.X K2 Raon-Speech는 210억개(21B) 파라미터 규모의 음성 언어 모델이다. 300억개(30B) 이하급 공개 음성 언어 모델 가운데 한국어 종합 성능 1위와 영어 종합 성능 3위를 기록했다.

평가는 음성 인식과 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역을 대상으로 진행됐다. LibriSpeech, KSponSpeech, VoiceBench, KVoiceBench, MMAU, KMMAU, API-Bank, FunctionChat-Bench 등을 포함해 한국어 24개와 영어 22개 등 총 46개의 벤치마크가 활용됐다.

이번 모델은 SK텔레콤의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 적용한 것이 특징이다. 음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하고, 음성 코덱은 AI가 생성한 정보를 자연스러운 음성으로 복원한다.

크래프톤은 언어 모델이 지닌 텍스트 처리 역량을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 방식을 개발해 적용했다. 이를 통해 텍스트뿐 아니라 음성까지 이해하고 생성할 수 있도록 모델의 기능을 확장했다.

감정·억양 손실 줄여 자연스러운 음성 답변 생성

일반적인 AI 음성 대화 시스템은 사용자의 말을 텍스트로 변환해 이해한 뒤 텍스트 답변을 만들고, 이를 다시 음성으로 합성하는 과정을 거친다. 이 과정에서는 사용자의 목소리에 포함된 감정이나 억양 등의 정보가 손실될 수 있다.

A.X K2 Raon-Speech는 사용자 목소리에 담긴 정보를 활용해 보다 자연스러운 음성 답변을 생성하도록 설계됐다. 음성 인식과 언어 이해, 음성 생성 역량을 하나의 모델에 결합해 사람과 AI 사이의 음성 상호작용을 강화하는 데 초점을 맞췄다.

크래프톤은 지난 4월 AI 모델 브랜드 ‘Raon(라온)’을 출범하고 음성 언어 모델 ‘Raon-Speech’, 실시간 음성 대화 모델 ‘Raon-SpeechChat’, 텍스트-음성 변환 모델 ‘Raon-OpenTTS’, 비전 인코더 ‘Raon-VisionEncoder’ 등 4종의 AI 모델을 오픈소스로 공개한 바 있다.

A.X K2 Raon-Speech는 당시 공개한 Raon-Speech의 학습 방법을 기반으로 개발됐다. 크래프톤이 자체 학습한 음성 인코더와 코덱을 SK텔레콤의 소형 언어 모델에 적용해 기존 음성 언어 모델 기술을 한 단계 발전시켰다.

게임 속 AI 캐릭터 ‘CPC’ 고도화에 활용

크래프톤은 AI를 새로운 게임 경험을 구현하기 위한 핵심 기술로 보고 언어와 음성, 비전 등 AI 파운데이션 기술 연구를 이어가고 있다. 이번 연구로 확보한 음성 AI 역량은 이용자와 함께 게임을 플레이하는 AI 캐릭터인 CPC 고도화에 활용할 예정이다.

CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하도록 해 이용자와 AI가 더욱 자연스럽게 상호작용하는 게임 경험을 구현한다는 구상이다.

이강욱 크래프톤 CAIO는 “A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물”이라며 “앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것”이라고 말했다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지