인공지능(AI) 오디오 연구·개발 전문기업 일레븐랩스(ElevenLabs)가 기업이 보유한 과거 음성 자료를 AI로 복원하고, 복원한 목소리로 새로운 콘텐츠까지 제작할 수 있는 기업용 음성 복원 사업을 확대하고 있다. 오래된 녹음에서 특정 인물의 목소리를 되살리는 데 그치지 않고 사내 교육과 미디어 제작, 다국어 콘텐츠 현지화 등으로 활용 영역을 넓히는 전략이다.

일레븐랩스의 AI 음성 복원 서비스는 PVC(Professional Voice Cloning)와 텍스트 음성 변환(Text-to-Speech) 기술을 기반으로 한다. 화자의 음성 자료를 학습해 음색과 발화 특성을 반영한 음성 모델을 구축하고, 이후 입력한 텍스트를 해당 화자의 목소리로 생성하는 방식이다.

회사는 노이즈가 포함된 오래된 녹음이나 품질이 낮은 아카이브 음원에서도 음성을 복원할 수 있도록 자체 오디오 전처리 기술을 함께 적용하고 있다고 설명했다. 한국어의 억양과 발화 리듬, 감정적 뉘앙스를 자연스럽게 구현하는 데도 기술 역량을 집중하고 있다.

화자 발성 데이터로 모델 미세조정…음색·호흡·억양 학습

일레븐랩스의 PVC는 소량의 참조 음성을 단순 입력값으로 사용하는 방식에서 한 단계 더 나아가 화자의 발성 데이터를 이용해 모델 자체를 미세조정하는 것이 특징이다.

이를 통해 음색뿐 아니라 호흡과 말끝의 억양 처리 등 화자 고유의 발화 특성을 모델에 학습한다. 여기에 노이즈 제거와 화자 분리 등의 오디오 전처리 기술을 결합해 잡음이 포함된 구형 녹음이나 보존 상태가 일정하지 않은 아카이브 자료의 활용도를 높였다.

특히 기업이 장기간 보관해 온 창업자나 경영진의 연설, 인터뷰, 강연 등의 음성 자료를 복원하는 기업 헤리티지 아카이빙 분야에 활용할 수 있다.

복원한 목소리로 새 문장 생성…70개 이상 언어 지원

복원된 목소리를 기존 음원을 재생하는 용도로만 사용하는 것도 아니다.

일레븐랩스의 멀티링구얼 모델은 70개 이상의 언어를 지원하며, 특정 화자의 음색과 음성 특성을 유지하면서 기존 녹음에 없던 새로운 문장을 생성할 수 있다.

이에 따라 과거 인물의 육성을 디지털 형태로 보존하는 것을 넘어 복원한 음성을 활용한 신규 콘텐츠 제작도 가능하다. 사내 교육 콘텐츠나 방송·다큐멘터리 제작, 오디오북을 비롯해 지역 사투리 등 언어 유산 보존에도 적용할 수 있다.

하나의 음성을 여러 언어로 구현할 수 있어 글로벌 기업의 다국어 콘텐츠 현지화 분야에서도 활용 가능성이 있다.

SOC 2·ISO 27001·GDPR 대응…기업 데이터 보안 강화

기업이 보유한 음성 자료에는 내부 자산이나 민감한 정보가 포함될 수 있는 만큼 보안 기능도 기업용 서비스의 주요 요소로 꼽힌다.

일레븐랩스는 SOC 2와 ISO 27001 등 보안 관련 인증을 확보하고 GDPR 기준에 대응하고 있다고 밝혔다. 엔터프라이즈 플랜에서는 요청 데이터를 저장하지 않고 폐기하는 제로 리텐션 모드와 특정 지역에 데이터를 저장할 수 있는 데이터 레지던시 기능도 지원한다.

회사는 이 같은 체계를 기반으로 보안 요구 수준이 높은 금융과 공공, 미디어 분야에서도 서비스를 활용할 수 있도록 기업용 기능을 제공하고 있다.

SK와 선대회장 육성 복원 프로젝트…국내 기업 협력 확대

국내 기업을 대상으로 한 실제 적용 사례도 늘리고 있다.

일레븐랩스는 올해 초 SK주식회사와 정식 계약을 체결하고 선대회장의 기존 음성 자료를 복원해 사내 경영철학 콘텐츠에 활용하는 프로젝트를 진행했다.

기업이 보유한 역사적 음성 자료를 단순히 보관하는 것에서 벗어나 구성원을 위한 교육이나 기업 문화 콘텐츠로 다시 활용한 사례다.

국내 미디어·콘텐츠 기업과 IT 기업을 중심으로 협력 범위도 확대하고 있다. 일레븐랩스에 따르면 미디어·콘텐츠 분야에서는 MBC C&I와 SBS, 스푼랩스(Spoon Labs) 등과 협업하고 있으며 이스트소프트, 크래프톤, 네이버 등도 고객사로 확보했다.

홍상원 일레븐랩스코리아 총괄은 “AI 음성 기술은 기업의 역사와 정체성을 보존하는 자산이 될 수 있다”며 “아카이브 음원을 보유한 국내 기업과 기관들이 이를 새로운 방식으로 활용할 수 있도록 지원 범위를 지속적으로 넓혀가겠다”고 말했다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지