번역 AI 기업 딥엘(DeepL)이 12일 실시간 음성 번역 서비스 ‘딥엘 보이스(DeepL Voice)’에 쓰는 새 음성 AI 모델 ‘오러(Aure)’를 공개했다. 오러는 말하는 사람의 어조와 감정, 강세, 말하는 속도가 대화 중에 바뀌는 것을 따라가며 번역 음성에 그대로 반영한다. 딥엘은 지금까지 내놓은 음성 모델 가운데 실제 사람 목소리에 가장 가깝다고 설명했다.

기존 딥엘 보이스는 대화 초반에 받은 음성 샘플을 기준으로 번역 음성을 생성했다. 이 방식은 누가 말하는지는 살릴 수 있었지만, 대화 도중 달라지는 감정이나 속도, 비꼬는 말처럼 내용과 반대 뜻을 담은 표현은 따라가지 못했다. 오러는 들어오는 음성을 계속 분석하고, 번역문과 원래 음성을 함께 활용해 문장을 어떤 말투로 전달할지 정한다. 오러는 딥엘이 앞서 발표한 ‘음성 보존’ 기술을 바탕으로 개발됐다. 음성 보존은 획일적인 합성 음성 대신 화자 본인의 목소리로 번역 음성을 들려주는 기술이다.

딥엘은 개발 과정의 기술 과제로 배경 소음과 울림, 음성 왜곡을 걸러 화자의 목소리 특성과 운율만 추출하는 일, 다른 언어로 목소리를 재현할 때 억양을 과장하거나 왜곡하지 않는 일, 같은 사람이 여러 언어로 말한 학습 데이터가 부족한 점을 들었다. 딥엘 보이스는 보안 규정에 따라 회의 녹취와 번역 내용을 저장하지 않고 세션이 끝나면 메모리에서 지우기 때문에, 오러는 화자가 말을 마치기 전에 목소리 특성을 파악하도록 설계됐다. 딥엘은 목소리 특성과 운율, 발화 내용을 따로 떼어 학습하는 기법에 강화학습을 더해 번역 언어에서도 자연스럽게 들리도록 다듬었다고 밝혔다.

오러는 별도 설정 없이 ‘딥엘 보이스 포 온라인 미팅’과 ‘딥엘 보이스 포 인퍼슨 컨버세이션’, 딥엘 음성 API에 자동 적용된다. 처음에는 한국어와 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어, 포르투갈어 등 8개 언어를 지원하고, 다른 언어는 기존 음성 모델로 번역한다. 딥엘은 지원 언어를 늘려 갈 계획이다. 딥엘 보이스는 파이오니어와 아라마크, 아벤드라 인터내셔널, 이네텀 등이 다국어 회의에 쓰고 있다.

야렉 쿠틸로브스키 딥엘 창업자 겸 CEO는 “오러로 표현의 미세한 변화까지 바로 포착해 다른 언어로 번역된 화자의 목소리에 실시간 반영할 수 있게 됐다”고 말했다.

자세한 내용은 딥엘에서 확인할 수 있다.

이미지 출처: 딥엘