글로벌 언어 AI 기업 딥엘(DeepL)이 실시간 음성 번역 기술 ‘딥엘 보이스(DeepL Voice)’를 대규모 업데이트했다. 번역된 내용뿐 아니라 화자의 목소리와 어조, 발화 속도, 억양 등 음성 특성까지 보존하는 신규 보이스 모델을 적용해 서로 다른 언어로 대화할 때도 실제 화자의 표현을 보다 자연스럽게 전달하는 데 초점을 맞췄다.

딥엘에 따르면 딥엘 보이스는 슬레이터(Slator)의 독립 평가에서 AI 번역 자막 정확도 부문 1위를 기록한 바 있다. 이번 업데이트에서는 실시간 번역 과정에서 사용자가 ‘무엇을 말하는지’를 전달하는 수준을 넘어 ‘어떻게 말하는지’까지 반영하도록 음성 AI 기능을 확장했다.

이에 따라 줌(Zoom), 마이크로소프트 팀즈(Microsoft Teams), 구글 미트(Google Meet) 등을 이용한 다국어 회의에서 번역 음성을 제공하면서도 원래 화자의 목소리 특성과 말투, 말하는 속도 등을 유지할 수 있도록 했다.

야렉 쿠틸로브스키(Jarek Kutylowski) 딥엘 창업자 겸 CEO는 “음성은 스스로를 드러내는 방식이며, 단순한 단어 이상의 의미가 있다”며 “딥엘 보이스는 자막 번역을 넘어 실시간으로 사용자의 정체성, 감정, 말하는 타이밍까지 보존하는 오디오 기반 AI 시스템으로 발전하고 있다”고 말했다.

이어 “AI를 통해 대화하고 있다는 사실을 잊을 만큼 자연스러운 음성 경험을 제공하게 됐다”며 “이러한 모델은 실시간 다국어 대화에 인간적인 요소를 더한다”고 덧붙였다.

말투·리듬·억양 유지…한국어 포함 14개 언어서 음성 보존

실시간 음성 번역 기술은 그동안 번역 정확도와 응답 속도를 중심으로 발전해 왔다. 최근에는 화자를 구별하는 고유한 음성 특성과 발화 방식까지 얼마나 자연스럽게 유지할 수 있는지가 주요 기술 과제로 떠오르고 있다.

딥엘의 신규 보이스 모델은 말투와 리듬, 속도, 억양 등 화자의 음성 특성을 번역 결과에 반영하도록 설계됐다. 기계적으로 생성된 동일한 형태의 음성을 전달하는 대신 언어가 바뀐 이후에도 실제 화자의 특성이 드러나도록 하는 방식이다.

음성 보존 기능은 한국어를 포함한 14개 언어를 지원한다. 여러 참가자가 동시에 대화하는 환경에서도 각각의 화자를 구분하고 개별 음성 특성을 유지하는 것이 특징이다.

표현 전달 기능도 강화했다. 질문을 던질 때의 뉘앙스나 대화 중 발생하는 망설임, 긴박함, 기대감 등 음성에 담긴 표현 요소를 번역된 음성에도 반영한다.

실시간 대화에 필요한 낮은 지연 시간도 유지한다. 번역 과정에서 음성의 맥락과 화자 특성을 처리하면서도 대화 흐름을 방해하지 않도록 응답 시간을 줄였다. 음성에서 음성으로 직접 번역하는 ‘보이스 투 보이스(Voice to Voice)’ 지원 언어는 30개 이상으로 확대됐다.

세바스찬 엔더라인(Sebastian Enderlein) 딥엘 최고기술책임자(CTO)는 “이번 기능을 구현하기 위해서는 음성의 고유한 정체성을 유지하는 동시에 번역 품질과 낮은 지연 시간을 모두 확보해야 하는 등 여러 기술적 과제가 존재했다”며 “딥엘 보이스의 기술적 역량을 한 단계 끌어올린 중요한 전환점이자 사람들이 언어를 넘어 소통할 때 기대하는 새로운 기준을 제시할 것”이라고 말했다.

그는 이어 “기업의 운영 방식과 고객 서비스, 새로운 다국어 제품 및 경험 구축에 이르기까지 새로운 가능성을 열어줄 뿐 아니라 아직 상상하지 못한 다양한 유스케이스로 확장될 수도 있다”고 설명했다.

줌·팀즈·구글 미트 연동하는 보이스 데스크톱 앱 공개

딥엘은 이번 업데이트와 함께 윈도우(Windows)와 맥(Mac)에서 사용할 수 있는 보이스 데스크톱 앱도 출시했다.

새 앱은 특정 회의 플랫폼에 별도로 기능을 연동하지 않아도 줌, MS 팀즈, 구글 미트 등 주요 온라인 회의 서비스에서 딥엘의 음성 번역 기능을 사용할 수 있도록 구성됐다. 온라인 미팅뿐 아니라 대면 대화와 딥엘 API에서도 보이스 투 보이스 번역 기능을 정식 지원한다.

데스크톱 앱은 진행 중인 통화를 자동으로 감지하고 실시간 번역 자막을 화면 위에 상시 오버레이 형태로 표시한다. 발표 자료를 확인하거나 메모를 작성하는 동안에도 번역 내용을 함께 확인할 수 있으며, 자막을 읽는 대신 번역된 음성을 듣고 싶을 경우 음성 간 번역 기능으로 전환할 수 있다.

사용 환경에 따른 설정 기능도 제공한다. 자막 크기와 배경 오디오 음량, 번역 관련 설정 등을 조정할 수 있으며, 향후 새로운 딥엘 보이스 기능이 추가될 경우 각 화상회의 플랫폼의 개별 업데이트를 기다리지 않고 데스크톱 앱을 통해 사용할 수 있도록 했다.

딥엘은 이번 업데이트를 통해 실시간 음성 번역의 범위를 텍스트 의미 전달에서 화자의 음성적 특성과 표현까지 보존하는 방향으로 확대했다. 동시에 전용 데스크톱 앱을 통해 온라인 회의 플랫폼별 연동 부담을 줄이고, 다국어 화상회의와 대면 대화, API 기반 서비스까지 음성 번역 적용 범위를 넓혔다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지