음성 AI 기업 일레븐랩스가 현지 시각 10일 녹음된 음성을 글로 옮기는 음성 인식 모델 ‘스크라이브 v3(Scribe v3)’와 실시간 버전 ‘스크라이브 v3 라이브’를 공개했다. 회사에 따르면, 스크라이브 v3는 102개 언어에서 이전 모델 v2보다 단어 오류가 27% 적고, v3 라이브는 v2 리얼타임보다 오류가 43% 적다.

화자 분리는 여러 사람이 말할 때 누가 어떤 말을 했는지 구분하는 기능이다. 스크라이브 v3는 3명 이상이 말하는 녹음에서 화자 분리 오류가 v2보다 17% 줄었다. 실시간 모델인 v3 라이브에는 이 기능이 처음 들어갔으며, 영어 데이터에서 오류율은 3.1%로 다른 실시간 모델의 5.9~7.3%보다 낮았다고 회사는 밝혔다.

v3 라이브는 상대방이 말을 끝냈는지 판단할 때 침묵 길이뿐 아니라 대화 내용도 함께 본다. 일레븐랩스는 이 덕분에 전화 상담 중 번호를 불러주다 잠시 멈춘 고객의 말이 중간에 끊기지 않는다고 설명했다.

일레븐랩스에 따르면, 회의록 앱과 콜센터, 의료 기록 도구, 음성 상담 에이전트 등이 스크라이브로 수억 시간 분량의 음성을 글로 옮겼다. 회사는 오류가 이름과 숫자, 전문 용어에 몰리기 쉽다고 설명했다. 1시간 회의를 기준으로 단어 오류율 4%와 2%의 차이는 잘못 옮긴 단어 180개에 해당한다고 회사는 계산했다.

이용자는 자주 쓰는 고유명사나 전문 용어를 최대 1,000개까지 미리 등록해 인식 정확도를 높일 수 있고, 실시간 버전은 수천 개 용어를 등록해 두는 용어 목록과 문장 중간에 언어가 바뀌어도 알아듣는 다국어 모드를 지원한다. 날짜 표기 방식 같은 출력 규칙은 일반 영어 문장으로 지정할 수 있다.

언어별로는 스크라이브 v3에서 독일어 오류가 42%, 스페인어가 35%, 영어가 23% 줄었고, v3 라이브에서는 그리스어 오류가 77% 줄었다. 평가는 102개 언어 음성 데이터인 FLEURS의 내부 버전과 16개 언어 자체 데이터로 진행했으며 회사는 이 자체 데이터를 오픈소스로 공개할 계획이다.

네덜란드 에너지 기업 에네코는 출시 전 v3 라이브를 음성 상담 에이전트에 시험했으며, 고객이 불러준 우편번호를 첫 시도에 맞게 알아듣는 비율이 40%, 번지수는 15% 높아졌다고 밝혔다. 두 모델은 일레븐랩스의 개발자용 API에서 바로 쓸 수 있고, v3 라이브는 에이전트 개발 도구 일레븐에이전트에서도 제공된다. 기업 고객은 미국 외에 유럽, 인도, 싱가포르의 격리 환경을 고를 수 있고, 요청이 끝나면 음성과 텍스트를 바로 지우는 모드도 쓸 수 있다.

자세한 내용은 일레븐랩스에서 확인할 수 있다.

▶︎ 관련 기사: 일레븐랩스, 세계에서 가장 정확한 음성인식 모델 ‘스크라이브’ 공개… 99개 언어 지원

이미지 출처: 일레븐랩스