음성 합성 모델이 앞선 대화의 오디오를 그대로 입력으로 받는다. 인월드 AI가 현지 시각 9월 2일 발표한 리얼타임 TTS-2 제품군의 기능이다. 품질 중심인 리얼타임 TTS-2와 지연·비용을 줄인 리얼타임 TTS-2 플래시로 나뉜다.

모델 자체는 5월 5일 처음 공개됐고 8월 31일 정식 출시됐다. 이번 발표에서 새로 추가된 것은 플래시 모델과 요금 체계다. 기존 리얼타임 TTS 1.5를 쓰던 고객은 코드를 고치지 않고 모델 식별자만 바꾸면 된다.

회사가 밝힌 첫 오디오 출력까지의 지연은 TTS-2가 100밀리초 미만, 플래시가 25밀리초다. 상위 99% 요청을 기준으로 서버 안에서 잰 값이며 네트워크 지연은 제외했다. 다만 같은 회사의 블로그 문답에는 중앙값 기준 200밀리초 미만이라는 수치도 함께 적혀 있다.

대화 인식 기능은 이전 대화 턴을 글로 옮긴 텍스트가 아니라 실제 오디오를 받는다. 상대가 어떤 말투로 말했는지에 맞춰 모델의 말하는 방식이 달라진다. 음성 연출은 정해진 감정 목록에서 고르는 방식이 아니라 자연어 지시를 대괄호에 넣어 문장 앞에 붙이는 방식이고, 웃음이나 한숨 같은 표시는 단어로 읽지 않고 소리로 낸다. 한 번의 생성 안에서 문장 중간에 언어를 바꿔도 목소리와 음높이가 유지된다.

가격은 종량제 기준으로 100만 자당 TTS-2가 25달러(약 3만 4,000원), 플래시가 15달러다. 오디오 1분이 대략 1,000자에 해당한다. 월 정액 요금제를 함께 쓰면 단가가 내려가고, 기업 계약은 5달러부터 시작한다.

성능 평가 기관 아티피셜 애널리시스는 음성 리더보드를 부문별로 나눠 운영하고, 부문에 따라 인월드의 순위가 다르다. 참가 모델이 동일한 복제 음성을 쓰는 부문에서는 TTS-2가 일로 1,123점으로 1위지만 2위 카티지아 소닉 3.6과 4점 차이여서 두 모델의 순위 범위가 모두 1~2위로 표시된다. 각 회사가 자기 음성을 쓰는 부문에서는 소닉 3.6이 1,282점으로 1위고 TTS-2는 1,252점으로 2위다. 일로는 체스에서 쓰던 상대 비교 점수로, 두 결과물을 나란히 들려주고 사람이 고른 결과를 누적해 매긴다.

카일런 기브스 인월드 최고경영자는 “우리는 음성 AI가 어떻게 들리는지만이 아니라 어떻게 느껴지는지에 매달려 왔다”며 “실시간 음성은 사람이 AI와 소통하는 가장 자연스러운 방식인데, 그것이 사람끼리 소통하는 방식이기 때문”이라고 밝혔다. 이고르 폴레타예프 최고과학책임자는 “대부분의 음성 합성 모델은 주변 대화와 분리된 상태에서 말을 생성한다”며 “TTS-2는 여러 턴에 걸친 대화의 오디오 맥락을 쓰도록 학습됐다”고 설명했다.

인월드는 2021년 설립됐고 본사는 캘리포니아 마운틴뷰에 있다. 공개된 마지막 투자 유치는 2023년 8월 라이트스피드 벤처 파트너스가 주도한 라운드로, 당시 기업가치는 5억 달러 이상, 누적 조달액은 1억 달러 이상으로 발표됐다. 회사는 월 10조 개 이상의 토큰을 처리하고 일간 이용자 1억 명 이상 규모의 애플리케이션을 지원한다고 밝혔다.

자세한 내용은 인월드 AI에서 확인할 수 있다.

이미지 출처: 인월드 AI