일레븐랩스(ElevenLabs)가 한국 시장 공식 진출을 선언하며 서울에서 기자간담회를 열고 현지 전략, 기술 개발 방향, 국내 고객·파트너 사례 등을 자세히 공개했다. 마티 스타니셰프스키(Mati Staniszewski) 공동 창업자 겸 CEO와 홍상원 한국지사장은 각각 글로벌 기술 전략과 한국 시장 공략 로드맵을 발표하며 “한국은 세계에서 가장 혁신을 빠르게 흡수하는 시장”이라며 “아시아 보이스 AI의 핵심 거점으로 육성하겠다”고 밝혔다.

일레븐랩스 마티 스타니셰프스키(Mati Staniszewski) 공동 창업자 겸 CEO

일레븐랩스는 이날 간담회에서 한국어 최적화 모델 개발 과정, 한국 기업과의 협업 사례, 실제 활용 성과, 보이스 AI 윤리·보안 대책, 그리고 향후 IPO 방향성까지 폭넓게 공유했다.

한국 진출 배경과 창업 스토리

일레븐랩스는 2022년 마티 스타니셰프스키 CEO와 피오트르 다브코프스키 CTO가 공동 창업했다. 두 사람은 고등학교 시절부터 15년간 함께 공부하고 일해온 친구로, 폴란드에서 외국 영화 더빙을 한 명의 성우가 전담하는 비효율적 경험에서 착안해 “전 세계 오디오 경험을 기술로 혁신하자”는 목표로 회사를 시작했다. 스타니셰프스키 CEO는 “세상의 지식과 이야기, 에이전트에게 생명을 불어넣는 것이 일레븐랩스의 비전”이라고 설명했다.

창립 과정을 소개하고 있는일레븐랩스 마티 스타니셰프스키(Mati Staniszewski) 공동 창업자 겸 CEO

또한 그는 공동창업자의 옥스퍼드·캠브리지 연구 백그라운드, 구글 텍스트 모델 경험을 기반으로 일레븐랩스가 세계 최고 수준의 오디오 모델을 구축해왔다고 강조했다.

AI 오디오 기술력과 한국어 모델 고도화

스타니셰프스키 CEO는 일레븐랩스가 텍스트 음성 변환(TTS), 음성 인식(STT), 음악 모델, 에이전트 오케스트레이션 모델 등 다양한 오디오 기반 파운데이션 모델을 독자적으로 개발하고 있다고 밝혔다. 특히 한국어의 ‘발음·억양·문맥 의존도’ 때문에 개발 난도가 높았지만, 수년간의 투자 끝에 “세계 최고 수준의 한국어 모델을 만들었다”고 말했다. 그는 “웃음, 숨소리, 짧은 호흡, 감정선을 자연스럽게 구현하는 수준은 다른 AI에서는 불가능하다”고 설명했다.

한국어 모델은 전문 보이스 코치와 낭독 전문가들이 직접 주석을 달아 데이터 질을 높였고, 현재 글로벌 마켓플레이스에는 약 4000개의 한국어 음성이 등록돼 다양한 연령·스타일·사투리를 커버하고 있다.

일레븐랩스 마티 스타니셰프스키(Mati Staniszewski) 공동 창업자 겸 CEO

크리에이티브·에이전트 플랫폼 전략

일레븐랩스는 현재 두 가지 핵심 플랫폼을 통해 기술을 제공하고 있다.

첫째, ‘크리에이티브 플랫폼’은 내레이션, 더빙, 음악, 음향 효과 등 오디오 콘텐츠 제작을 위한 통합 환경으로, 이미지·비디오 등 외부 도구까지 연동해 제작 효율성을 극대화한다.

둘째, ‘에이전트 플랫폼’은 초저지연 음성 기반 AI 상담·인터랙션을 제공하며 STT, LLM, TTS 파이프라인을 통합한다.

특히 고객센터 사례에서 기존 15분 걸리던 문제 해결 시간이 2분으로 단축되고, 문의의 50%가 AI로 완전 처리된 유럽 디지털 은행 사례가 소개됐다.

한국 시장 전략… “K콘텐츠 글로벌화”와 “CX 혁신”

홍상원 한국지사장은 한국 시장을 선택한 이유로 높은 AI 도입률, 세계 최고 수준의 통신 인프라, 강력한 콘텐츠 제작 역량을 꼽았다. 그는 “한국은 전 세계에서 혁신 수용 속도가 가장 빠른 시장”이라며 “한국에서 통하면 전 세계 어디서든 통한다”고 강조했다.

홍상원 한국지사장은 국내 핵심 전략으로K콘텐츠의 글로벌 확장 가속화와고객 경험(CX)의 재창조를 꼽았다.

그가 제시한 두 가지 핵심 전략은 다음과 같다.

첫째, K콘텐츠의 글로벌 확장 가속화

새로운 TTS v3 모델은 70개 이상의 언어를 지원하며 원작의 감정·뉘앙스·호흡·간격까지 재현한다. 한 K드라마 제작사는 기존 2주 걸리던 10개국어 더빙을 3일로 단축했고, 비용은 최대 95% 절감된 것으로 나타났다.

둘째, 고객 경험(CX)의 재창조

0.5초 이하 응답 속도를 유지하는 초저지연 보이스 에이전트는 다국어 24시간 대응이 가능하며 반복 문의의 70%를 처리해 상담사는 고난도 업무에 집중할 수 있다. 글로벌 이커머스의 경우 운영비 40% 절감, 고객 만족도 35% 향상이라는 성과가 나왔다.

윤리·보안: ‘3C 프레임워크’ 공개

홍 지사장은 보이스피싱 및 딥페이크 악용 우려를 막기 위한 '3C(Consent‧Control‧Compensation)' 체계를 소개했다.

첫째, Consent(동의 검증)

실시간 본인 인증 기반의 보이스 캡처, 다단계 프로페셔널 보이스 크로닝 검증, 스마트 계약 기반의 사용 범위 명시 등을 포함한다.

둘째, Control(통제·추적)

99.5% 정확도의 AI 스피치 탐지, 콘텐츠 출처 영구 기록, 실시간 모더레이션, 제로 보존 모드 등이 제공된다.

셋째, Compensation(보상)

보이스 라이브러리 기반 즉시 정산 구조로 창작자가 지속 수익을 얻을 수 있으며, 최소 보장과 성과 보너스도 제공된다.

홍상원 일레븐랩스 한국지사장

국내 협업·성과와 마켓플레이스 계획

일레븐랩스는 이미 한국에서 MBC CNI의 AI 합성음 작품 제작, 이스트소프트 페르소닷 AI의 더빙 엔진 채택, 스타트업 티로(Tilo)의 회의록 STT 기술 공급 등 다양한 산업에 기술을 제공하고 있다. 또한 국내 유명인의 음성을 활용한 마켓플레이스 구축은 “100% 가능성 있다”며 일부 유명인과 초기 논의 중이라고 밝혔다. 글로벌 마켓플레이스에서는 이미 1100만 달러의 수익을 크리에이터에게 지급했다.

유명인의 목소리로 뉴스를 들을 수 있는 서비스 가능성에 대해 일레븐랩스는 “가능하다”며 미국 <아틀란틱>, <워싱턴포스트> 등의 실제 사례를 소개하며 한국 언론사 협력에도 적극적 입장을 보였다. IPO는 “기술 생태계의 모멘텀을 키우기 위한 선택으로 3~5년 내 검토 중”이라고 밝혔다.

일레븐랩스는 한국 전담 엔지니어링 팀 확충, SI 파트너 확대, 현장 PoC를 통한 빠른 적용 사례 축적 등을 추진한다. 홍 지사장은 “한국을 아시아 보이스 AI의 허브로 만들겠다”며 “혁신을 빠르게, 그러나 책임 있게 추진하겠다”고 말했다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지