인공지능(AI) 오디오 연구·개발 스타트업 일레븐랩스(ElevenLabs)가 AI 음악 생성 서비스 ‘일레븐뮤직(ElevenMusic)’의 대규모 업데이트를 단행하고 신규 음악 제작 기능을 선보였다.

이번 업데이트에서는 레퍼런스 음원으로 곡의 스타일과 분위기를 지정하는 ‘레퍼런스(References)’와 사용자 목소리 또는 라이브러리 음성으로 오리지널 곡을 생성하는 ‘보컬(Vocals)’ 기능이 추가됐다. 음악의 고유한 스타일을 일관되게 유지하는 ‘스타일(Styles)’ 기능도 최신 AI 모델인 ‘뮤직 v2(Music v2)’를 공식 지원한다.

일레븐랩스 '뮤직 v2' 레퍼런스(References)

레퍼런스 음원으로 곡의 스타일과 분위기 설정

레퍼런스는 지난 6월 뮤직 v2 발표 당시 예고된 레퍼런스 음원 기능의 정식 버전이다. 사용자가 10초에서 5분 길이의 음원을 업로드하면 뮤직 v2가 해당 음원의 스타일과 분위기를 반영해 새로운 곡을 생성한다.

기존 텍스트 프롬프트만으로 전달하기 어려웠던 소리의 미묘한 뉘앙스를 실제 음원을 통해 AI 모델에 전달할 수 있는 것이 특징이다. 레퍼런스 음원과 함께 텍스트로 제작 방향을 추가하거나, 별도의 텍스트 입력 없이 음원만으로 곡 생성을 진행할 수도 있다.

뮤직 v2의 부분 재생성 기능인 ‘인페인팅(Inpainting)’과도 연동된다. 레퍼런스 음원으로 곡의 전체적인 방향을 설정한 뒤 수정이 필요한 특정 구간만 선택해 다시 생성할 수 있다.

저작권 보호를 위한 자동 검사 시스템도 적용됐다. 플랫폼에 업로드되는 모든 레퍼런스 음원은 일레븐랩스의 자동 저작권 검사를 거치며, 타인의 저작물과 일치하는 음원은 레퍼런스로 사용할 수 없다.

레퍼런스 기능은 일레븐뮤직을 비롯해 일레븐크리에이티브(ElevenCreative)와 일레븐API(ElevenAPI)를 통해 이용할 수 있다.

사용자 목소리로 완성하는 오리지널 곡

보컬은 사용자의 목소리나 보컬 라이브러리에 등록된 음성을 기반으로 완전한 오리지널 곡을 생성하는 기능이다. 전문적인 음악 제작 경험이 없는 사용자도 음성 녹음 파일이나 라이브러리의 보컬을 선택해 곡을 만들 수 있도록 구성됐다.

일레븐랩스 '뮤직 v2' 보컬(Vocals)

‘보이스 투 송(Voice-to-Song)’ 기능을 이용하면 음성 녹음 파일 하나를 업로드하는 것만으로 해당 음성의 가사와 목소리 톤을 유지한 오리지널 곡을 몇 초 안에 생성할 수 있다.

기존에 보유한 곡을 업로드해 재사용 가능한 보컬 프로필을 만드는 기능도 제공한다. 뮤직 v2가 음성의 톤과 질감, 창법 스타일을 학습해 고유한 보컬 프로필을 생성하며, 이후 음악 제작 과정에서 해당 보컬을 다시 적용하면 동일한 목소리의 곡을 지속해서 만들 수 있다.

별도의 보컬 등록 과정 없이 사용할 수 있는 ‘보컬 라이브러리(Vocal Library)’도 지원한다. 사용자는 큐레이션된 라이브러리에서 원하는 목소리를 선택해 일관된 보컬 특성을 갖춘 곡을 생성할 수 있다.

일레븐랩스는 보컬 기능이 기존 음원을 재구성하거나 일부를 조합하는 방식이 아니라, 학습한 음성 특성을 바탕으로 새로운 오리지널 곡을 생성한다고 설명했다.

‘스타일’도 뮤직 v2 지원…목소리와 사운드 일관성 강화

곡의 전반적인 스타일을 학습하고 재현하는 스타일 기능은 이번 업데이트를 통해 뮤직 v2를 지원한다. 사용자는 자신만의 스타일을 직접 만들거나 라이브러리에서 원하는 스타일을 선택해 음악에 적용할 수 있다.

스타일 기능을 새로 추가된 보컬 기능과 결합하면 여러 곡에 동일한 목소리와 음악적 분위기를 유지할 수 있다. 이를 통해 보컬과 전체 사운드의 일관성을 확보한 앨범 단위의 음악 제작도 가능하다.

일레븐랩스는 아티스트의 권리 보호를 위해 플랫폼에 업로드되는 모든 음성과 곡이 생성 단계에 들어가기 전 저작권 검사를 통과하도록 서비스를 설계했다.

레퍼런스와 보컬, 스타일 기능은 이날부터 일레븐뮤직 플랫폼에서 이용할 수 있다. 보컬과 스타일은 일레븐크리에이티브의 파인튠즈(Finetunes)에서도 제공되며, 레퍼런스 기능은 일레븐API를 통해서도 사용할 수 있다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지