출처 : 챗GPT 생성 이미지

 8월 28일(현지시간) 중국 텐센트 산하 훈위안 연구소가 AI 영상에 생생한 소리를 입히는 신기술 ‘훈위안 비디오-폴리(Hunyuan Video-Foley)’를 선보였다. 이 시스템은 영상 속 장면을 분석해 실제와 같은 고품질 음향을 생성하고, 화면 속 동작과 완벽하게 동기화된 사운드트랙을 자동으로 만들어낸다.

출처 : 유튜브 채널 'ComfyUI Workflow Blog'

 그간 AI가 만든 영상은 시각적으로는 인상적이지만 종종 음향이 부재해 몰입감을 떨어뜨리는 경우가 많았다. 영화 산업에서는 이러한 빈 공간을 ‘폴리(Foley)’라 불리는 전문 음향 작업으로 채운다. 잎사귀가 스치는 소리, 천둥 소리, 유리잔이 부딪히는 소리 등 장면에 맞춘 세밀한 효과음을 넣는 작업이다. 하지만 이 수준의 사실성을 AI가 구현하는 것은 쉽지 않았다.

 훈위안 연구팀은 기존 ‘영상-음향 변환(V2A)’ 모델이 겪어온 문제를 ‘모달리티 불균형(modality imbalance)’으로 판단했다. AI가 실제 영상보다는 텍스트 지시에 더 의존하다 보니, 장면에 담긴 세부 사운드를 놓치는 경우가 많았던 것이다.

 예를 들어, 해변가에서 사람들이 걷고 갈매기가 날아다니는 영상에 단순히 “파도 소리”라는 텍스트 지시를 주면, 모델은 파도 소리만 내보내고 발자국 소리나 새소리는 무시해 장면이 부자연스러워졌다. 이 같은 문제를 해결하기 위해 텐센트는 세 가지 방식을 채택했다.

출처 : 훈위안 X계정

1. 대규모 학습 데이터 구축

 10만 시간 분량의 영상·음향·텍스트 설명을 담은 라이브러리를 제작하고 자동화된 필터링 파이프라인을 통해 저품질 콘텐츠, 긴 무음 구간, 압축된 음성 등을 제거해 학습 데이터의 질을 보장했다.

2. 스마트한 AI 구조 설계

 AI모델이 영상과 음향의 연관성을 먼저 정밀하게 파악해 타이밍을 맞춘 뒤, 텍스트 프롬프트를 반영해 장면의 맥락과 분위기를 이해하도록 설계했다. 덕분에 구체적인 동작과 배경음이 놓치지 않고 구현된다.

3. 고품질 음향 보장 기법(REPA)

 ‘표현 정렬(Representation Alignment·REPA)’이라는 훈련 방식을 적용해, 사운드 엔지니어의 감수처럼 전문급 사전 학습 오디오 모델과 비교하며 더 깨끗하고 풍부한 소리를 생성할 수 있도록 했다.

 이 기술은 무성에 가까웠던 AI 영상에 몰입감 있는 음향을 입힘으로써, 자동화 콘텐츠 제작의 새로운 지평을 열 것으로 기대된다. 영화 제작자, 애니메이터, 크리에이터들에게 폴리 아트의 마법을 자동화된 방식으로 구현할 수 있는 유용한 도구가 될 전망이다.

글 / 김지훈 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com