알리바바(Alibaba)가 업계 최초로 MoE(Mixture-of-Experts) 아키텍처를 적용한 오픈소스 대규모 영상 생성 모델 시리즈 ‘Wan2.2’를 공개했다. 이번에 선보인 Wan2.2는 크리에이터와 개발자들이 클릭 한 번으로 고품질 시네마틱 영상을 손쉽게 제작할 수 있도록 지원하는 것이 특징이다.

이번 시리즈는 총 세 가지 모델로 구성됐다. 텍스트 기반의 ‘Wan2.2-T2V-A14B’, 이미지 기반의 ‘Wan2.2-I2V-A14B’, 그리고 텍스트와 이미지를 모두 활용하는 하이브리드 모델 ‘Wan2.2-TI2V-5B’가 포함되며, 다양한 영상 생성 입력 방식을 단일 프레임워크에 통합할 수 있도록 설계됐다.

텍스트 기반 모델 Wan2.2-T2V-A14B와 이미지 기반 모델 Wan2.2-I2V-A14B는 MoE 아키텍처를 기반으로 고도로 선별된 미적 데이터셋을 활용해 훈련됐다. 이들 모델은 조명, 시간대, 색조, 구도, 초점 거리, 카메라 앵글 등 다양한 요소를 정밀하게 제어할 수 있도록 지원하며, 인물의 표정 변화, 손 제스처, 스포츠 동작 등 복잡한 움직임도 정밀하게 묘사할 수 있다. 또한 물리 법칙을 반영한 현실적인 표현력과 고도화된 지시 이해력을 바탕으로, 보다 사실적인 영상 생성이 가능하다.

고노이즈·저노이즈 전문가 병행 처리로 연산 부담 절반으로 경감

Wan2.2-T2V-A14B와 Wan2.2-I2V-A14B는 긴 토큰으로 인해 영상 생성 과정에서 발생하는 높은 연산 소모를 줄이기 위해 확산 모델의 노이즈 제거(denoising) 과정에 두 개의 전문가 솔루션을 도입했다. 영상의 전체 장면 구성을 담당하는 ‘고노이즈 엑스퍼트(High-Noise Expert)’와 세밀한 디테일을 다듬는 ‘저노이즈 엑스퍼트(Low-Noise Expert)’가 포함된 이 설계는, 두 모델 모두 총 270억 개 파라미터 중 매 스텝에서 140억 개만을 활성화해 연산 소모를 최대 50%까지 줄일 수 있도록 했다.

Wan2.2는 또 시네마틱 프롬프트 시스템을 통해 조명, 구도, 색감 등 미적 요소를 세분화해 조절할 수 있도록 설계됐다. 이를 통해 사용자는 시각적 의도를 보다 정확하게 반영한 영상 결과물을 얻을 수 있다. 특히 기존 Wan2.1 대비 학습 데이터셋이 대폭 확장됐는데, 이미지 데이터는 65.6%, 영상 데이터는 83.2% 이상 증가해 복잡한 장면 표현과 창의적 영상 구성 능력이 향상됐다.

압축형 하이브리드 모델로 고효율·고확장성 실현

하이브리드 모델인 Wan2.2-TI2V-5B는 고압축 3D VAE 구조를 적용해 시간 및 공간 축을 각각 4×16×16 비율로 압축, 총 64배의 압축률을 달성했다. 이를 통해 일반 소비자용 GPU 환경에서도 수 분 이내에 5초 분량의 720p 해상도 영상을 생성할 수 있으며, 높은 처리 효율성과 모델 확장성을 동시에 제공한다.

이번에 공개된 Wan2.2 시리즈 모델은 허깅페이스(Hugging Face), 깃허브(GitHub), 알리바바 클라우드의 오픈소스 커뮤니티인 모델스코프(ModelScope)에서 누구나 무료로 다운로드 받을 수 있다.

알리바바는 글로벌 오픈소스 커뮤니티에 지속적으로 기여해온 기술 기업이다. 지난 2월에는 Wan2.1 시리즈의 네 가지 모델을, 5월에는 영상 생성과 편집을 통합한 모델인 Wan2.1-VACE(Video All-in-one Creation and Editing)를 오픈소스로 공개한 바 있다. 이들 모델은 현재까지 허깅페이스와 모델스코프에서 누적 540만 건 이상의 다운로드를 기록하며 높은 관심을 받고 있다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지