미국 영화·TV 제작사 유토파이 스튜디오(Utopai Studios)가 현지 시각 9월 30일 자체 영상 생성 모델 ‘유토파이 X(Utopai X)’와 제작 플랫폼 ‘파이(PAI)’ 새 버전을 공개했다. 유토파이 X는 장면을 문장으로 설명하면 영상과 소리를 함께 생성한다. AI 모델 성능 비교 기관 아티피셜 애널리시스(Artificial Analysis)의 ‘오디오 포함 텍스트-영상 생성’ 리더보드에서 9월 29일 기준 엘로 점수 1,150점으로 세계 2위를 기록했고, 미국 기업 모델 가운데서는 순위가 가장 높다.

유토파이 스튜디오가 공개한 유토파이 X 소개 영상.

아티피셜 애널리시스는 같은 프롬프트로 생성한 영상 두 편을 평가자에게 보여 주고, 어느 모델이 생성했는지 모르는 상태에서 더 나은 쪽을 고르게 한다. 엘로 점수는 이런 1대1 비교 결과를 누적해 매기는 상대 평가 점수로, 체스 선수 순위 산정 방식에서 유래했다.

9월 30일 출시 분석에서 유토파이 X는 오디오 싱크와 물리 표현 부문 1위를 기록했다. 오디오 싱크에서는 구글 ‘제미나이 옴니 플래시 1.1’, 물리 표현에서는 바이트댄스 ‘드리미나 시댄스 2.5’를 근소하게 앞섰다. 조명·소재 표현과 카메라 제어 부문에서는 알리바바 ‘완 3.0’에 이어 2위였다. 오디오 싱크는 화면 속 동작과 소리가 맞는지를 보는 항목으로, 대사와 입 모양 일치는 별도로 평가한다.

유토파이 X는 미니맥스(MiniMax)의 영상 모델 ‘H3’를 기반으로 추가 학습한 모델이다. 아티피셜 애널리시스는 10개 능력 항목 가운데 7개 항목에서 원래 H3보다 1위 점수에 가까워졌다고 평가했다. 회사는 반사광과 빛이 굴절되며 생기는 무늬 표현, 한 영상 안에서 사물과 공간이 어긋나지 않는 일관성을 강점으로 꼽았다.

유토파이 X는 회사의 제작 플랫폼 파이 안에서 사용할 수 있다. 파이는 ‘제작 보조 지능(Production Assistive Intelligence)’의 약자로, 대본을 장면과 숏 단위로 분석하고 등장인물·장소·소품 자료를 ‘프로덕션 라이브러리’에 정리한다. AI 에이전트인 ‘프로덕션 어시스턴트’가 이 자료를 참고해 촬영 계획과 시각 시안을 작성하고, 감독은 일상적인 문장으로 지시한 뒤 결과를 검토한다. 생성한 영상은 이전 버전과 비교할 수 있고, 타임라인에서 편집한 뒤 어도비 프리미어나 다빈치 리졸브로 옮겨 후반 작업을 진행할 수 있다.

회사는 자체 작품 제작에서 나온 대본과 승인된 캐릭터·장소 디자인, 감독이 고른 장면과 탈락시킨 이유를 모델 학습과 평가에 활용한다고 밝혔다. 현재 마이크 벤더 감독의 장편 애니메이션 ‘더 모스트 시리어스 파트(The Most Serious Fart)’ 제작에 파이와 유토파이 X를 사용하고 있다.

순위는 9월 말 기준이며, 리더보드는 신규 모델이 등록되면 바뀔 수 있다. 유토파이 스튜디오는 공식 블로그에서 벤치마크는 평가 전반의 성능을 측정할 뿐이며, 장면에 맞는 영상을 고르는 일에는 여전히 영화 제작자의 판단이 필요하다고 밝혔다.

자세한 내용은 유토파이 스튜디오에서 확인할 수 있다.

이미지 출처: 유토파이 스튜디오