바이트댄스 시드 팀이 현지 시각 7월 31일 영상 생성 모델 시댄스 2.5를 정식 출시했다. 시댄스 2.0의 오디오·비디오 통합 생성 구조를 그대로 쓰면서, 기본 생성과 참조 기반 생성 두 축에 집중해 긴 이야기 구성과 멀티모달 참조, 편집 세 영역을 개선했다.

바이트댄스는 시댄스 2.0 출시 이후 이용자가 모델에 기대하는 바가 달라졌다고 설명했다. 클립 하나를 만들어 내는 데서 그치지 않고 하나의 창작물을 완성하는 쪽으로 옮겨 갔다는 것이다.

시댄스 2.5는 지몽 AI와 더우바오 프로를 비롯한 플랫폼에서 바로 쓸 수 있고, API는 바이트플러스 모델아크를 통해 곧 제공된다. 지몽 웹에서는 영상 생성 메뉴에서, 더우바오 프로에서도 영상 생성 메뉴에서 시댄스 2.5를 고르면 된다.

다음은 바이트댄스가 시댄스 2.5만으로 처음부터 끝까지 제작했다고 밝힌 창작 단편이다.

한 번에 30초, 이어 붙이면 몇 분짜리 영상

단일 생성 길이가 15초에서 30초로 늘었다. 한 장면을 길게 늘인 것이 아니라, 30초 안에 논리적으로 연결된 여러 숏을 배치해 발단과 전개, 전환, 결말이 이어지도록 구성한다.

바이트댄스가 공개한 예시 영상은 가수의 무대 공연을 다룬다. 무대에 오르는 순간만 담는 대신 분장실에서 스태프와 이야기를 나누고 백스테이지 복도를 지나 댄서들을 만난 뒤 함께 무대에 서기까지를 한 번에 이어 붙였다.

T2V 프롬프트(요약): 원테이크 핸드헬드 짐벌 추적 숏. 카메라가 붉은 커튼 틈으로 들어가 따뜻한 색조의 분장실로 진입한다. 인이어를 조정하던 젊은 여성 가수가 카메라를 향해 돌아서며 시티팝을 부르기 시작한다. 카메라는 그를 따라 어두운 백스테이지 복도를 지나고, 댄서들과 함께 무대에 오른 뒤 아레나 전경까지 빠져나간다.

이미 만든 영상 뒤에 다음 숏을 여러 차례 이어 붙일 수 있다. 확장 과정에서 주요 인물과 환경, 이야기 속도의 일관성을 유지한다. 클립을 나누고 다시 붙이고 이어지는 부분을 수정하는 작업을 줄여 준다는 것이 회사 설명이다.

R2V 프롬프트(요약): @영상 1의 화면과 인물을 이어 30초를 더 생성하되 인물과 장면, 화풍, 효과음을 일관되게 유지한다. 축구공을 든 소년이 지하철 객차를 따라 달리고, 문이 열리자 뛰쳐나간다. 남자 주인공이 뒤쫓아 플랫폼을 지나 거리까지 달려 나가 소년을 붙잡고, 화를 누그러뜨리며 머리를 쓰다듬는다.

카메라 움직임 사이 전환도 매끄러워져, 여러 컷에 걸쳐 주요 피사체가 안정적으로 유지되고 소리와 화면이 어긋나지 않는다. 경극 장면에서는 주연 배우의 수수(水袖) 움직임을 따라 카메라가 원을 그리며 도는 동안 피사체와 배경이 그대로 유지되고, 소맷자락이 공중에 그리는 호가 실제 물리 법칙에 가깝게 표현됐다.

R2V 프롬프트(요약): 16:9 와이드, 시네마틱 질감, 컷 없는 단일 연속 촬영. 0~5초 패왕의 클로즈업에서 시작해 상반신을 돌며 미디엄 숏으로 전환, 등에 꽂힌 기가 렌즈를 스치며 우희 쪽으로 넘어간다. 6~10초 우희의 수수 동작을 따라 원을 그린다. 11~20초 무사가 공중제비로 등장해 공방을 주고받고, 마지막에 세 인물이 객석을 향해 경극 피날레 자세를 취한다.

AI 생성 영상 특유의 인공적인 느낌을 줄이기 위해 사물의 질감과 피부·눈 표현, 조명, 채도를 다듬었다. 또 자막과 배경음악이 의도치 않게 끼어드는 현상을 줄였다.

이미지 30장·영상 10개·오디오 10개까지 참조

한 번에 넣을 수 있는 참조 자료는 이미지 최대 30장, 영상 10개, 오디오 10개다. 참조 자료의 양과 종류가 늘면서 등장인물이 많거나 장면이 복잡하고 카메라 움직임이 자유로운 영상을 만들기 쉬워졌다.

모델은 모든 자료에서 화면 구성과 장면, 화풍, 인물, 소품을 함께 파악해 지시대로 적용한다. 인물이 여럿 등장하거나 집단이 함께 움직이는 장면에서도 각 인물의 외형과 목소리를 유지한다.

R2V 프롬프트(요약): 16:9 가로, 시네마틱 리얼리즘의 30초 콘서트 시퀀스. @이미지 1은 공연장, 2는 피아니스트, 3은 첼로, 4는 바이올린, 5는 리드 보컬(엄격 준수), 6~10은 나머지 오케스트라, 11~14는 합창단, 15~18은 객석을 참조한다. 전체 공연장 하이앵글 와이드로 열고, 피아노 타건과 함께 보컬이 스포트라이트로 들어선다. 후반부에 합창단이 합류하고 마지막에 카메라가 빠지며 박수로 마무리한다.

클레이 렌더와 모션, 크리에이티브 참조 방식도 함께 보강됐다. 클레이 렌더 참조에서는 질감 없는 3차원 모델로 장면의 공간 구조와 인물 자세, 이동 경로, 카메라 각도를 먼저 잡아 두면, 모델이 그 구조를 바탕으로 영상을 만든다. 복잡한 숏의 구도와 동선을 의도대로 맞출 수 있다.

클레이 렌더의 공간 정보를 활용해 광원 방향과 색온도, 세기, 그림자 투영도 물리 법칙에 맞게 계산한다.

R2V 프롬프트(요약): @클레이 렌더 1에서 카메라 움직임과 속도, 숏 크기 전환, 피사체 궤적, 동선을 참조하고, @이미지 2에서 캐릭터 디자인과 장면, 재질, 조명, 색, 동화적 분위기를 참조해 백색 모델을 몽환적이고 따뜻한 3D 애니메이션 단편으로 렌더링한다. 환상의 하늘 비행 → 구름바다를 함께 나는 신수 → 바다로 잠수 → 쥐가오리와 심해 유영 → 시공의 균열 통과 → 우주에서 별 따기 → 침실로 복귀 → 아버지가 이불을 덮어 줌 → 그림책이 닫히며 마지막 프레임 고정.

초 단위로 지정하는 편집

시댄스 2.5는 타임스탬프로 내용을 지정해 편집한다. 생성 단계에서는 특정 시간대의 이야기 전개와 카메라 시점, 움직임, 전체 리듬을 프롬프트로 지정할 수 있다. 생성 이후에는 특정 시간대의 인물과 동작, 줄거리 요소를 골라 수정하되 앞뒤 연결과 사실감을 유지한다.

그린스크린 편집에서는 주요 피사체를 그대로 두고 배경만 바꿔 전혀 다른 이야기를 만들 수 있다. 이때 피사체가 새 환경의 물리 조건에 반응하는 방식, 이를테면 옷이 날리는 방향과 머리카락 상태, 걸음의 리듬, 빛과의 상호작용까지 함께 표현한다.

R2V 프롬프트(요약): @영상 1의 그린스크린 배경과 장애물, 의상, 조연을 렌더링한다. 0~4초는 야외 훈련, 장애물을 바위·벽돌·타이어·나무상자로 교체. 4~10초 라커룸, 친구들의 격려. 10~15초 국제 경기, 훈련용 폴을 수비수와 골키퍼로 교체하고 주인공이 득점한다. 전체적으로 사진처럼 사실적인 시네마틱 품질.

카메라 시점 편집은 인물과 동작, 화풍을 그대로 두고 카메라 움직임만 바꾸는 방식이다.

R2V 프롬프트(요약): @영상 1을 편집한다. 인물과 동작, 화풍은 그대로 두고 카메라 움직임만 조정한다. 15초를 네 토막으로 나눈 촬영 계획 — 0~4초 마이크로 FPV로 팬을 스치듯 지나 튀어 오르는 토스트를 따라가다 커피로 휘프팬, 4~7초 팬 가장자리를 따라 밀고 들어가며 뒤집히는 달걀 추적, 7~11초 급상승 후 톱다운에서 일정 속도로 하강해 접시와 열쇠 위를 지나감, 11~15초 핸드헬드 클로즈업으로 손을 따라가다 아침 식사로 밀고 들어간 뒤 미디엄 투숏으로 후퇴.

교육과 제조 현장으로

바이트댄스는 시댄스 2.5가 교육과 제조를 비롯한 산업 현장으로 들어가고 있다고 밝혔다. 교육에서는 수업 내용의 역사적 배경과 인물, 줄거리를 영상으로 바꿔 보여 주고, 과학 원리나 역사적 사건, 실험 절차 같은 추상적 내용을 움직이는 시연으로 만든다. 교육 자료 제작의 진입 장벽을 낮추고 내용을 유연하게 맞출 수 있다는 설명이다.

R2V 프롬프트(요약): 동양화풍. 남송 시대 임안의 거리. 아이들이 “뒤돌아보니 그 사람은 등불 스러져 가는 곳에 서 있었네”를 읊으며 번화한 거리를 달린다. 카메라가 아이들을 따라가다 위로 틸트해 @이미지 1의 신기질을 비춘다. 신기질이 고개를 돌리면 멀리 등불이 사그라드는 곳에 한 사람이 서 있다. 전체를 컷 없이 이어 간다.

산업 제조와 체화 지능, 자율주행 영역에서는 생산 공정에 직접 들어가고 있다. 로봇의 인지와 조작 능력을 학습시키는 합성 영상 데이터를 만들고, 산업 시뮬레이션과 공정 교육, 장비 시연에도 쓰인다. 자율주행에서는 극한 기상이나 복잡한 교통 상황처럼 드물게 발생하는 상황을 만들어 시험·학습용 표본으로 제공한다.

R2V 프롬프트(요약): @클레이 렌더 1에서 카메라 워크와 구도, 숏 크기, 공간 관계, 부품 위치, 모델 구조, 조립 순서, 이동 경로를 참조하고 @이미지 1에서 재질과 조명, 색, 반사, 분위기를 참조해 클레이 렌더를 고급스럽고 사실적인 자동차 조립 시퀀스로 바꾼다.

남은 과제

복잡한 동작의 물리적 타당성과 여러 주체가 상호작용하는 장면의 안정성은 아직 부족하다고 바이트댄스는 밝혔다. 시드 팀은 앞으로 이야기의 연결을 더 매끄럽게 하고 생성·편집 경험을 직관적으로 다듬으며, 실제 물리 법칙에 대한 모델의 이해를 넓히겠다고 밝혔다.

▶︎ 관련 기사: 바이트댄스, 30초 4K 한 번에 뽑는 ‘시댄스 2.5’ 기습 공개… 7월 정식 출시

자세한 내용은 바이트댄스 시드에서 확인할 수 있다.

이미지 출처: 바이트댄스