[IT동아 강형석 기자] 수백억 원에 이르는 제작비, 수백 명의 스태프가 오가는 촬영 현장, 거대한 카메라와 조명 장비 등 과거부터 이어져 온 영화 산업이 변화의 물결을 맞았다. 문자 몇 줄만으로 상상 속 장면을 만들어내는 생성형 인공지능(AI)이 등장하면서다. 생성형 AI 기술로 지금은 누구나 쉽게 대형 스튜디오만 손댈 수 있던 시각 효과와 연출이 개인 창작자의 책상 위 모니터에서 구현되고 있다.

생성형 AI 서비스를 활용한 영상 제작 관련 시장은 성장세다. 시장조사기업 포춘 비즈니스 인사이트(Fortune Business Insights)의 자료에 따르면, 전 세계 AI 기반 영상 생성 시장은 2026년 약 10억 달러(약 1조 3500억 원) 규모가 될 것으로 추산된다. 범위를 글로벌 미디어·엔터테인먼트 시장 전체로 넓히면 2026년 431억 달러(약 58조 3,000억 원)에서 2033년 약 1593억 달러(약 215조 4000억 원)까지 성장할 것으로 분석됐다.

할리우드를 비롯한 세계 영화계는 신기술을 빠르게 받아들이는 중이다. 촬영 전 준비 단계인 시나리오 초안 다듬기부터 실시간 배경 합성 기술인 가상 프로덕션, 컴퓨터 그래픽 비용을 덜어 주는 후반 렌더링(그래픽 데이터를 최종 영상으로 계산해 내는 작업)까지 알고리듬이 닿지 않는 영역을 찾기 어렵다. 컴퓨터 그래픽 아티스트 수십 명이 몇 달을 매달렸던 폭발과 군중 장면이 몇 시간 만에 만들어지는 광경은 제작비 절감이 숙제인 영화계에 현실적인 돌파구로 비춰질 정도다.

하지만, AI 영상 콘텐츠의 장밋빛 전망 뒤편에는 기술적 미완성과 현장의 혼란이 함께 자리한다. 대중은 흔히 AI 영화를 명령어 몇 번으로 뚝딱 완성되는 미래 기술로 상상한다. AI 영상 제작의 실상은 그런 통념과 거리가 멀다. 화면 뒤에서는 AI 특유의 환각 현상(없는 것을 그럴듯하게 만들어 내거나 엉뚱하게 그리는 오류)과 장면 사이 연속성의 붕괴를 바로잡느라 밤을 새우는 창작자의 노동이 이어진다.

AI는 영화 제작의 구원투수일까, 아직 길들지 않은 야생마일까? 단편이 아닌 120분 분량의 장편 AI 애니메이션 상업 프로젝트를 마무리한 이항섭 감독을 만나 제작 과정과 기술적 고민을 들었다.

생성형 AI 기술에 대한 호기심이 120분짜리 상업 영화로

이항섭 감독은 처음부터 AI로 영화를 만든 건 아니었다. 처음에는 개인적이고 순수한 호기심에 생성형 AI 도구를 접했다. 하지만, 텍스트 프롬프트(문자 명령)를 입력하면 머릿속에만 있던 장면이 그림 한 장으로 완성되는 모습에 매료된 그는 틈날 때마다 다양한 이미지를 생성해 보며 제작 감각을 익혔다.

기술의 진화는 빨랐다. 짧은 영상 생성을 지원하는 생성형 AI 서비스들이 하나둘 등장했다. 이항섭 감독은 자신이 구상한 이야기를 직접 살아 움직이는 영상으로 만들 수 있겠다는 생각에 3D 시네마틱 애니메이션 형태의 단편 영상을 제작해 유튜브 채널에 등록하기 시작했다. 영상은 온라인에서 서서히 입소문을 탔고, 뜻밖의 전환점이 찾아왔다. 한 상업 영화 제작사에서 장편 영화를 함께 만들자고 제안한 것이다.

생성형 AI로 단편 영상을 만들던 창작자에게 장편 상업 영화는 다른 도전이었다. 그은 취미와 상업 영역의 가장 큰 차이로 '평가의 주체와 기준'을 꼽았다. 혼자 유튜브에 영상을 올릴 때는 본인 눈에 들면 그만이다. 반면, 제작사의 자본이 투입되는 프로젝트는 다르다. 명확한 기획 의도와 관객층을 갖춰야 했고, 수많은 이해관계자의 승인 절차도 통과해야 했다. 한 장면을 통과시키기 위해 제작진과 끝없이 의견을 조율했으며, 요구 사항에 맞춰 프롬프트를 수십 번씩 고쳐 영상을 다시 뽑는 인내의 시간이 필요하다.

우여곡절 끝에 전체 제작 기간 약 6개월에 걸쳐 프로젝트를 마무리했다. 6주 간 시나리오를 구상하고 자료를 조사하는 데 썼다. 생성형 AI 도구로 장면을 제작하는 작업에 석 달이 꼬박 걸렸고, 여러 장면들을 자연스레 이어 붙이고 전문 성우의 목소리와 효과음을 입히는 후반 작업에 한 달이 더 소요됐다.

이항섭 감독은 첫 생성형 AI 영상을 시도하는 것이기에 작업 환경은 매우 척박했다고 토로했다. 초창기 생성형 AI 영상 제작 도구인 오픈AI의 소라(Sora)는 환각 현상이 심해 명령어가 같아도 장면마다 인물의 위치가 뒤바뀌거나 배경 공간이 일그러지는 오류가 잦았기 때문이다. 원하는 장면 하나를 만들기 위해 크레딧(생성 횟수에 따라 차감되는 이용권)을 소모하며 '디지털 뽑기 운'에 기대야 했다는 게 그의 설명이다. 하지만, 시행착오를 겪으며 작품은 서서히 형태를 갖췄다.

AI 영화와 전통 영화, 제작 방식은 무엇이 다른가

이항섭 감독은 생성형 AI 기반 영상 제작의 차별점으로 ‘저비용’과 ‘소규모 인력’을 꼽았다. 그가 제작한 120분 가량의 작품 제작에 들어간 인력은 감독을 포함해 음악 감독과 더빙 디렉터, 단 3명이었다. 시각 요소를 만들어 화면에 옮기는 일은 감독 주도하에 그래픽 처리 장치(GPU)의 연산만으로 이뤄졌다. 과거 수십 명의 현장 스태프가 맡던 조명 설치, 카메라 렌즈 교체, 세트 미술 배치, 엑스트라 통제 같은 역할을 생성형 알고리듬이 대신한 셈이다.

그럼에도 전통적인 영상 제작과 생성형 AI 기반 영상 제작에는 차이가 분명하다는 게 이항섭 감독의 설명이다. 전통 영화 제작 현장은 거대한 유기체처럼 움직인다. 메가폰을 쥔 감독 아래에서 촬영, 조명, 미술, 의상, 음향, 분장 등 수십에서 수백 명의 전문 인력이 일사불란하게 움직인다. 감독의 머릿속의 의도를 현실로 옮기려면 촘촘히 그린 스토리보드(장면별 그림 설계도)를 바탕으로 각 파트 책임자와 끊임없이 소통해야 하고, 수많은 사람의 이해를 맞추는 과정 자체에 막대한 시간과 비용이 든다. '통제의 정확성'과 '연속성' 측면에서 유리하다는 이야기다.

AI는 통제의 정확성과 연속성 구현이 숙제다. 명령을 아무리 자세히 내려도 알고리듬은 확률 모델을 바탕으로 이미지를 무작위에 가깝게 그려 낸다. 그래서 바로 앞 장면에서 선명하던 얼굴의 흉터가 다음 장면에서는 감쪽같이 사라졌다가 다시 나타나는 이른바 '옥에 티'가 구조적으로 생긴다. 지시한 대로 움직이는 스태프와 배우가 없다는 사실은 1인 제작의 자유를 주지만, 모든 장면 속 프레임의 연속성을 감독 혼자 검증하고 씨름해야 하는 부담도 함께 발생한다.

소통 방식도 근본적으로 다르다. 전통 영화에서는 인물 간 갈등이나 분위기를 전하려고 배우 및 스태프와 깊이 대화하고 리허설(최종 연습)을 거친다. AI는 감독이 텍스트 프롬프트와 파라미터(세부 설정값)를 거쳐 지시를 내린다. 아이디어가 떠오르면 중간 매개자 없이 바로 화면으로 확인 가능해 기동성과 유연성 측면에서 유리하다.

AI 생성 영상의 한계는 교차 검증과 복합 프롬프트로 극복

AI 기반 영상 제작의 강점은 시각 효과(VFX)의 자유도다. 전통 영화 산업에서 도심 전체가 무너지는 재난 장면, 외계 행성을 배경으로 한 우주 전쟁, 수억 원짜리 자동차가 폭발하는 추격 장면을 찍으려면 큰 자본이 필요하다. 블록버스터 작품 한 편에 수천억 원이 들어가는 이유도 여기에 있다. 이를 AI가 대신하면 상대적으로 적은 비용으로 거대한 도시가 붕괴하거나 가상의 거대 로봇이 질주하는 장면을 만들 수 있다. 거대 자본을 끌어오지 못한 독립영화 감독도 머릿속의 SF 액션 판타지를 얼마든지 화면에 옮길 수 있는 시대가 열린 것이다.

장점이 뚜렷한 만큼 기술적 한계도 존재한다. 이항섭 감독은 '지식재산권(IP) 오염'이 문제라고 지적한다. 이미 널리 알려진 다른 작품의 캐릭터가 결과물에 섞이는 현상을 뜻한다. 그가 제작하던 작품은 동물을 사람처럼 묘사한 의인화 우화 애니메이션이다. 주인공은 제복을 입고 버스를 모는 황색 털에 갈색 눈동자를 가진 토끼였는데, 영상 클립을 한창 제작하던 도중 주토피아 신작이 개봉했다.

문제는 이때부터 발생했다. 최신 데이터를 계속 받아들이던 AI 모델은 '토끼'라는 단어를 접하자마자 주인공을 주토피아의 토끼 캐릭터로 바꿔 그리기 시작한 것이다. 버스 기사 유니폼을 입력했는데도 주토피아의 캐릭터 특성이 반영됐고, 배경을 지나는 행인 자리에 주토피아의 여우 캐릭터가 나타나기도 했다. 마음에 드는 장면이 나와도 주인공의 얼굴이 타 작품 캐릭터로 오염되면 폐기하고 다시 생성하기를 수없이 반복해야 한다. 그 과정에서 발생한 시간 지연과 크레딧 낭비는 상상 이상이라는 게 이항섭 감독의 설명이다.

이런 문제를 해결하기 위해 이항섭 감독은 제작 단계마다 여러 도구를 조합했다. 먼저 이야기 설계에는 대형 언어 모델(방대한 글 데이터로 학습해 문장을 만들어 내는 AI)을 섞어 썼다. 그는 클로드(Claude)와 챗GPT를 교차 검증 도구로 활용했다. 한 달 동안 수집한 데이터를 언어 모델에 학습시켜 이야기의 뼈대를 세웠다.

집중한 작업은 관객의 관점에서 던져질 '왜?'라는 물음에 답하는 일이었다. 개연성이 부족하거나 장면 간 인과관계가 헐거우면 관객이 몰입을 멈추고 작가의 독단으로 받아들일 수 있다. 이에 언어 모델과 문답을 주고받으며 사건의 동기와 이야기의 연결고리를 자연스럽게 다듬는 데 힘썼다.

영상 생성 단계에서는 특정 도구 하나에 기대지 않고 AI 모델별 장단점을 조합하는 '하이브리드 전략'을 썼다. 고난도 연출력과 섬세한 카메라 움직임이 필요한 핵심 장면에는 시댄스(Seedance)를 배치했다. 시댄스는 실제 영화감독의 연출 시각과 쇼트(카메라가 한 번에 담는 장면) 구성을 집중 학습한 모델로, 시네마틱한 앵글과 인물의 감정선을 표현하는 능력이 뛰어나다는 평이다. 다만, 다른 보급형 모델보다 이용 단가가 비싸 비용 부담이 따른다.

따라서 대화 장면이나 인물 움직임이 크지 않은 브릿지 컷(장면과 장면을 이어 주는 짧은 컷)은 상대적으로 저렴한 완(당시 Wan 2.0) 또는 기타 저비용 AI 영상 모델로 부담을 최소화했다.

검열도 다양한 플랫폼을 활용하며 진행했다. 잔인하거나 민감한 연출이 필요한 장면은 오픈AI나 상용 클라우드 서비스의 안전 가이드라인에 걸려 생성이 막히는 일이 잦았다. 이때는 외부 검열에서 자유로운 오픈소스(개방형) 기반 로컬 모델, 그중에서 라이트릭스의 LTX 2.5를 개인 서버에 설치해 필요한 장면을 직접 구성했다.

카메라 구도와 캐릭터 동선의 연속성을 유지하기 위해 3차원 컴퓨터 그래픽 프로그램 블렌더(Blender)를 사전 시각화 도구로 활용했다. 그러나 이항섭 감독은 블렌더를 전문적으로 다루지 못하기에 AI에게 블렌더용 스크립트(자동 실행 명령문) 작성과 공간 배치를 맡겨 장면을 설계했다고 설명했다.

이항섭 감독은 영상의 완성도 구축하기 위해 '단위 분할 재생성' 기법을 썼다. 처음부터 1분 이상의 긴 영상을 만들려 하면 프롬프트 길이의 한계와 연산 오차 탓에 화면이 흐트러지기 쉽다. 이에 15초~30초 길이의 클립을 넉넉히 만든 뒤, 움직임이나 형태가 어색하게 망가진 4초~5초 미만 구간을 잘라낸다. 결함이 생긴 짧은 틈에 구체적인 프롬프트를 집중적으로 배치해 부분 클립만 다시 생성하고, 이를 원본 타임라인에 이어 붙인다. 이런 방식으로 작업을 진행할 경우, 큰 흐름은 유지하면서 작은 오류를 하나씩 손보는 게 가능하다.

생성형 AI 기술의 또 다른 한계는 오디오와 음성 합성(TTS, 글을 음성으로 바꾸는 기술)이다. 아무리 기술이 개선되어도 감정 표현이나 특정 언어를 표현하지 못한다. 예로 젊은 청년 캐릭터의 목소리가 다음 장면에서 어린아이나 여성의 톤으로 바뀌거나, 방금까지 비명을 지르며 분노하던 인물이 바로 다음 문장에서 평온하게 말하는 식이다.

이항섭 감독은 한국어 방언과 사투리 같은 지역 억양도 AI가 소화하지 못한다고 말한다. 아무리 명령을 입력해도 결국 매끄러운 서울 표준어로만 발음하는 한계도 드러난다는 것이다. 남장여자 캐릭터처럼 복합적인 설정을 맥락이 이해하지 못해 굵직한 남성 목소리로 출력하는 일도 비일비재하다. 결국 이항섭 감독은 알고리듬 음성을 포기하고, 전문 성우를 기용해 영상 완성 뒤 목소리를 따로 입히는 후시 녹음을 전면 진행했다고 설명했다.

AI 영상 제작에는 인내심과 철저한 준비가 필요해

생성형 AI를 활용해 영상 제작의 장벽이 낮아진 상황. 미래 영화 감독을 꿈꾸는 예비 창작자들의 기대도 커지고 있다. 하지만 이항섭 감독은 생성형 AI에 대한 환상을 먼저 걷어내는 게 중요하다고 조언한다. 그는 "AI는 똑똑하지 않아요. 프롬프트 한 번에 결과물이 나올 것이라는 기대를 품지 않았으면 합니다"라고 말했다. 많은 이들이 AI가 인간처럼 맥락과 서사를 완벽히 꿰뚫는다고 착각하지만, 인간 수준의 범용 인공지능(AGI)은 아직 오지 않았다는 게 이유다.

알고리듬은 주어진 데이터 조각을 통계적으로 조합할 뿐, 창작자가 전하려는 문맥의 깊이나 미묘한 정서를 이해하지 못한다. 이항섭 감독은 "AI 영화를 두고 버튼 몇 번 딸깍 누르면 완성되는 것이라 폄하하거나 쉽게 생각하는 시각이 많아 안타깝습니다"라며 "내가 원하는 완벽한 장면 하나를 얻기 위해 온종일 모니터 앞에 매달려야 하는 고된 노동입니다"라고 강조했다.

그는 AI 기반 창작은 끈기와 맥락 구축 계획, 자료 검출에 필요한 노력이 필요하다고 말한다. AI를 창작 파트너로 삼으려면 명령어와 결과를 계속 주고받으며 창작자 고유의 맥락을 쌓아 두어야 한다는 이야기다. 똑같은 명령어를 넣어도 영상 연출 맥락을 꾸준히 축적한 계정과 초보자 계정의 결과물은 질적으로 다를 수밖에 없다. 알고리듬의 특성을 속속들이 파악하고 길들일 때 비로소 원하는 영화적 결과물로 이어질 것이라는 설명이다.

이항섭 감독은 차기작 준비에 속도를 내는 중이다. 이번에는 전작에서 겪은 인물 연속성의 붕괴를 개선하기 위해 실제 배우를 스튜디오에서 여러 각도로 촬영한 뒤, 이를 바탕으로 '캐릭터 시트(인물의 얼굴과 체형을 여러 각도에서 정리한 설정 자료)'를 구축하고 AI 모델에 미리 학습시켰다. 실제 인물의 이목구비와 비율을 기준점으로 삼아 AI를 작동하면 장면이 바뀌어도 연속성이 이어지도록 했다.

“저는 AI로 SF 액션 블록버스터 영화를 만드는 게 목표입니다. 수천억 원이 들어가는 화려한 우주전이나 도심 파괴 액션을 컴퓨터 몇 대로 실현해 내는 것, 그것이야말로 AI가 창작자에게 선사하는 가장 위대한 마법이니까요."

영화 제작 방식이 변화함에 따라 창작의 경쟁력은 AI를 잘 아는 것에서 AI를 이용해 무엇을 어떻게 만들 것인가 구체화하는 것에 달렸다. 이항섭 감독은 그 변화가 이미 시작됐음을 보여준다.

IT동아 강형석 기자 (redbk@itdonga.com)