어도비가 AI를 도입한 이후 다양한 기능이 발전했지만, 영상 제작에서 가장 크게 체감되는 AI 기능은 역시 자동 자막 생성이다. 정확히는 음성을 텍스트로 받아쓴 뒤 이를 바탕으로 자막을 만드는 기능인데, 이 기능 하나만으로도 영상 제작 시간이 크게 줄었다.


받아쓰기 결과를 활용하면 무음 구간을 자동으로 제거할 수 있어, 해당 구간을 일일이 찾아 지우는 번거로움도 줄어든다. 받아쓴 텍스트를 바탕으로 컷 편집도 할 수 있어 영상과 자막을 따로 작업하던 불편함 역시 많이 줄었다.


다만 이렇게 편리한 프리미어 프로의 자동 자막 기능에도 한계가 있다. 대표적인 문제는 지정한 언어와 다른 언어의 단어를 잘 인식하지 못하는 경우가 있다는 점이다. 인식 언어를 한국어로 설정하면 영상 중간에 나오는 Megabyte, CPU Cooler 같은 영어 단어나 영문 제품명이 제대로 인식되지 않는 경우가 있다.


그래서 이번에는 프리미어 프로를 활용한 자막 작업을 세 가지 방식으로 나누어 작업 시간을 비교해 보았다.


  1. 수동으로 자막 생성
  2. 프리미어 프로로 자동 자막 생성 후 사람이 직접 수정
  3. 프리미어 프로로 자동 자막 생성 후 AI를 추가로 활용해 수정


세 가지 방식의 결과를 바탕으로 어떤 방법이 더 효율적인지 확인해 보도록 하자.


1. 테스트 환경 및 조건

먼저 테스트에 사용한 시스템은 다음과 같다.


항목사양
CPUAMD Ryzen 7 9800X3D
M/BASUS TUF GAMING B850-PLUS WIFI
RAM64GB (KLEVV 5600MHz, 32GB × 2)
VGAZOTAC GeForce RTX 5070
SSDWD_BLACK SN850X 2TB


프리미어 프로는 아래 사진과 같이 글 작성 당시 최신 버전인 26.5.2를 사용했다. 최근 프로그램 이름이 프리미어(Adobe Premiere)로 바뀌었지만, 이 글에서는 많은 사람에게 익숙한 '프리미어 프로'로 표기한다. AI를 활용한 자막 수정에는 Claude Opus 5.5를 사용했다.


테스트에 사용한 프리미어 프로 버전 정보


테스트에는 직접 제작한 제품 소개 영상 5편을 사용했다. 다섯 편 모두 소개하는 제품은 다르지만 영상 구성은 거의 같다. 전체 길이는 모두 7분이 넘으므로, 비교 조건을 맞추기 위해 각 영상의 처음 7분 구간만 작업했다.


자막 작업 방식은 다음과 같이 세 가지로 나누었다.


구분작업 방식대상 영상
1군영상을 들으며 텍스트 도구로 자막을 직접 입력1, 2번
2군프리미어 프로로 자동 받아쓰기 후 사람이 직접 수정3, 4, 5번
3군프리미어 프로로 자동 받아쓰기 후 AI(Claude)로 수정, 이후 사람이 최종 수정3, 4, 5번


2군과 3군은 같은 영상을 대상으로 했다. 프리미어 프로에서 자동 받아쓰기를 한 번 진행해 결과를 저장한 뒤, 동일한 결과를 사람이 직접 수정하는 방식과 AI로 수정하는 방식으로 나누어 작업했다. 두 방식이 같은 받아쓰기 결과에서 출발하도록 하기 위해서다.


평가 항목은 자막 작업 시간과 정확도, 두 가지다. 작업 화면을 녹화한 뒤 영상을 확인하며 자막이 완성될 때까지 걸린 시간을 단계별로 측정했다. 2군의 작업 시간은 자동 자막 생성 시간과 사람이 직접 수정한 시간의 합이다. 3군은 자동 자막 생성 시간, SRT 파일 내보내기부터 AI 수정과 수정된 파일 불러오기까지의 추가 AI 작업 시간, 사람이 최종 수정한 시간을 모두 더했다.


정확도는 프리미어 프로의 자동 받아쓰기 결과와 AI 수정 결과에서 오류 수를 세고, 전체 어절 수 대비 오인식률(%)로 비교했다. AI를 활용한 자막 수정 과정은 ‘3. 테스트 방법’에서 자세히 살펴보도록 하자.


2. 영어 단어 인식 문제

먼저 프리미어 프로의 자동 받아쓰기 결과를 살펴보자. 한국어로 말한 부분은 대체로 정확하게 받아 적었지만, 영어 단어와 숫자, 단위가 섞인 부분에서는 오류가 많았다.


아래 사진은 5번 영상에서 해상도를 설명하는 구간이다. 위는 프리미어 프로의 받아쓰기 결과, 아래는 실제로 말한 내용대로 수정한 자막이다.


해상도 설명 구간의 프리미어 프로 자동 받아쓰기 결과


자동 받아쓰기 결과


해상도 설명 구간의 올바르게 수정한 자막


수정한 자막


실제로는 "2560 x 1440의 QHD 해상도"라고 말했지만, 받아쓰기 결과는 "2601445 해상도"였다. 숫자 사이의 x가 빠지고 숫자가 잘못 인식된 채 하나로 이어졌으며, QHD는 아예 사라졌다. 바로 아래 줄의 "QHD 높은 해상도"도 QHD가 빠진 채 "높은 해상도"로만 남았다.


제품명과 규격 표기에서는 오류가 더 많았다. 아래 사진은 모니터 스탠드의 VESA 규격을 설명하는 구간이다.


VESA 규격과 제품명 설명 구간의 자동 받아쓰기 결과


자동 받아쓰기 결과


VESA 규격과 제품명 설명 구간의 수정한 자막


수정한 자막


"모니터암"은 "모니터함"으로, "100 x 100mm VESA 규격"은 "배꼽에 100 베사규격"으로 인식되었다. 모델명 EdgeArt Q3275K II는 "엣지 아트372"로, 그 아래 줄의 "틸트, 스위블"은 "틸트 수입을"로 바뀌었다. 세 줄 안에서만 오류가 다섯 군데 나타났다.


같은 모델명도 나올 때마다 다르게 인식되었다. 5번 영상에서는 7분 동안 모델명이 6번 나오는데, 엣지302, 엣지아트372, 엣지372처럼 표기가 매번 달랐다. 따라서 일괄 치환하기 어렵고, 등장할 때마다 직접 찾아 수정해야 한다.


나머지 영상에서도 비슷한 오류가 반복되었다. 세 영상에서 나온 오류를 유형별로 정리하면 다음과 같다.

가장 많이 나타난 유형은 영어 단어 누락이다. CPU, PC, QHD처럼 짧은 영어 단어를 건너뛰는 경우가 많았고, 단어가 빠진 자리에는 조사만 남아 문장이 어색해졌다.


숫자에서는 소수점이 자주 빠졌다. 3번 영상에서는 CPU 온도 77.1도가 771도로, 78.2도가 782도로 인식되는 등 소수점이 누락된 경우가 7번 있었다. 이대로 자막을 내보내면 시청자에게 잘못된 정보가 전달된다.


제품 리뷰 영상에서는 제품명과 사양, 단위가 핵심 정보이므로 이러한 오류를 그냥 넘어갈 수 없다. 영상을 다시 들으며 하나씩 고치다 보면 자동 자막으로 아낀 시간의 상당 부분을 수정 작업에 쓰게 된다. 다음으로 이 수정 과정에 AI를 활용하는 방법을 살펴보도록 하자.


3. 테스트 방법

3군의 작업 과정을 단계별로 살펴보자. 자동 받아쓰기를 하고 캡션을 만드는 과정까지는 2군과 3군이 같다.


프리미어 프로에서 받아쓰기를 마치면 아래 사진과 같이 Text 패널의 Transcript 탭에 음성이 텍스트로 정리된다. 사진에서도 "레안텍 엣지302", "120 헤르츠"처럼 제품명이 잘못 인식되거나 단위가 한글로 표기된 부분을 볼 수 있다.


프리미어 프로 Text 패널의 Transcript 탭


STEP 01. Transcript 탭 상단의 CC 버튼(Create captions)을 눌러 받아쓴 텍스트로 캡션을 만든다.


캡션이 만들어지면 Captions 탭에서 자막을 한 줄씩 확인할 수 있다. 3군은 이 자막을 SRT 파일로 내보내 AI로 수정한다. 아래 사진과 같이 Captions 탭 오른쪽 위의 더 보기(…) 메뉴에서 Export를 선택하면 자막을 텍스트, CSV, SRT 파일로 내보낼 수 있다.


Captions 탭의 자막 내보내기 메뉴


STEP 02. Captions 탭의 더 보기(…) 메뉴에서 Export → Export to SRT file을 선택해 자막을 SRT 파일로 저장한다.


다음으로 Claude에 자막 수정을 요청한다. 이때 제공한 자료는 다음 세 가지다.


  • 제품 상세 페이지를 캡처한 PDF 파일
  • 영상의 음성을 추출한 MP3 파일
  • 프리미어 프로에서 내보낸 SRT 파일


음성 MP3 파일은 프리미어 프로에서 오디오만 내보내는 방식으로 만들었다. 제품 상세 페이지 PDF는 제품명과 사양 표기를 확인하는 기준이 되고, MP3 파일은 실제로 말한 내용을 확인하는 데 활용한다. 세 파일을 모두 첨부한 뒤 아래 사진과 같이 자막 수정을 요청했다.


Claude에 자료를 첨부하고 자막 수정을 요청한 화면


입력한 프롬프트는 다음과 같다.


오늘은 동영상의 자막 작업을 할거야. 이 영상의 내용은 첨부한 PDF 파일의 제품에 대해 소개하는 영상이야. 먼저 클로드에게 제품의 상세페이지 정보가 담긴 PDF 파일, 영상의 음성이 담긴 mp3파일, 프리미어프로에서 자동 받아쓰기를 한 srt파일을 제공할꺼야. 내가 제공한 정보들을 참고해서 오탈자와, 잘못된 표현, 영어 표현을 교정해줘


STEP 03. 제품 상세 페이지 PDF, 음성 MP3, SRT 파일을 Claude에 첨부하고 자막 수정을 요청한다.


Claude가 수정을 마치면 수정된 SRT 파일을 내려받을 수 있다. 이 파일을 프리미어 프로로 불러와 타임라인에 올리면 수정된 자막이 적용된다.


STEP 04. Claude가 수정한 SRT 파일을 프리미어 프로로 불러와 타임라인에 적용한다.


마지막으로 영상을 처음부터 재생하며 자막을 확인하고, AI가 놓친 부분을 직접 고친다. 3군의 작업 시간에는 이 최종 수정 시간까지 모두 포함했다.


STEP 05. 영상을 재생하며 자막을 최종 확인하고, 남은 오류를 직접 수정한다.


아래 사진은 이 과정을 거쳐 완성한 자막이다. 프리미어 프로의 받아쓰기 결과에서 "2601445 해상도"로 표시되었던 부분이 "2560 x 1440의 QHD 해상도"로 정확하게 수정되었다.


AI 수정과 최종 검토를 거쳐 완성한 자막


4. 결과 비교

1) 작업 시간

먼저 작업 방식별 평균 자막 작업 시간을 비교해 보자. 7분 분량의 영상을 기준으로 측정한 결과는 다음과 같다.


구분자동 자막 생성추가 AI 작업사람 작업전체 자막 작업 시간완전 수동 대비
1군 (완전 수동)--76분 30초76분 30초기준
2군 (자동 + 사람 수정)2분-26분 40초28분 40초62.5% 단축
3군 (자동 + AI + 사람 수정)2분5분 20초9분 40초17분77.8% 단축


자막을 처음부터 직접 입력한 1군은 7분 분량의 영상 한 편에 평균 76분 30초가 걸렸다. 프리미어 프로의 자동 받아쓰기를 활용한 2군은 평균 28분 40초로, 1군 대비 작업 시간이 62.5% 줄었다. 자동 자막 생성은 2분 만에 끝났지만, 나머지 26분 40초는 앞서 살펴본 영어 단어와 숫자, 제품명 등의 오류를 찾아 고치는 데 사용했다.


3군은 추가 AI 작업에 평균 5분 20초가 들었지만, 사람이 수정하는 시간이 9분 40초로 줄어 전체 작업 시간은 17분이었다. 1군보다 77.8%, 2군보다 40.7% 단축된 결과다.


같은 영상으로 작업한 2군과 3군을 영상별로 비교하면 다음과 같다.


영상2군3군단축률
3번 영상27분17분37.0%
4번 영상31분16분48.4%
5번 영상28분18분35.7%


세 영상 모두 3군의 작업 시간이 2군보다 35% 이상 짧았다. 단축 폭이 가장 큰 4번 영상은 2군에서 31분 걸린 작업이 3군에서는 16분 만에 끝났다. 이 영상은 자동 받아쓰기의 오인식률도 세 영상 중 가장 높았다. 영상이 3편뿐이므로 단정하기는 어렵지만, 오류가 많은 영상일수록 AI 수정의 효과가 더 크게 나타날 가능성이 있다.


2군은 오류가 영상 전체에 흩어져 있어 수정을 마칠 때까지 영상을 세 번 정도 반복해서 봐야 했다. 반면 3군은 대부분의 오류가 이미 수정된 상태여서 영상을 한 번 보면서 확인하고 고치는 것으로 충분했다.


체감 차이는 숫자보다 더 컸다. 2군은 틀린 단어를 놓치지 않기 위해 처음부터 끝까지 높은 집중력을 유지해야 했다. 3군은 정리된 자막을 검토하는 작업에 가까워 집중력 부담이 덜했고, 작업도 그만큼 수월했다.


2) 자막 정확도

다음으로 자막의 정확도를 살펴보자. 프리미어 프로의 자동 받아쓰기 결과와 AI로 수정한 결과에 남아 있는 오류 수를 세어 비교했다.


영상전체 어절프리미어 프로 오류오인식률AI 수정 후 오류오인식률
3번 영상69463개9.1%0개0.0%
4번 영상67063개9.4%0개0.0%
5번 영상75052개6.9%5개0.7%
합계 2,114 178개 8.4% 5개 0.2%


세 영상의 전체 어절 수를 기준으로 계산한 프리미어 프로의 자동 받아쓰기 오인식률은 8.4%였다. 대략 12어절마다 하나꼴로 수정이 필요했던 셈이다. AI로 수정한 뒤에는 오류가 178개에서 5개로 줄면서 오인식률이 0.2%로 낮아졌다. 남은 5개는 모두 5번 영상에서 나타났으며, 어떤 오류였는지는 다음 항목에서 살펴보자.


5. 사람이 꼭 확인해야 하는 부분

AI로 수정한 뒤에도 오류가 모두 사라지지는 않았다. 이번 평가에서 3번과 4번 영상에는 남은 오류가 없었지만, 5번 영상에는 5개가 남아 있었다. 유형은 다음 세 가지로 나뉜다.


첫 번째는 같은 단어를 일부만 수정한 경우다. 프리미어 프로가 "스위불"로 받아쓴 단어는 영상에 두 번 나오는데, AI는 그중 한 곳만 "스위블"로 고쳤다. "헤르츠"도 대부분 Hz로 바꿨지만 한 곳은 그대로 남았다.


두 번째는 원래 문장에 있던 오류를 그대로 둔 경우다. "책상이 공간을 효율적으로"처럼 조사가 잘못된 부분은 수정되지 않았다. 영어나 제품명과 관계없는 오류라 놓쳤을 가능성도 있다.


세 번째는 AI의 수정 과정에서 새로 생긴 오류다. "-5도에서 20도까지"를 기호로 바꾸면서 뒤쪽의 ‘도’가 빠졌고, "디스플레이포트 1.4"는 "DP포트 1.4"로 바뀌었다. DP는 DisplayPort의 약자이므로 ‘포트’가 중복된 표기다.


AI가 음성과 다른 내용으로 자막을 수정한 경우도 있었다. 4번 영상에서 크기를 비교할 때 실제로 사용한 제품은 갤럭시 S26 울트라였지만, 영상에서는 "S24 울트라"라고 잘못 말했다. 프리미어 프로는 이 부분을 "갤럭시 24울트라"로 받아썼고, AI는 "갤럭시 S26 울트라"로 고쳤다. 이번에는 실제 제품에 맞게 수정되었지만, 음성과 자막의 내용은 서로 다르다. 같은 방식으로 수정하면서 오히려 내용을 잘못 바꿀 가능성도 있다는 뜻이다.


반대로 숫자를 정확하게 바로잡은 경우도 있었다. 같은 4번 영상에서 "두 방향 모두 40초 이내에 복사가 완료되었다"는 부분을 프리미어 프로는 "30초 이내"로 받아썼는데, AI는 이를 40초로 고쳤다.


6. 정리

이번 테스트의 결과를 정리하면 다음과 같다.


구분평균 자막 작업 시간사람 작업 시간1군 대비
1군 (완전 수동)76분 30초76분 30초기준
2군 (자동 + 사람 수정)28분 40초26분 40초62.5% 단축
3군 (자동 + AI + 사람 수정)17분9분 40초77.8% 단축


프리미어 프로의 자동 받아쓰기만 활용해도 자막 작업 시간은 62.5% 줄었다. 여기에 AI 수정을 더한 3군은 1군 대비 77.8%, 2군 대비 40.7%의 시간을 단축했고, 오인식률은 8.4%에서 0.2%로 낮아졌다. 사람이 직접 수정하는 시간도 26분 40초에서 9분 40초로 줄어, 높은 집중력이 필요한 작업의 부담이 크게 가벼워졌다.


이번 테스트를 바탕으로 정리한 자막 작업 순서는 다음과 같다.


  1. 프리미어 프로에서 자동 받아쓰기를 진행하고 캡션을 만든다.
  2. 자막은 SRT 파일로, 음성은 MP3 파일로 내보낸다.
  3. 제품 정보(상세 페이지 등)와 함께 AI에 제공해 자막 수정을 요청한다.
  4. 수정된 SRT 파일을 프리미어 프로로 불러온다.
  5. 영상을 한 번 재생하며 숫자, 단위, 제품명, 음성과 다르게 바뀐 부분을 중심으로 최종 확인한다.


영어 용어와 사양이 자주 나오는 제품 리뷰 영상이라면 이 방식을 활용해 볼 만하다. 제품 정보를 함께 제공하면 AI가 제품명과 사양 표기를 해당 자료에 맞춰 수정할 수 있기 때문이다. 다만 앞서 살펴본 것처럼 AI가 모든 오류를 찾아내는 것은 아니므로, 마지막 확인은 직접 하는 것이 좋다.


마지막으로 이번 실험의 한계도 짚고 넘어가자. 1군은 1·2번 영상, 2·3군은 3·4·5번 영상을 사용했다. 영상 구성은 거의 같지만 등장하는 용어가 다르므로, 1군과의 비교에는 영상 자체의 차이가 일부 영향을 미쳤을 수 있다. 또한 영상 수가 많지 않고 한 사람이 작업과 측정을 진행했으므로, 작업자의 숙련도나 영상 길이에 따라 결과가 달라질 수 있다. AI는 같은 요청에도 매번 조금씩 다른 결과를 낼 수 있다는 점도 참고하길 바란다.


자동 자막을 사용하면서도 영어 인식 문제 때문에 내용을 하나씩 고치고 있었다면, 자막 생성 후 AI 수정 단계를 추가해 보길 추천하며 글을 마무리한다.