영상 편집, 클로드한테 어디까지 맡길 수 있을까? 세팅 방법 정리해봤습니다

영상 편집하다 보면 생각보다 시간 잡아먹는 게 있잖아요. 말 없는 구간 자르고, 자막 만들고, 파일 정리하는 것처럼 반복해서 해야 하는 작업들이요.

이런 작업을 클로드 코드(Claude Code)에 몇 가지 도구를 연결해서 맡기는 방법이 있더라고요. 세팅부터 활용법까지 한번 정리해봤습니다.

다만 클로드 자체가 프리미어나 캡컷처럼 영상을 편집하는 건 아니고요. FFmpeg 같은 도구에 작업을 시키고, 그 과정을 관리하는 방식이에요. 버튼 한 번 눌러서 완벽한 영상이 뚝딱 나오는 건 아니지만, 편집 초안을 만드는 데는 꽤 쓸 만한 접근입니다.

전체 흐름은~~
클로드 데스크톱 앱 설치 → 작업 폴더 연결 → 도구 5개 준비 → 레퍼런스 스타일 분석 → 촬영본 편집 → 결과 확인 및 수정

1. 시작 전에 준비할 것

• Windows 또는 macOS 컴퓨터
• 클로드 유료 요금제(Pro 이상 등 Code 기능 이용 가능 요금제)
• 테스트용 촬영 영상 파일
• 최초 환경 설정에 필요한 약간의 시간

도구 대부분은 무료로 시작할 수 있어요. 다만 Remotion은 회사 규모나 사용 방식에 따라 라이선스 비용이 들 수 있고, 클로드 이용 요금도 별도라는 점은 참고하세요.

2. 클로드 앱에서 Code 탭 열기

먼저 클로드 데스크톱 앱을 설치하고 로그인해 주세요. 그다음 Code 탭으로 들어가면 됩니다.

터미널을 따로 열지 않고, 클로드 앱에서 내 컴퓨터의 작업 폴더를 연결하는 방식이에요. 앱이 업데이트되면 메뉴 위치나 이름은 조금 달라질 수 있습니다.

3. 영상 편집용 폴더 만들기

영상 파일이 여기저기 섞이면 나중에 찾기 힘들잖아요. 그래서 폴더부터 나눠두는 게 편합니다. 저는 이런 식으로 구성하는 걸 추천해요.

그다음 Code 탭에서 Local 환경을 선택하고, Open folder…로 방금 만든 상위 폴더를 연결하면 됩니다.

이제 클로드가 허용된 폴더 안에서 파일을 읽고 결과물을 저장할 수 있어요. 대신 혹시 모르니 원본 영상은 따로 백업해두세요.

4. 필요한 도구는 총 5개

여기서부터가 핵심이에요. 클로드에 아래 도구들을 연결해서 역할을 나눠주는 겁니다.

그렇다고 다섯 개를 무조건 다 쓸 필요는 없어요. 말 없는 부분 자르고 자막 만드는 게 목적이라면 FFmpeg와 Whisper부터 써봐도 됩니다. Remotion과 HyperFrames는 에이전트 스킬과 실행 환경을 추가로 준비해야 해요.

5. 설치도 클로드에게 요청해보세요

설치부터 막막하다면 클로드한테 설치 상태를 확인해달라고 해보세요. 아래 내용을 Code 탭에 붙여 넣으면 됩니다. 실제 설치 명령은 확인하고 진행하는 걸 추천해요.

-------

-------

중간에 다른 프로그램을 깔거나 시스템 설정을 바꾸겠다는 요청이 나올 수도 있어요. 이때는 무조건 승인하지 말고, 어떤 명령인지 확인한 다음 진행하세요.

6. 실제 편집 작업은 어떻게 맡기나요?

세팅이 끝났으면 원본 영상 폴더에 테스트용 영상을 하나 넣어보세요. 그리고 클로드한테 뭘 해줬으면 하는지 설명하면 됩니다.

처음부터 영상 전체를 편집하라고 하기보다는 ‘말 없는 구간 찾아줘’, ‘SRT 자막 만들어줘’, ‘어떤 파일이 생기는지 먼저 알려줘’처럼 작은 작업부터 하나씩 시켜보는 게 좋아요.

이게 잘 되면 이제 좀 더 욕심을 내볼 수 있겠죠. 참고 영상으로 내 편집 스타일을 정리하고, 실제 촬영본 편집까지 맡기는 방법은 아래에 이어서 적어둘게요.

7. 사용 전에 알아둘 점

8. 레퍼런스로 내 스타일 알려주기

도구를 다 깔았다고 클로드가 제 취향까지 아는 건 아니잖아요. 그래서 원하는 느낌의 영상 3개 정도를 보여주고, 공통된 편집 스타일을 글로 정리하게 하는 겁니다.

이걸 파일로 저장해두면 다음 영상 만들 때마다 같은 얘기를 반복할 필요도 줄어들고요.

아래 <영상 링크 1>, <영상 링크 2>, <영상 링크 3>만 원하는 영상 주소로 바꿔서 붙여 넣어보세요.

-------

-------

여기서 마지막 두 줄은 꼭 넣어두는 게 좋아요. 편집 분위기만 참고하라는 거지, 남의 영상이나 음악을 그대로 가져다 쓰라는 건 아니니까요.

클로드가 영상을 사람처럼 쭉 보면서 이해한다고 생각하기보다는, 장면을 사진으로 뽑고 대사를 글로 바꿔서 분석하게 하는 방식이에요. 다만 1초마다 뽑은 사진만으로는 미묘한 움직임이나 정확한 컷 타이밍을 놓칠 수 있어서 결과는 직접 확인해야 해요.

참고 영상 다운로드는 권한이 있거나 이용 조건상 허용된 영상으로 진행해 주세요.

잘 진행됐다면?! ‘레퍼런스’ 폴더에 영상 3개와 스타일.md 파일이 생깁니다. 열어봤는데 원하는 느낌이 아니면 채팅으로 고쳐달라고 하면 돼요.

9. 촬영본 편집 맡기기

이제 진짜 편집을 시켜볼 차례입니다. 촬영본을 ‘원본 영상’ 폴더에 넣고, 아래에서 파일 이름이랑 배경음 경로만 바꿔서 클로드에 붙여 넣으면 돼요.

-------

-------

배경음은 클로드가 아무 음악이나 찾아 넣게 하기보다는, 내가 사용 권리를 가진 파일을 직접 지정하는 게 안전해요. 그래서 파일 경로를 적도록 해뒀습니다.

작동 방식은 생각보다 단순해요. Whisper가 말을 받아 적고, 클로드가 어디를 자를지 정하고, FFmpeg가 실제로 자르는 식입니다. 인터뷰나 설명 영상처럼 말이 중심인 영상에는 잘 맞는 편인데, 카메라 여러 대를 섞거나 B롤이 많은 영상은 손이 더 갈 수 있어요.

말 없는 구간을 너무 빡빡하게 자르면 말하는 사람의 호흡까지 날아갈 수 있거든요. 최종 컷이랑 자막 싱크는 꼭 직접 확인해 주세요.

잘 진행됐다면~~~~ ‘완성본’ 폴더에 편집 영상과 자막 파일이 저장되고, 채팅에는 잘라낸 구간 목록과 변경 사항이 정리됩니다. 생성되는 파일은 환경에 따라 조금 다를 수 있어요.

마무리

결론적으로 이걸로 편집을 전부 끝낸다기보다는, 귀찮은 반복 작업을 덜고 편집 초안을 만드는 용도로 생각하면 좋을 것 같아요.

처음엔 짧은 영상 하나로 스타일 분석 → 무음 컷 → 자막 → 검수까지 한번 돌려보세요. 결과가 괜찮으면 스타일 파일을 조금씩 다듬어서 내 작업 방식에 맞춰가면 됩니다.