구글이 제미나이 모델에 에이전트 방식 영상 이해 기능을 현지 시각 9월 1일 공식 블로그에 공개했다. 적용 모델은 제미나이 3.7 플래시와 3.6 플래시, 3.5 플래시-라이트다. 영상을 고정된 프레임 속도로 전부 처리하던 방식 대신, 모델이 어느 구간을 어떤 속도로 볼지 스스로 정한다. 글은 구글 딥마인드의 로한 도시 수석 제품매니저와 마리오 루치치 리서치 디렉터가 썼다.

구글은 표준 영상 분석 평가 전반에서 토큰 소비가 최대 88%, 비용이 최대 66% 줄고 정확도는 최대 7% 높아졌다고 밝혔다. 토큰은 모델이 언어와 영상을 처리하는 최소 단위다. 절감 폭은 10분짜리 설명 영상부터 90분 강의, 몇 시간짜리 녹화까지 긴 영상에서 큰 편이다. 고정 프레임 처리가 토큰을 가장 많이 쓰는 유형이기 때문이다. 짧은 클립처럼 모든 장면이 의미 있는 영상에서는 절감 폭이 크지 않은 편이다.

에이전트 방식은 영상의 프레임과 오디오, 자막을 선택해 활용한다. 답에 필요한 구간만 골라 보고 나머지는 건너뛴다. 1초 미만 단위의 순간 검색이나 몇 시간짜리 영상에서 특정 장면 찾기, 이상 징후 탐지, 반복 동작과 물체 세기 같은 작업에 쓸 수 있다. 긴 영상에서 토큰 소비가 30만~40만 개에서 5만 개 아래로 줄어든 사례도 보고됐다.

개발자는 제미나이 API에서 영상 입력의 처리 옵션을 에이전틱으로 지정하면 쓸 수 있다. 구글 AI 스튜디오와 제미나이 엔터프라이즈 에이전트 플랫폼에서도 켤 수 있다. 별도 요금 없이 기존 토큰 단가가 적용되며, 업로드한 파일과 유튜브 주소 모두에 쓸 수 있다.

구글은 이 기술을 유튜브의 애스크 유튜브 기능과 제미나이 앱 전반으로 확대할 예정이라고 밝혔다. 영상 분석은 AI 모델에 들어가는 입력 가운데 비용이 큰 편에 속한다. 구글은 세 모델 가운데 제미나이 3.7 플래시가 정확도 대비 비용 효율이 가장 좋다고 설명했다.

자세한 내용은 구글에서 확인할 수 있다.

이미지 출처: 구글