[출처 : UCSC 깃허브 프로젝트 페이지]

캘리포니아 대학교 산타크루즈(UCSC)가 오픈소스 비전 인코더 모델군인 '오픈비전(OpenVision)'을 발표했다. 비전 인코더(vision encoder)는 이미지 같은 시각 자료를 숫자 데이터로 변환해 주는 AI 모델이다.

이렇게 변환된 데이터는 시각 정보 처리 기능이 없는 대형 언어 모델(LLM) 등 다른 AI 모델이 이해할 수 있다. 즉, LLM이 이미지 속의 사물, 색상, 위치 등의 다양한 특징을 인식할 수 있도록 도와주는 핵심 구성 요소다.

'오픈비전'은 Apache 2.0 라이선스 하에 공개되며, 총 26개의 다양한 모델로 구성되어 있어 용도와 기기 크기에 맞게 자유롭게 선택이 가능하다. 덕분에 건설 현장 사진부터 세탁기 이미지까지 어떤 시각 자료든 처리할 수 있으며, 이를 통해 AI 모델이 사용자에게 다양한 서비스를 제공할 수 있다. 따라서 이 모델은 4년 전 출시된 OpenAI의 'CLIP'과 작년 공개된 Google의 'SigLIP'을 대체할 수 있는 새로운 대안으로 주목받고 있다.

'오픈비전'은 특히 다양한 유형의 데이터를 통합적으로 이해하고 처리하는 '멀티모달(multimodal) 벤치마크'에서 강력한 성능을 보여줬다. 전통적인 벤치마크 도구(ImageNet, MSCOCO)도 사용됐지만, '오픈비전' 개발팀은 단순 이미지 분류나 검색 성능만으로 모델의 실제 능력을 판단해선 안 된다고 경고하며 대신 더 다양한 벤치마크와 개방형 평가 프로토콜을 통해 '실제 사용 환경에 가까운' 성능을 평가해야 한다고 제안했다.

테스트는 두 종류의 표준 멀티모달 프레임워크(LLaVA-1.5 및 Open-LLaVA-Next)를 사용하여 이뤄졌으며, 

그 결과 '오픈비전' 모델이 TextVQA, ChartQA, MME 및 OCR과 같은 고차원 멀티모달 과제에서 CLIP 및 SigLIP을 능가하는 성능을 보였다.

[출처 : UCSC 깃허브 프로젝트 페이지]

'오픈비전' 인코더는 224×224 해상도 기준으로 CLIP보다 높은 분류 및 검색 성능을 보였으며, SEED, SQA, POPE 같은 후속 과제에서도 우위를 점했다. 고해상도(336×336) 환경에서는 OpenVision-L/14가 CLIP-L/14보다 대부분의 과제에서 더 나은 성능을 기록했으며 소형 모델조차도 파라미터 수는 훨씬 적으면서도 경쟁력 있는 정확도를 유지했다.

'오픈비전'의 또 다른 강점은 CLIPA에서 차용한 '점진적 해상도 학습 방식'이다. 학습은 저해상도 이미지로 시작해 고해상도로 점차 정교해지며, 이는 전체 학습 비용을 CLIP이나 SigLIP 대비 1/2~1/3배로 효율적으로 만들어준다. 특히 고해상도 세부 정보가 중요한 OCR이나 차트 기반 질문응답 과제에서 가장 큰 성능 향상이 관찰되었다.

'오픈비전'은 SLM(소형 언어 모델) 및 엣지 컴퓨팅 환경과의 결합도 고려해 설계됐다. 전체 모델 크기를 250M 이하의 작은 크기로 구성해도 다양한 VQA, 문서 이해, 추론 과제에서 강력한 성능을 유지했으며 이 기능은 스마트폰, 센서 등 연산 자원이 제한적인 환경에서도 실용적이라는 점을 시사한다.

또 완전한 오픈소스이자 모듈형으로 설계되어, AI 엔지니어링, 오케스트레이션, 데이터 인프라, 보안 등 다양한 전략적 가치를 제공한다. 예를 들어 LLM 개발 및 운영 엔지니어는 '오픈비전'을 활용해 외부 API나 제한된 라이선스 없이도 고성능 비전 기능을 통합할 수 있으며 기밀 데이터를 외부로 보내지 않아도 된다.

[출처 : chatGPT 생성 이미지]

'오픈비전'의 등장은, AI 시각 인식 기술에 있어서의 중요한 전환점이라고 말할 수 있다. 지금까지 비전 인코더 시장은 OpenAI의 CLIP나 Google의 SigLIP 등, 일부 대기업이 제공하는 「블랙 박스」 모델이 지배하고 있었다고 해도 과언이 아니다. 하지만 '오픈비전'은 이름처럼 "완전히 오픈"된 모델이라 트레이닝 데이터, 코드, 모델의 가중치까지 모든 것이 공개되어 있어 Apache 2.0 라이센스하에서 상업 이용도 자유롭게 할 수 있다.

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com