오픈AI(OpenAI)는 지난 9일(현지시간) 공개한 시스템 카드를 통해 영상 생성 AI '소라(Sora)'의 안전성 강화 방안을 상세히 공개했다. 소라는 텍스트, 이미지, 비디오를 입력하면 새로운 비디오를 생성하는 AI 모델이다. 소라는 최대 1080p 해상도의 20초 길이 영상을 생성할 수 있다. 사용자는 텍스트로 새로운 콘텐츠를 만들거나 자신의 자료를 향상, 리믹스, 블렌드할 수 있다. 소라는 달리(DALL·E)와 GPT 모델의 학습 경험을 바탕으로 제작됐으며, 스토리텔링과 창의적 표현을 위한 도구로 설계됐다.

오픈AI는 2024년 2월 소라를 발표한 이후 60개국 이상에서 활동하는 시각 예술가, 디자이너, 영화 제작자 수백 명과 협력해 광범위한 피드백을 수집했다. 또한 9개국의 외부 레드팀이 참여해 15,000건 이상의 생성 테스트를 수행했다. 레드팀의 평가 과정에서 여러 중요한 보안 취약점이 발견됐다. 의료 상황이나 SF/판타지 설정을 이용한 안전장치 우회 시도가 있었으며, 암시적 프롬프트와 은유를 통한 안전장치 회피 전술도 확인됐다. 미디어 업로드와 도구 사용 과정에서도 보안 격차가 발견됐다. 이와 함께 초기 아티스트 접근 프로그램을 통해 50만 건 이상의 모델 요청 데이터를 분석해 추가적인 개선점을 파악했다.

안전성 강화를 위한 주요 조치

오픈AI는 소라의 잠재적 오남용을 방지하기 위해 시스템 수준과 제품 정책 측면에서 다층적인 안전 장치를 도입했다.

먼저 시스템 및 모델 수준에서는 다중 모달 모더레이션 분류기를 도입해 텍스트와 이미지를 철저히 검수하고 있다. 맞춤형 LLM 필터링을 통해 제3자 콘텐츠와 기만적 콘텐츠를 식별하며, 이미지 출력 분류기로 유해 콘텐츠를 차단한다. 여기에 다양한 카테고리의 텍스트 차단 목록을 지속적으로 유지하고 있다.

제품 정책 측면에서는 사용자를 18세 이상으로 제한하고 있으며, 다른 사람의 초상권 무단 사용을 엄격히 금지하고 있다. 불법 콘텐츠나 지적재산권을 침해하는 콘텐츠 생성도 허용하지 않으며, 명시적이고 유해한 콘텐츠 생성 역시 금지된다. 위반 콘텐츠에 대해서는 즉각적인 신고와 제거가 가능한 시스템을 구축해 운영하고 있다.

주요 위험 영역별 대응 방안

• 아동 안전

오픈AI는 아동 보호를 최우선 과제로 삼고 있다. 아동 성착취물(CSAM) 관련 콘텐츠에 대해서는 예방, 탐지, 신고를 아우르는 종합적인 시스템을 구축했다. 쏜(Thorn)이 개발한 세이퍼(Safer) 도구를 도입해 CSAM을 효과적으로 탐지하고 있으며, 18세 미만 개인이 포함된 콘텐츠에 대해서는 특별히 엄격한 제한을 두고 있다. 실제 아동 이미지 분류에서는 97.86%의 높은 정확도를 달성했으며, 전미실종착취아동센터(NCMEC)와의 긴밀한 협력을 통해 아동 보호를 강화하고 있다.

• 선정성과 암시적 콘텐츠

명시적 콘텐츠를 차단하기 위해 다층적 모더레이션 전략을 적용하고 있다. 특히 이미지 업로드의 경우 더욱 엄격한 분류기 임계값을 적용해 관리하고 있으며, 누드 및 암시적 콘텐츠 필터링에서 97.59%의 정확도를 보이고 있다. 탐색 섹션에 표시되는 콘텐츠에 대해서는 한층 강화된 필터링을 적용해 보다 폭넓은 사용자층이 안전하게 이용할 수 있도록 했다.

• 기만적 콘텐츠 방지

유해한 딥페이크 콘텐츠를 차단하기 위한 모니터링 시스템을 구축했으며, 선거 관련 기만적 콘텐츠 탐지에서는 98.23%의 높은 재현율을 달성했다. 콘텐츠의 출처를 명확히 하기 위해 C2PA 메타데이터, 워터마크, 내부 역검색 도구 등 다양한 출처 확인 시스템을 도입했다. 오픈AI의 정보조사팀은 전담 조직을 통해 소라 생성 콘텐츠를 정확히 식별할 수 있는 도구를 운영하고 있다.

• 예술가 스타일 보호

생존 예술가의 이름이 포함된 프롬프트에 대해서는 보수적인 접근을 취하고 있다. 프롬프트 재작성 시스템을 통해 가이드라인 준수를 강화하고 있으며, 공인의 이름이나 특정 속성, 브랜드 객체 등은 일반화 처리를 통해 무분별한 활용을 방지하고 있다.

향후 계획

오픈AI는 소라의 안전하고 책임있는 발전을 위한 구체적인 계획을 수립했다. 우선 초상권 보호를 위해 실제 인물의 사진이나 영상 업로드 기능은 제한된 사용자에게만 시범적으로 제공할 예정이다. 출처 확인과 투명성 강화를 위해서는 C2PA 구현을 확대하고 NGO, 연구기관과의 협력을 강화할 계획이다.

출력물의 대표성 확대도 중요한 과제다. 신체 이미지에 대한 편향성과 인구통계학적 대표성 등을 고려한 개선 작업을 진행할 예정이며, 지속적인 안전성 개선을 위해 정책과 윤리적 기준에 따른 평가와 개선을 이어갈 방침이다.

이러한 포괄적인 노력을 통해 오픈AI는 소라가 창의적 도구로서의 가치를 유지하면서도 잠재적 위험을 최소화할 수 있도록 하겠다고 밝혔다.

해당 기사의 원문은 오픈AI에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.