비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

오픈AI, 소라에 아동 이미지 감지되면 생성 거부한다

2024.12.12. 16:32:25
조회 수
519
14
댓글 수
1

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

오픈AI(OpenAI)는 지난 9일(현지시간) 공개한 시스템 카드를 통해 영상 생성 AI '소라(Sora)'의 안전성 강화 방안을 상세히 공개했다. 소라는 텍스트, 이미지, 비디오를 입력하면 새로운 비디오를 생성하는 AI 모델이다. 소라는 최대 1080p 해상도의 20초 길이 영상을 생성할 수 있다. 사용자는 텍스트로 새로운 콘텐츠를 만들거나 자신의 자료를 향상, 리믹스, 블렌드할 수 있다. 소라는 달리(DALL·E)와 GPT 모델의 학습 경험을 바탕으로 제작됐으며, 스토리텔링과 창의적 표현을 위한 도구로 설계됐다.

오픈AI는 2024년 2월 소라를 발표한 이후 60개국 이상에서 활동하는 시각 예술가, 디자이너, 영화 제작자 수백 명과 협력해 광범위한 피드백을 수집했다. 또한 9개국의 외부 레드팀이 참여해 15,000건 이상의 생성 테스트를 수행했다. 레드팀의 평가 과정에서 여러 중요한 보안 취약점이 발견됐다. 의료 상황이나 SF/판타지 설정을 이용한 안전장치 우회 시도가 있었으며, 암시적 프롬프트와 은유를 통한 안전장치 회피 전술도 확인됐다. 미디어 업로드와 도구 사용 과정에서도 보안 격차가 발견됐다. 이와 함께 초기 아티스트 접근 프로그램을 통해 50만 건 이상의 모델 요청 데이터를 분석해 추가적인 개선점을 파악했다.

안전성 강화를 위한 주요 조치

오픈AI는 소라의 잠재적 오남용을 방지하기 위해 시스템 수준과 제품 정책 측면에서 다층적인 안전 장치를 도입했다.

먼저 시스템 및 모델 수준에서는 다중 모달 모더레이션 분류기를 도입해 텍스트와 이미지를 철저히 검수하고 있다. 맞춤형 LLM 필터링을 통해 제3자 콘텐츠와 기만적 콘텐츠를 식별하며, 이미지 출력 분류기로 유해 콘텐츠를 차단한다. 여기에 다양한 카테고리의 텍스트 차단 목록을 지속적으로 유지하고 있다.

제품 정책 측면에서는 사용자를 18세 이상으로 제한하고 있으며, 다른 사람의 초상권 무단 사용을 엄격히 금지하고 있다. 불법 콘텐츠나 지적재산권을 침해하는 콘텐츠 생성도 허용하지 않으며, 명시적이고 유해한 콘텐츠 생성 역시 금지된다. 위반 콘텐츠에 대해서는 즉각적인 신고와 제거가 가능한 시스템을 구축해 운영하고 있다.

주요 위험 영역별 대응 방안

  • 아동 안전

    오픈AI는 아동 보호를 최우선 과제로 삼고 있다. 아동 성착취물(CSAM) 관련 콘텐츠에 대해서는 예방, 탐지, 신고를 아우르는 종합적인 시스템을 구축했다. 쏜(Thorn)이 개발한 세이퍼(Safer) 도구를 도입해 CSAM을 효과적으로 탐지하고 있으며, 18세 미만 개인이 포함된 콘텐츠에 대해서는 특별히 엄격한 제한을 두고 있다. 실제 아동 이미지 분류에서는 97.86%의 높은 정확도를 달성했으며, 전미실종착취아동센터(NCMEC)와의 긴밀한 협력을 통해 아동 보호를 강화하고 있다.

    • 선정성과 암시적 콘텐츠

    명시적 콘텐츠를 차단하기 위해 다층적 모더레이션 전략을 적용하고 있다. 특히 이미지 업로드의 경우 더욱 엄격한 분류기 임계값을 적용해 관리하고 있으며, 누드 및 암시적 콘텐츠 필터링에서 97.59%의 정확도를 보이고 있다. 탐색 섹션에 표시되는 콘텐츠에 대해서는 한층 강화된 필터링을 적용해 보다 폭넓은 사용자층이 안전하게 이용할 수 있도록 했다.

    • 기만적 콘텐츠 방지

    유해한 딥페이크 콘텐츠를 차단하기 위한 모니터링 시스템을 구축했으며, 선거 관련 기만적 콘텐츠 탐지에서는 98.23%의 높은 재현율을 달성했다. 콘텐츠의 출처를 명확히 하기 위해 C2PA 메타데이터, 워터마크, 내부 역검색 도구 등 다양한 출처 확인 시스템을 도입했다. 오픈AI의 정보조사팀은 전담 조직을 통해 소라 생성 콘텐츠를 정확히 식별할 수 있는 도구를 운영하고 있다.

    • 예술가 스타일 보호

    생존 예술가의 이름이 포함된 프롬프트에 대해서는 보수적인 접근을 취하고 있다. 프롬프트 재작성 시스템을 통해 가이드라인 준수를 강화하고 있으며, 공인의 이름이나 특정 속성, 브랜드 객체 등은 일반화 처리를 통해 무분별한 활용을 방지하고 있다.

    향후 계획

    오픈AI는 소라의 안전하고 책임있는 발전을 위한 구체적인 계획을 수립했다. 우선 초상권 보호를 위해 실제 인물의 사진이나 영상 업로드 기능은 제한된 사용자에게만 시범적으로 제공할 예정이다. 출처 확인과 투명성 강화를 위해서는 C2PA 구현을 확대하고 NGO, 연구기관과의 협력을 강화할 계획이다.

    출력물의 대표성 확대도 중요한 과제다. 신체 이미지에 대한 편향성과 인구통계학적 대표성 등을 고려한 개선 작업을 진행할 예정이며, 지속적인 안전성 개선을 위해 정책과 윤리적 기준에 따른 평가와 개선을 이어갈 방침이다.

    이러한 포괄적인 노력을 통해 오픈AI는 소라가 창의적 도구로서의 가치를 유지하면서도 잠재적 위험을 최소화할 수 있도록 하겠다고 밝혔다.

    해당 기사의 원문은 오픈AI에서 확인할 수 있다.

    기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 





    AI Matters 뉴스레터 구독하기

    공감/비공감

    공감/비공감안내도움말 보기
    유용하고 재미있는 정보인가요?
    공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
    공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
    최신 일반뉴스 전체 둘러보기
    1/1
    르노 그룹, 최고재무책임자 던컨 민토 임시 CEO 선임...경영업무 전반 책임 오토헤럴드
    美 NHTSA 살벌한 복수 예고... 테슬라 로보택시 겨냥 "엄격한 관리 필요" 오토헤럴드
    2025년 상반기 글로벌 전기차 시장, 중국 빠른 성장세 속 북미 '주춤' 글로벌오토뉴스
    [영상] 폭스바겐의 영혼이자 심장, 신형 골프 GTI 시승기 글로벌오토뉴스
    루시드 에어, 럭셔리 전기차 시장 선두 질주…테슬라 모델 S 판매 '뚝' 글로벌오토뉴스
    GM, 저가형 LFP 배터리 생산 전환…전기차 시장 공략 가속화 글로벌오토뉴스
    중국, 2025년 상반기 신에너지차 등록 사상 최고치…청정에너지 전환 '가속' 글로벌오토뉴스
    폴스타, 2025년 상반기 판매량 51% 급증…3만 대 돌파 쾌거 글로벌오토뉴스
    중국, 후난성서 4억 9천만 톤 규모 대규모 리튬 광석 매장지 발견…글로벌 주도권 강화 글로벌오토뉴스
    영국 정부, 25억 파운드 'DRIVE35' 프로그램 출범…무공해차 개발 선도 목표 글로벌오토뉴스
    BMW 그룹, 2025년 상반기 판매 전기차 '견인'…전체 판매는 소폭 감소 글로벌오토뉴스
    일본 자동차 산업, 로봇 투자 '활활'…2024년 1.3만대 설치, 전동화 박차 글로벌오토뉴스
    BMW, 중국 자율주행 기업 모멘타와 맞손…'중국 맞춤형' 지능형 주행 시스템 개발 가속화 글로벌오토뉴스
    테슬라, 인도 시장 첫발…뭄바이 쇼룸 개장, 고관세 '변수'로 떠올라 글로벌오토뉴스
    르노, CFO 던컨 민트를 임시 CEO로 선임 글로벌오토뉴스
    [롤짤] 오로라로 정점에 섰다, 젠지 MSI 우승주역 '쵸비' 게임메카
    밀리터리 X 서브컬처, 월드 오브 워쉽에 '블루아카' 등장 게임메카
    [오늘의 스팀] 우주로 진출한 림월드, 평가 ‘압긍’ 게임메카
    패스 오브 엑자일 2, 대형 업데이트 8월 말 온다 게임메카
    데이터 제공하면 시민도 보상받는다… 한국의 새로운 AI 정책 전략 'AI 데이터뱅크' AI matters
    이 시간 HOT 댓글!
    1/4