오픈AI가 현지 시각 10월 5일 공식 블로그를 통해 앞으로 몇 주 안에 유럽연합(EU) 지역 챗GPT와 코덱스의 텍스트 답변에 보이지 않는 워터마크를 넣겠다고 발표했다. EU AI법(AI Act)은 생성형 AI 제공자가 AI로 만든 텍스트를 기계가 판독할 수 있는 방식으로 표시하도록 규정하고 있다.

워터마크는 EU 안에서 요금제와 관계없이 적용 가능한 챗GPT·코덱스 답변에 적용된다. 오픈AI는 이를 전 세계 기본값으로 정하지 않고 EU에서 먼저 운영하며 실제 사용 결과를 살펴보겠다고 밝혔다. API 고객은 이날부터 지역과 관계없이 일부 모델에 한해 워터마크를 선택해 켤 수 있고, 기본 설정은 꺼짐이다.

오픈AI가 개발한 텍스트그레인(textGrain)은 모델이 단어를 고르는 방식에 사람 눈에 보이지 않는 통계적 신호를 더하고, 탐지기가 이 신호를 찾아 워터마크 여부를 판단한다. 오픈AI는 자체 평가에서 구글 딥마인드의 신스ID(SynthID) 텍스트 방식과 같거나 더 나은 성능을 냈다고 밝혔다. GPT-6 아스트라 기준으로 워터마크를 넣어도 GPQA 다이아몬드 등 주요 벤치마크 점수에는 의미 있는 차이가 없었다. 기술 보고서는 이날 공개했고, 기술을 오픈소스로 공개할 계획도 밝혔다.

오탐률 1%를 기준으로 400토큰 분량의 글에서는 약 95%, 200토큰 글에서는 약 80%의 워터마크를 탐지했다. 토큰은 모델이 글을 처리하는 최소 단위이고, 오탐률은 워터마크가 없는 글을 있다고 잘못 판정하는 비율이다. 단어 선택의 폭이 좁은 수학 분야 글에서는 탐지율이 크게 낮았다. 400토큰 글에서 단어 10%를 동의어로 바꾸자 탐지율은 약 92%에서 66%로, 25%를 바꾸자 17%로 떨어졌다.

오픈AI는 이런 한계를 이유로 탐지기를 일반에 공개하지 않고, 승인받은 연구자와 전문 기관에 한해 신청을 받아 제공한다. 탐지 도구는 워터마크 여부만 알려 주며 사용자 신원이나 프롬프트, 대화 내용은 드러내지 않는다. 회사는 워터마크로 사람이 얼마나 편집했는지, 누가 글의 소유자인지, 내용이 정확한지는 판단할 수 없고, 워터마크가 탐지되지 않았다고 해서 사람이 쓴 글이라는 증거가 되지도 않는다고 설명했다.

이미지와 오디오가 오픈AI 모델로 생성됐는지 확인하는 openai.com/verify와 콘텐츠 출처 API는 지금처럼 누구나 쓸 수 있다. 앤트로픽은 8월 신규 모델부터 클로드가 쓴 텍스트에 보이지 않는 표식을 넣는다고 발표한 바 있다.

자세한 내용은 오픈AI(OpenAI)에서 확인할 수 있다.

이미지 출처: 오픈AI