[IT동아 김예지 기자] 최근 전 산업 분야에서 생성 인공지능(AI)으로 만든 콘텐츠가 늘어났다. AI 생성물이란 AI 알고리즘을 통해 제작하거나, 크게 변경한 이미지·동영상·오디오·문자(텍스트) 파일을 일컫는다.

그러나 이와 함께 AI 생성물이 몇 가지 위험성을 야기했다. AI가 생성물을 만들기 위해 활용하는 데이터 수집 과정에서 개인의 프라이버시를 침해하고, 나아가 기존 창작물의 저작권 및 지식재산권 침해로 이어질 수 있다는 점이다. 또한 AI로 만든 출처를 구분하기 어려운 콘텐츠는 딥페이크 이미지, 가짜뉴스, 보이스 피싱 등 범죄로 악용될 우려가 있다.

AI 기본법, 워터마크 표시 포함

최근에는 이러한 AI 생성물 오남용 사례 피해를 막기 위해 국가 차원의 노력이 수반되고 있다. 식별무늬(워터마크)의 도입도 그중 하나다. 워터마크는 AI 생성물의 출처 및 사용 목적을 명확히 밝히고, 사용자가 AI 생성된 콘텐츠와 사람이 작성한 콘텐츠를 구별하도록 돕는다.

미국, 유럽연합(EU)을 비롯한 주요국에서는 AI 생성물 제작 표시 권고안 및 법률안을 제정하고 있다. 2023년부터 시작된 AI 생성물에 대한 규제는 올해 본격화될 것으로 전망되며, 우리나라에서도 정부 차원의 대응이 늘어나는 추세다. 지난 1월 21일 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능 기본법)’을 제정, AI 생성물에 대한 투명성 확보 의무를 부여하고, 워터마크 표시를 포함했다.

이에 따라 2026년 1월부터 ‘AI 발전과 신뢰 기반 조성 등에 관한 기본법’이 시행된다. AI 서비스 제공자는 사용자에게 해당 서비스에 AI가 적용됐음을 사전 고지하고, 사용자가 AI를 활용해 만든 결과물의 사실을 다른 이용자가 인식할 수 있도록 표시해야 한다는 규정이 마련된다. 또한 이와 함께 과학기술정보통신부(이하 과기정통부)와 한국정보통신기술협회(이하 TTA)는 안전한 AI 생성물 생성 및 활용을 지원하고자 ‘AI 워터마크 기술 동향 보고서’를 발간했다.

기업 차원의 노력도 이어지는 중이다. 2025년 1월 기준 해외 12개 및 국내 3개 주요 기업은 자사의 AI 서비스에 AI 생성물 워터마크 기술을 도입했다. 삼성전자(갤럭시 AI), SKT(에이닷), 메타(메타 AI), 어도비(파이어플라이), 오픈 AI(달리 3), 마이크로소프트(코파일럿), 구글(제미나이) 등이 대표적이다.

AI 생성물 워터마크, 효과적일까

그렇다면 AI 생성물에 포함되는 워터마크는 효과가 있을까? 우선 콘텐츠에 적용되는 워터마크는 로고, 텍스트 등 인지 가능한 것뿐만 아니라, 생성물의 원본 콘텐츠 내에 워터마크를 포함해 맨눈으로 확인할 수 없는 표시도 포함한다.

인지 가능한 표시는 눈에 띄게 워터마크를 표시함으로써 빠르게 소유권 및 진위를 식별하도록 돕는다는 장점이 있다. 이러한 형태는 콘텐츠를 무단 복사 및 배포하는 것을 막기 용이하다. 반면에, 인지 불가능한 워터마크는 추출 및 검증 시 일반 사용자가 접근하기 어렵다는 단점이 있지만, 콘텐츠 원본 모양새를 유지하는 데 유리하고, 승인되지 않은 변경을 감지해 보안성이 뛰어나다.

그러나, AI 생성물에 적용되는 워터마크로 AI 생성물의 투명성을 확보하는 데는 한계점이 존재한다. 크롭 등으로 제거에 취약한 인지 가능한 워터마크와 더불어 최근에는 인지 불가능한 워터마크를 제거하는 기술도 늘어난 것. 원본 콘텐츠에서 워터마크를 제거 및 훼손하는 워터마크 무력화 기술이 그 예다. 인지 불가능 워터마크가 삽입된 이미지에 랜덤 노이즈를 넣어 이미지를 재구축하는 방법으로 워터마크를 제거할 수 있다. 비드모어(Vidmore), 컷아웃(Cutout.pro) 등 시중에 이를 쉽게 이용할 프로그램이 있다는 점도 문제로 꼽힌다.

이러한 문제는 사람이 만든 콘텐츠를 보호하는 데 어려움을 준다. 유튜브는 AI 생성물을 구분하기 위해 AI로 만든 콘텐츠를 업로드할 경우, 정보 공개 문구를 추가하도록 한다. 그러나 쉽게 워터마크를 제거하여 AI 생성물 여부를 알리지 않는 경우가 빈번하다.

데이터의 데이터, 메타데이터

이렇게 워터마크가 무력화된 AI 생성물을 불법 유통할 경우, 경로 파악이 어려워 저작권 침해가 발생한다. 그래서 워터마크를 대체하여 AI 생성물의 투명성을 확보하는 방안이 화두로 떠올랐다. 이중 하나는 데이터의 데이터로 불리는 ‘메타데이터(Metadata)’다. 메타데이터는 이미지, 동영상, 오디오 등 많은 양의 데이터를 수집, 저장 및 분석할 수 있도록 다른 데이터를 설명하는 데이터를 뜻한다.

메타데이터는 2021년 어도비·MS가 주도해 결성하고, 오픈AI, 구글, 인텔, 네이버, Arm 등이 참여하는 개방형 기술 표준 연합체 ‘C2PA(Coalition for Content Provenance and Authenticity)’가 대표적이다. 이 표준은 일종의 인지 불가능 워터마크로 활용된다. 의료, 관광, 지리, 교육 등 분야에 따라 맞는 표준이 존재하며, 원활한 시스템 간 정보교환을 가능케할 것으로 기대된다.

C2PA 표준 기술의 구성 요소에서 ‘매니페스트(Manifest)’는 콘텐츠 출처 추적을 위한 가장 기본의 정보로, 콘텐츠 변경 시마다 업데이트된 내용 및 디지털 서명 정보가 여기에 저장된다. 해당 표준을 참조하는 모든 AI 서비스에서 콘텐츠를 만들면 오픈소스를 통해 정보 추적이 가능하다. 콘텐츠 자격 증명 확인(Content Credentials Verify) 사이트 등에서 AI 생성 이미지 여부를 판단할 수 있다.

C2PA에 참여하는 기업들은 인지 가능한 워터마크와 함께 메타데이터 표준을 적용하고 있다. 어도비는 파이어플라이에서 로고 워터마크 및 C2PA 메타데이터 표준을 적용한다. 오픈AI는 챗GPT 및 달리 3 모델을 제공하는 API로 생성된 이미지에 이를 적용하며, 향후 소라 AI(Sora AI)에도 적용할 예정이다. MS의 코파일럿으로 제작한 생성물도 생성물 생성 시기, 자격 증명, 이미지 생성 도구 등 정보가 포함된 메타데이터를 AI 이미지 픽셀 내에 저장한다.

한편, 업계에서는 ‘AI 생성물 탐지 기술’ 개발도 추진되고 있다. 워터마크가 적용되지 않은 AI 생성물을 찾는 기술로, 이 또한 워터마크 한계점을 보완하기 위함이다. 맥아피 딥페이크 디텍터(McAfee Deepfake Detector), GPT제로 등이 그 예시로, 생성물의 진위를 판별하기 위해 사용처가 확대될 것으로 전망된다.

IT동아 김예지 기자 (yj@itdonga.com)