Deepfake detection in generative AI
: A legal framework proposal to protect human rights

영국 허트포드셔 대학교(University of Hertfordshire) 법학부의 펠리페 로메로-모레노(Felipe Romero-Moreno) 교수가 발표한 연구에 따르면, 딥페이크 기술이 전 세계적으로 심각한 위협으로 급부상하고 있다. 이 연구는 딥페이크 탐지 기술의 현황을 분석하고, EU, 미국, 영국, 중국의 규제 접근법을 비교하여 인권 보호를 위한 통합적 법적 프레임워크를 제안하는 것을 목적으로 한다.

CEO 2,560만 달러 사기부터 3,500만 달러 유명인 가짜 광고까지, 딥페이크가 만든 현실

연구에서 제시된 사례를 보면, 2024년 한 CEO가 인공지능으로 조작된 화상통화에 속아 2,560만 달러를 송금한 사건은 딥페이크의 파괴적 잠재력을 극명하게 보여준다. 영국, 유럽, 캐나다에서는 딥페이크를 활용한 유명인 사기로 3,500만 달러의 피해가 발생했으며, 기업들의 손실은 45만 달러에 달하고 있다.

딥페이크는 합성으로 생성되거나 조작된 미디어로 현실을 설득력 있게 복제하는 기술이다. 이 기술은 금융 사기, 정치적 허위정보, 동의 없는 음란물 제작, 표적 괴롭힘 등 다양한 형태로 악용되고 있다. 특히 여성을 대상으로 한 동의 없는 딥페이크 음란물은 피해자의 99%가 여성일 정도로 성별 기반 폭력의 새로운 형태로 자리 잡고 있다.

글로벌 위험관리 포럼(Global Risk Management Forum)은 딥페이크를 포함한 사이버 보안 위협이 공급망, 금융 안정성, 민주주의 시스템에 장기적인 글로벌 위험을 초래한다고 경고했다. 금융 손실만으로도 2023년 123억 달러에서 2027년 400억 달러까지 급증할 것으로 예상된다.

인텔 96% vs 센시티 98% 정확도 경쟁, 하지만 여전히 부족한 탐지 기술

현재 딥페이크 탐지 방법은 크게 두 가지 범주로 나뉜다. 첫 번째는 콘텐츠 생성 시점에서 적용되는 방법으로, C2PA(Coalition for Content Provenance and Authenticity) 표준을 통한 출처 추적과 워터마킹이 포함된다. 두 번째는 콘텐츠 수신 시점에서 활용되는 AI 기반 탐지 기술이다.

전통적인 탐지 방법으로는 아티팩트 기반 방법(불일치 검토), 행동 생체인식(타이핑 속도 분석), 생리학적 신호 분석(심박수, 눈 깜빡임), 딥러닝 기반 방법(조작 패턴 식별) 등이 있다. 인텔의 FakeCatcher는 96% 정확도를 주장하고, 센시티 AI(Sensity AI)는 98% 정확도를 내세우고 있다. 하지만 이러한 수치들은 독립적인 검증이 부족하고 실제 환경보다는 제한된 데이터셋에서의 성능일 가능성이 높다.

그러나 딥페이크의 지속적인 발전으로 인해 탐지와 생성 기술 간의 '군비경쟁'이 벌어지고 있다. 언더피팅(모델이 너무 단순한 경우)은 금융 사기나 동의 없는 콘텐츠의 미묘한 조작을 포착하지 못해 낮은 정밀도와 재현율을 보인다. 반대로 오버피팅(모델이 훈련 노이즈를 기억하는 경우)은 실제 환경에서 일반화 성능이 떨어져 조명 차이 등으로 인해 진짜 콘텐츠를 잘못 분류할 수 있다.

구글이 주목한 C2PA 표준, 디지털 콘텐츠에 '영양 라벨' 붙이기

콘텐츠 출처 및 진위성 연합(C2PA)은 딥페이크 위협에 대응하기 위한 핵심 표준을 제시한다. C2PA는 AI 도구 사용을 포함한 검증 가능한 콘텐츠 생성 및 수정 정보를 기록하여 온라인 신뢰성을 위한 새로운 표준을 설정한다.

C2PA의 핵심 원칙인 개인정보 보호, 접근성, 상호 운용성, 보안은 UN 결의안 78/265와 EU 인공지능법(AI Act)의 안전하고 신뢰할 수 있는 AI 도구 개발 노력과 일치한다. 구글과 같은 업계 리더들이 이미 C2PA를 통합하고 있으며, 그 잠재력을 인정하고 있다.

C2PA는 '매니페스트'라는 디지털 '영양 라벨'을 통해 데이터 출처를 활용한다. 이는 생성형 AI 사용을 포함한 출처, 이력, 수정사항에 대한 검증 가능한 정보를 제공한다. '콘텐츠 자격증명' 아이콘을 통해 접근할 수 있는 이 이력은 신뢰할 수 있는 온라인 환경을 조성한다.

EU vs 미국 vs 중국, 각기 다른 딥페이크 규제로 혼란만 가중

EU, 미국, 영국, 중국 등 주요 지역의 딥페이크 규제 접근법을 분석한 결과, 상당한 법적 파편화가 확인됐다. EU의 AI법은 딥페이크를 합성으로 생성되거나 조작된 비디오, 오디오, 이미지로 정의하지만, 딥페이크 탐지 도구에 대한 구체적인 조항이 부족하다는 모순이 존재한다.

미국은 연방 차원의 개인정보보호법이나 구체적인 딥페이크 법안이 없어 규제 불확실성을 야기하고 있다. 주별로 파편화된 법률은 일관된 표준 수립을 저해하고 있다. 영국의 온라인 안전법(Online Safety Act)은 딥페이크를 명시적으로 다루지 않지만 플랫폼에 의무를 부과하고 있다.

중국의 딥 신테시스 규정은 광범위한 정의와 준수 부담, 통제 중심의 접근법으로 혁신을 저해하고 개인정보보호 우려를 제기하고 있다. 이러한 파편화된 글로벌 환경은 국내 이니셔티브와 국제 협력을 통한 일관된 딥페이크 탐지 및 조정 표준의 필요성을 보여준다.

XAI 기술로 'AI가 어떻게 판단했는지' 설명하는 투명한 딥페이크 탐지

딥페이크 탐지에서 설명 가능한 AI(XAI)는 AI 의사결정을 투명하고 이해하기 쉽게 만드는 데 중요한 역할을 한다. 이는 법적 신뢰성 확보와 정보에 입각한 인간의 검토를 통한 잘못된 제거 감소에 필수적이다.

XAI는 일관되지 않은 립싱크와 오디오 아티팩트 같은 주요 특징을 정확히 지적하고, 히트맵 같은 시각적/텍스트 설명을 제공하며, AI 추론에 대한 자연어 해석을 생성한다. 이를 통해 인간 검토자들이 잠재적 오류를 수정할 수 있게 하고, 예술적 스타일의 일부일 수 있는 미묘한 조명 변화를 표시하는 등의 이유로 거짓 양성을 방지한다.

또한 XAI는 훈련 데이터 내의 편향을 식별하고 완화하는 데 도움을 주어, 동의 없는 딥페이크와 같은 민감한 사례에서 더 공정하고 비차별적인 결과를 촉진하며 인권을 지킨다. 이는 유럽인권협약 제14조, EU 기본권 헌장 제20-23조와 같은 인권 규범을 준수하는 데 중요하다.

FAQ

Q: 딥페이크란 무엇이며 왜 위험한가요?

A: 딥페이크는 인공지능을 사용해 실제처럼 보이는 가짜 비디오, 오디오, 이미지를 만드는 기술입니다. 금융 사기, 정치적 허위정보 유포, 동의 없는 음란물 제작 등에 악용되어 개인과 사회에 심각한 피해를 줄 수 있습니다.

Q: 딥페이크를 어떻게 탐지할 수 있나요?

A: 현재 AI 기반 탐지 시스템, 생체인식 분석, 콘텐츠 출처 추적(C2PA) 등 다양한 방법이 사용됩니다. 그러나 딥페이크 기술이 계속 발전하면서 탐지 기술도 지속적으로 개선되어야 합니다.

Q: 개인은 딥페이크로부터 어떻게 자신을 보호할 수 있나요?

A: 미디어 리터러시를 기르고, 의심스러운 콘텐츠를 비판적으로 검토하며, 신뢰할 수 있는 출처에서 정보를 확인하는 것이 중요합니다. 또한 개인정보를 온라인에서 신중하게 공유해야 합니다.

해당 기사에 인용된 논문 원문은 sciencedirect에서 확인 가능하다.

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.