비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

AI 기술의 그림자... 극우세력의 선전선동 도구로 변질된 생성형 AI의 실태

2025.01.15. 13:12:10
조회 수
310
12
댓글 수
1

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

AI or Aryan Ideals? A Thematic Content Analysis of White Supremacist Engagement with Generative AI



생성형 AI를 이용한 극우세력의 선전선동 실태

범죄 및 형사 사법 분야 전문 컨설팅 회사 크레스트 어드바이저리(Crest Advisory)의 루이스 딘(Louis Dean) 연구원이 발표한 최신 보고서에 따르면, 백인 우월주의자들이 생성형 AI를 선전선동의 도구로 적극 활용하고 있는 것으로 나타났다. 이 연구는 2018년 1월부터 2024년 4월까지의 텔레그램 게시물을 분석한 결과를 담고 있다.

텔레그램(Telegram)의 백인 우월주의 채널 38개를 분석한 결과, 850개의 게시물에서 1,077건의 생성형 AI 활용 사례가 발견되었다. 연구진은 이를 다섯 가지 주요 주제로 분류했다. 전술적 활용(Tactical Use)이 447건으로 전체의 42%를 차지했으며, 나머지는 AI 관련 지식 공유(Knowledge Sharing), AI에 대한 비관론(GAI Pessimism), AI에 대한 낙관론(GAI Optimism), AI 관련 뉴스(GAI News) 순으로 나타났다. 이 중 전술적 활용은 선전선동, 허위정보 생성, 폭력 조장, 실험적 시도 등 네 가지 하위 범주로 세분화되었다.


이미지, 음성, 영상 생성 AI로 제작되는 혐오 콘텐츠의 실태

전술적 활용 사례 중 가장 큰 비중을 차지한 것은 선전선동용 이미지 제작으로, 222건이 확인되었다. 이는 전체 전술적 활용의 50%에 해당한다. 극우세력은 'The Happy Merchant'와 'Pepe the Frog' 등의 혐오성 밈을 AI로 재생산했으며, 나치 SS 군인이나 신화 속 아리안 전사를 미화하는 이미지를 대량으로 제작했다. 연구진은 AI 이미지 생성 도구가 이전보다 더 효과적이고 매력적인 선전선동물을 빠르게 제작할 수 있게 만들었다고 분석했다.

2024년에는 AI 오디오와 비디오 기술을 이용한 선전선동이 새롭게 등장했다. 44건이 확인된 이 수법은 전체 전술적 활용의 10%를 차지했다. 히틀러의 1939년 제국의회 연설을 복원하고 번역하는 것부터, AI로 만든 히틀러의 목소리로 마틴 로빈스의 'Big Iron'과 같은 대중가요를 부르게 하는 등 다양한 시도가 있었다. 특히 이러한 AI 음성 기술은 영국의 여름 폭동 당시 선동 도구로 활용된 것으로 나타났다.



AI의 취약점을 악용한 교묘한 선동 전략: 허위정보 생성과 폭력 조장

백인 우월주의자들은 'tricking'과 'baiting'이라는 새로운 전략으로 AI를 조작했다. 68건이 확인된 이 전략은 전체 전술적 활용의 15%를 차지했다. 대표적인 사례로, 빙(Bing) AI에 "전통적인 바이킹 가족"을 생성하도록 요청해 흑인 바이킹 가족 이미지를 만들어낸 뒤, 이를 'The Great Replacement Theory'를 뒷받침하는 증거로 악용했다. 이들은 성공적인 AI 조작 방법을 커뮤니티 내에서 공유하며 전파력을 높이고 있다.

AI를 이용한 허위정보 생성은 34건으로 전체 전술적 활용의 8%를 차지했다. 2024년 4월에는 엠마 왓슨(Emma Watson)을 나치로 묘사한 가짜 이미지가 제작되는 등 2023년 1월 이후 이미지 조작 기술이 급격히 발전했다. 연구진은 현재 대부분의 AI 생성 이미지가 손의 형태 등 세부적인 부분에서 오류를 보이고 있어 식별이 가능하지만, 기술이 발전하면서 이러한 허위정보 탐지가 더욱 어려워질 것으로 예측했다.


AI 악용 방지를 위한 시급한 대책 마련 필요

연구진은 미드저니(Midjourney)나 스테이블 디퓨전(Stable Diffusion) 같은 AI 이미지 생성 기업들이 극단주의 선전물 제작 방지를 위한 투자를 확대해야 한다고 지적했다. 특히 오픈소스 AI 이미지 생성 도구를 제공하는 기업들은 극단주의 선전물 제작을 방지하기 위한 강력한 감사 메커니즘을 구축해야 한다고 강조했다. 또한 수노AI(SunoAI) 등 새로운 AI 기업들도 극단주의와 폭력 관련 콘텐츠에 대한 더욱 명확한 서비스 약관을 마련해야 한다고 제안했다. 영국의 온라인 안전법도 현재와 미래의 테러 위협에 대응할 수 있도록 지속적인 개정이 필요하다는 의견도 제시했다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.





AI Matters 뉴스레터 구독하기

공감/비공감

공감/비공감안내도움말 보기
유용하고 재미있는 정보인가요?
공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
최신 일반뉴스 전체 둘러보기
1/1
김민수, 신한투자증권 G투어 2차 대회 우승…통산 13승째 연합뉴스
우즈, 19일 스크린골프 대회 출전…모친상 이후 첫 출격 연합뉴스
김시우, PGA 투어 제네시스 인비테이셔널 3R 공동 20위 연합뉴스
이소미, 유럽여자골프 준우승…윤이나, 공동 4위 (1) 연합뉴스
장유빈, LIV 골프 이틀째도 버디 가뭄…공동 20위 연합뉴스
난코스 언더파 친 김시우, 2R 공동 18위로 도약 연합뉴스
이소미, 유럽여자골프 단체전 우승…개인전 3타차 2위 연합뉴스
KPGA 투어 4승 김승혁, 윈터투어 1차 대회 우승 연합뉴스
김가영, KLPGA 드림투어 필리핀 마스터즈 우승 연합뉴스
네오위즈 ‘P의 거짓 오케스트라 콘서트’, 3월 22일 온다! 게임동아
에픽세븐, 발렌타인 데이 맞이 한정 영웅 ‘토라미’ 및 이벤트 업데이트! 게임동아
전고체 배터리의 대중화, 해결해야 할 과제는 무엇인가? (1) 글로벌오토뉴스
폴스타, 부산 롯데 백화점에서 ‘폴스타 온 투어(Polestar on tour)’ 진행 글로벌오토뉴스
[스파이샷] 메르세데스-벤츠, 차세대 GLB 출시 예정 글로벌오토뉴스
[스파이샷] 더 강력한 오프로드 성능, 팰리세이드 XRT 스웨덴서 포착 글로벌오토뉴스
데뷔전보다 나은 두 번째 대회…장유빈, LIV골프 첫날 공동 20위 연합뉴스
골프연습장협회 총회…"중국과 동남아에 한국 시설·기술 수출" 연합뉴스
흥행 조짐 보이는 중국 BYD 아토3... 사겠다, 2주 만에 5배로 급상승 (6) 오토헤럴드
기아, EV4 익스클루시브 프리뷰로 매력 확인 ‘EV4 얼리 체크인’ 이벤트 오토헤럴드
美 국무부, 사이버트럭 구매에 5700억 계획?… 머스크 '이해충돌 논란' 오토헤럴드
이 시간 HOT 댓글!
1/4