미국 플로리다주에서 앤트로픽의 AI 챗봇 클로드와 대화하며 보안관 사무소를 총으로 공격하겠다고 말한 여성이 체포됐다. 미국 지역 방송 WINK 뉴스와 퓨처리즘에 따르면 보니타스프링스에 사는 이 여성은 9월 26일 클로드에 리카운티 보안관 사무소를 총으로 공격하겠다고 말했고, 다음 날에는 새 총을 구했다고 적었다.

체포 보고서에 따르면 앤트로픽의 안전 모니터링 시스템이 특정 표현을 감지했고, 사람으로 구성된 검토팀이 내용을 확인한 뒤 수사 당국에 신고했다. 보안관 사무소는 이 여성을 자택에서 별다른 충돌 없이 체포했다. 혐의는 서면을 통한 폭력 위협이며, 퓨처리즘에 따르면 플로리다주에서는 2급 중범죄에 해당한다. 재판은 11월에 열린다.

카마인 마르세노 리카운티 보안관은 이 여성이 AI를 일기장처럼 썼다고 말하며 “AI는 강력한 도구이며, 다른 기술처럼 잘못 쓰일 수 있다”며, 이용자가 완전히 익명일 수는 없다고 경고했다.

앤트로픽의 소비자 이용약관에는 회사가 단독 판단에 따라 이용자의 입력과 출력, 행동을 수사 당국에 신고할 수 있다는 조항이 포함돼 있다. 9월 10일 시행된 개인정보 처리방침도 심각한 피해를 막는 데 필요하다고 판단하면 정보를 제공할 수 있다고 규정하고 있다.

앤트로픽은 9월에도 AR-15 소총을 샀다며 다리오 아모데이 최고경영자를 겨누겠다는 글을 쓴 이용자를 샌프란시스코 경찰에 신고한 바 있다. 당시 앤트로픽 대변인은 안전장치가 의도대로 작동한 결과라고 말했다.

앤트로픽의 투명성 보고서에 따르면 2026년 1월부터 6월까지 1,140만 개 계정이 정지됐고, 이 중 39만 8,000건의 이의 신청이 접수돼 4만 2,000건이 정지 해제됐다. 같은 기간 미국 아동 착취 신고 기관(NCMEC)에 보고한 건수는 1만 5,079건이다.

오픈AI는 2025년 8월 다른 사람에게 심각한 신체적 위해가 임박했다고 검토자가 판단하면 수사 당국에 알릴 수 있다고 밝혔다. 다만 자해 관련 대화는 수사 당국에 신고하지 않는다는 입장이다.

자세한 내용은 퓨처리즘에서 확인할 수 있다.

이미지 출처: 앤트로픽