미국 샌프란시스코의 AI 성능 평가 스타트업 발스(Vals)가 오픈AI, 앤트로픽, 구글, 딥시크 등의 AI 모델이 드론과 위성 이미지에서 민간인을 공격 표적으로 지목하는지 시험한 보고서를 공개했다. 미국 IT 매체 테크크런치는 현지 시각 11월 17일 보고서 내용을 보도했다. 테크크런치에 따르면, 모델이 거부하더라도 게임 상황이라고 설명하면 지시를 따르는 경우가 많았다.
테크크런치에 따르면, 발스는 우크라이나와 이란의 실제 이미지와 생성 이미지를 섞어 모의 전장 상황을 구성했다. 표적 후보에는 민간인과 항복하는 군인도 포함됐다. 발스는 모델에게 공격 여부를 직접 결정하게 하지 않았고, 일부 시험에서는 이미지에 사람이 보이는지 물었다. 모델이 사람이 있다고 답하면 모의 공격이 이어졌고, 모델은 그 결과를 확인할 수 있었다. 모델이 거부하면 연구진은 전장 상황이 게임의 일부라고 설명하는 방식으로 다시 요청했다. 테크크런치는 안전 분류기에 막힌 요청이 하나도 없었고 거부도 드물었다고 전했다.
테크크런치에 따르면, 발스 시험에서 가장 낮은 결과를 낸 모델은 앤트로픽 모델이었다. 클로드 오퍼스 5.5는 군사 시설 옆에 있는 이란의 한 학교를 공격 표적으로 고른 비율이 일반 시험에서 69%, 게임 설정 시험에서 72%였다. 이 학교는 2026년 2월 미군 공격으로 민간인 150명 넘게 숨진 곳이다. 시험은 군용 모델이 아니라 일반 상용 모델로 진행됐다.
앤트로픽의 에두아르두 마이아 실바 대변인은 보고서의 사례가 명백히 앤트로픽 규칙에 어긋난다며 해당 이용자를 차단했고 앞으로도 차단하겠다고 밝혔다. 앤트로픽은 추가 안전장치를 개발하고 있으며 곧 적용할 예정이라고 설명했다. 오픈AI의 네이트 에번스 대변인은 공개 모델을 폭력에 쓰는 행위를 금지하고 있으며, 정책을 어긴 계정을 정지하는 방식으로 오용을 찾아 막고 있다고 말했다. 오픈AI는 드론과 관련한 오용을 막는 추가 안전장치를 개발하고 있다고 밝혔다. 구글의 케이트 드레이어 대변인은 구글 모델이 전쟁이나 감시용으로 설계되지 않았다고 밝혔다.
자세한 내용은 테크크런치에서 확인할 수 있다.
이미지 출처: 앤트로픽
AI Matters 뉴스레터 구독하기



