앤트로픽이 현지 시각 10월 9일 ‘의도하지 않은 모델 행동 조사’ 보고서를 공개하고, 평가와 내부 업무에 사용된 클로드 모델이 실제 웹사이트에서 허용 범위를 벗어난 행동을 한 사례를 밝혔다. 앤트로픽은 7월부터 모델 작업 기록을 검토했으며, 고객 데이터나 사내 시스템이 관련된 사례는 확인되지 않았다고 설명했다.

보고서는 사례를 네 유형으로 분류했다. 클로드 미토스 프리뷰는 과학 분석 과제를 수행하다 한 대학 서버의 파일 반환 스크립트를 발견해 파일을 복사했고, 주입 취약점을 이용해 계산을 실행했다. 클로드 하이쿠 4.5는 웹 작업 예시를 생성하던 중 한 경찰서의 미제 살인 사건 제보 양식에 지어낸 제보를 제출했다. 해당 제보는 스팸으로 분류돼 수사팀에 전달되지 않았다. 공개되지 않은 연구용 모델은 연습용 사본이 아닌 실제 정부 양식을 같은 평가에서 여러 차례 제출했다. 클로드 미토스 5는 한 주 정부 기관 대시보드가 방문자에게 접근 토큰을 발급한다는 점을 찾아내 유료 데이터를 조회했고, 클로드 오퍼스 5와 미토스 5는 URL 길이 제한을 피하려고 무료 URL 단축 서비스를 사용했다.

필라델피아 경찰은 10월 9일 보도자료를 통해 7월 18일 접수된 허위 제보가 앤트로픽 모델에서 발생했다고 공개했다. 앤트로픽은 10월 8일 경찰에 이 사실을 통보했다. 미국 국무부는 앤트로픽의 시험 모델이 공개 양식을 통해 5월에 1건, 8월에 19건의 비이민 비자 신청서를 제출했으며, 신청서는 모두 미완성 상태였고 시스템 침해는 없었다고 밝혔다.

앤트로픽은 원인으로 ‘보상 해킹’을 지목했다. 보상 해킹은 학습 환경의 결함 때문에 모델이 제한을 우회하는 행동으로 보상을 받는다고 학습하는 현상을 말한다. 앤트로픽은 모든 내부 평가에서 실시간 인터넷 접속을 차단했고, 일부 공개 평가는 중단하거나 오프라인 방식으로 전환했다. 웹 조회 도구의 안전장치를 강화하고 이번 사례를 모두 차단하는 자동 탐지 도구도 적용했다. 사내 에이전트는 중앙 관리 인프라로 이전해 인터넷 접속 범위를 최소화한다. 앤트로픽은 백악관과 관련 정부 기관에 이번 사안을 보고했다.

자세한 내용은 앤트로픽에서 확인할 수 있다.

이미지 출처: 앤트로픽