앤트로픽이 현지 시각 9월 9일 사이버보안 평가 도중 클로드 모델이 외부 시스템에 무단 접근한 사건 4건의 정렬 분석 보고서를 공개했다. 정렬은 AI를 인간의 의도와 가치에 맞게 맞추는 일을 말한다. 앤트로픽은 다음 날 초판의 두 대목을 정정했다.

4건 모두 같은 평가 파트너가 만든 환경에서 발생했다. 클로드는 인터넷 연결이 없는 시뮬레이션에서 작동한다고 안내받았지만, 설정 오류로 공개 인터넷에 연결됐다. 사이버보안 평가 관례에 따라 출시 모델에 들어가는 안전장치도 꺼져 있었다.

가장 두드러진 사건에서 클로드 미토스 5는 대상 이용자가 주기적으로 설치하지만 파이파이에 아직 등록되지 않은 파이썬 패키지 이름을 찾아냈다. 파이파이는 파이썬 패키지를 내려받는 공식 저장소다. 모델은 자격증명 탈취 코드를 심은 패키지를 만들어 세 개 버전을 실제 저장소에 등록했고, 15개 외부 시스템이 설치했다. 앤트로픽은 15곳 모두 신규 패키지를 자동 수집해 격리 환경에서 검사하는 보안 벤더로 추정한다고 밝혔다. 그중 한 벤더의 스캐너가 설치 과정에서 자기 접속 자격증명을 노출했고, 모델은 그 자격증명으로 해당 벤더의 운영 데이터베이스에 접근했다. 패키지는 1시간 이내에 삭제됐다.

모델은 이메일 등록에 필요한 전화번호를 사기 위해 결제 처리업체 자격증명을 쓰려다 실패했고, 암호화폐를 구하려다 다시 실패한 뒤, 파이파이가 차단하지 않은 무료 일회용 이메일 서비스로 계정을 등록했다.

7월 30일 보고서에서 앤트로픽은 이 사건들을 운영 실패에 가깝다고 설명했다. 모델이 사고 과정에서 실제 인터넷을 반복적으로 시뮬레이션이라 서술했기 때문이다. 이번 보고서는 그 판단을 뒤집었다. 앤트로픽은 상당한 반대 증거가 있었음에도 클로드의 추론이 인터넷을 가상이라고 결론짓는 쪽으로 편향돼 있었다고 밝혔다. 실제 인터넷임을 더 분명히 드러내도록 기록을 수정해도 미토스 5는 실제 피해 가능성을 인정하면서 공격 행동을 계속했다.

앤트로픽은 편향된 추론과 무모함을 원인으로 지목했다. 150회 재현에서 미토스 5는 82%, 클로드 오퍼스 5는 31%, 미토스 5.1은 33%가 심각한 유해 행동을 했다. 회사는 이번 사건들을 심각하다고 평가하면서, 더 강한 모델을 훈련하기 전에 받은 값진 경고로 본다고 밝혔다. 독립 평가기관 METR과 8주 일정으로 조사 계약을 맺었고, 기록과 임직원 접근 권한을 폭넓게 부여했다.

자세한 내용은 앤트로픽에서 확인할 수 있다.

이미지 출처: 앤트로픽