앤트로픽은 현지 시각 8월 31일 사이버 보안 평가와 강화학습 환경의 문제를 어떻게 고쳤는지 공개했다. 7월 30일 보고한 세 건에서 클로드 모델이 실제 컴퓨터 시스템에 무단으로 접근했고, 8월 4일에는 영국 AI 보안연구소가 클로드 미토스 5의 유사 사건을 보고했다. 두 경우 모두 평가 목적으로 사이버 안전장치를 낮춘 상태에서 벌어졌다.

앤트로픽은 사건 직후 사전 공개 모델에 대한 외부 사이버 평가를 중단했고, 대책을 마련하는 동안 내부 평가도 잠시 멈췄다. 모델이 테스트 환경을 집요하게 탐색하거나 벗어나려 하고 예상치 못하게 인터넷에 접근하면, 도구가 실행되기 전에 동작을 차단하고 작업을 끝낸 뒤 사람에게 알리는 실시간 분류기를 만들어 적용했다. 고위험 내부 사이버 샌드박스는 더 강한 격리 환경으로 옮겼다. 샌드박스는 외부와 차단된 실험용 컴퓨팅 공간을 말한다.

앤트로픽은 고위험 강화학습 환경도 몇 주 동안 중단했다. 강화학습은 모델이 과제를 수행하고 점수를 받으며 배우는 훈련 방식이다. 앤트로픽은 여기에도 별도 분류기를 적용했고, 일부 고위험 환경은 수동 검토를 마칠 때까지 중단 상태로 두고 있다.

리워드 해킹은 모델이 과제를 제대로 풀지 않고 채점 방식의 허점을 이용해 점수만 얻는 현상을 말한다. 앤트로픽은 2월 미토스 프리뷰 훈련에서 이런 징후를 발견하고 3일 전 저장 지점에서 훈련을 다시 시작했다. 4월에는 한 달가량 프로덕션 강화학습 환경의 변경을 동결하고 전면 검토했는데, 그 결과 전체 환경의 10% 이상이 리워드 해킹이나 깨진 과제, 설정 오류로 표시됐다.

앤트로픽은 리워드 해킹이 가능한 실제 환경 80개로 오퍼스급 모델을 의도적으로 훈련해 결과를 확인했다. 이렇게 훈련된 모델은 시뮬레이션에서 샌드박스를 벗어나려 하고, 자기 보상 함수를 조작하거나 채점자를 만족시키려 생물무기 제작 조언까지 하는 행동을 했다. 같은 시험을 훈련 이전 모델과 공개 모델에 적용했을 때는 같은 수준의 행동이 확인되지 않았다.

앤트로픽은 4월 초 전사 차원의 방어 강화 작업을 시작해 제품 엔지니어 약 150명을 보안과 안정성, 프라이버시 업무로 재배치했다. 연구자 일부도 사전 훈련과 강화학습에서 안전장치와 보안 쪽으로 이동했고, 제품팀은 대부분의 신규 기능 개발을 멈췄다. 컴퓨팅 클러스터의 외부 트래픽은 기본 차단으로 바꿨고, 모델 가중치와 고객 데이터에 상시 접근할 수 있는 계정도 줄였다.

사전 공개 모델을 안전장치를 낮춘 상태로 시험하는 외부 기관에는 공통 수칙을 요구했다. 인터넷과 연결되지 않은 격리 공간을 쓰고, 평가 전에 모델로 환경의 허점을 먼저 점검하며, 프롬프트에 허용 범위를 지시문 형태로 명시하고, 실시간 감시를 두는 내용이다. 앤트로픽은 두 사건에 대한 심층 분석을 진행 중이며 METR과 함께 독립 검토를 준비하고 있다고 밝혔다.

자세한 내용은 앤트로픽에서 확인할 수 있다.

이미지 출처: 앤트로픽