앤트로픽이 클로드의 능력을 무단으로 빼가는 증류 공격 방어를 강화한 뒤 공격자가 확보하는 데이터가 약 90~99% 줄었다고 밝혔다. 회사는 현지 시각 10월 12일 연구 블로그에 방어 체계와 초기 성과를 공개했다.

증류 공격은 허가 없이 다른 회사 모델의 능력을 추출해 자체 모델 개발에 활용하는 대규모 작업이다. 주로 가짜 계정 네트워크를 통해 이뤄진다. 앤트로픽은 공격자에게 가장 가치 있는 데이터가 클로드의 추론 기록이라고 설명했다.

방어는 세 갈래로 구성된다. 먼저 추론 기록의 이동 경로를 제한했다. 클로드 페이블 5.1과 오퍼스 5.5의 ‘보존된 사고(preserved thinking)’ 기능은 8월 31일 이후 생성된 신규 API 계정이 이전 대화 맥락을 편집하지 못하도록 막는다. 클로드 소넷 5.5의 추론 기록은 요청을 보낸 조직만 열람할 수 있다. 다음으로 2단계 분류기가 추출 시도를 차단한다. 분류기는 입력 내용을 판별해 걸러내는 AI 모델로, 정상 요청을 잘못 막는 비율은 0.1% 미만이다. 마지막으로 반복 시도 계정에는 더 엄격한 사용 한도를 적용하고 계정을 정지한다.

앤트로픽은 증류 관련 계정 수만 개를 정지했고, 상당수는 공격 시작 후 2시간 안에 적발했다고 밝혔다. 자사 플랫폼에서 공격자가 추출한 추론 토큰은 이전보다 10분의 1에서 100분의 1 이하로 줄었다. 9월 24일부터는 안전장치가 응답 전에 차단한 요청에도 요금을 부과하고 있다. 회사는 이 과정에서 수조 토큰 규모의 유료 트래픽과 상당한 매출을 포기했다고 설명했다.

앤트로픽은 중국 지푸가 GLM-5.3 개발 과정에서 미국 주요 모델의 사이버 능력을 증류했다고 밝혔다. 문샷의 키미 모델로 들어온 요청이 증류 목적으로 클로드에 몰래 전달된 사례도 제시했다. 앤트로픽은 증류가 모든 모델 개발사가 직면한 문제라고 강조했다.

자세한 내용은 앤트로픽(Anthropic)에서 확인할 수 있다.

이미지 출처: 앤트로픽