앤트로픽(Anthropic)이 안전 대책을 테스트하기 위한 새로운 버그 바운티 프로그램을 15일(현지 시간) 시작했다. 앤트로픽 뉴스룸에 공개된 내용에 따르면, 이번 프로그램은 작년 여름에 발표된 이전 프로그램과 유사하며, 연구자들에게 아직 공개적으로 배포되지 않은 안전 분류기에서 일반적인 탈옥(universal jailbreaks) 취약점을 찾아내는 도전을 제안했다. 이러한 보호 장치는 앤트로픽의 책임감 있는 확장 정책(Responsible Scaling Policy)의 일환으로 AI 안전 레벨-3(ASL-3) 배포 표준을 충족하기 위해 개발된 고급 보호 기능의 일부다.

해커원(HackerOne)과 협력하여 진행되는 이 버그 바운티 프로그램은 앤트로픽의 헌법 분류기(Constitutional Classifiers) 시스템의 업데이트 버전을 테스트할 예정이다. 헌법 분류기는 CBRN(화학, 생물학, 방사능, 핵) 무기와 관련된 정보를 유출할 수 있는 탈옥을 방지하기 위해 구축된 기술이다. 이 시스템은 클로드(Claude)와 상호작용할 때 허용되거나 허용되지 않아야 하는 콘텐츠 유형을 정의하는 원칙 목록을 따르며, 특정 위험에 초점을 맞추고 있다.

참가자들은 클로드 3.7 소네트(Claude 3.7 Sonnet)에서 분류기를 테스트할 수 있는 조기 액세스 권한을 받게 된다. 앤트로픽은 미공개 시스템에서 발견된 검증된 일반 탈옥 취약점에 대해 최대 2만 5천 달러의 보상금을 제공한다. 일반 탈옥 취약점은 다양한 주제에 걸쳐 클로드의 안전 조치를 일관되게 우회할 수 있는 취약점을 의미한다. 이번 이니셔티브에서는 CBRN 관련 주제에 대한 오용을 가능하게 하는 일반 탈옥 취약점에 관심을 두고 있다.

앤트로픽은 "우리의 모델은 점점 더 강력해지고 있으며, 이전에 공유했듯이 일부 미래 모델은 책임감 있는 확장 정책에 명시된 고급 ASL-3 보안 및 안전 보호 기능이 필요할 수 있다고 생각한다"고 밝혔다. 이 버그 바운티 이니셔티브는 지난 몇 개월 동안 ASL-3 안전장치를 반복하고 스트레스 테스트하기 위해 수행한 작업에 기여할 것이라고 덧붙였다.

앤트로픽은 작년 초기 프로그램에 참여한 연구자들의 참여로 이번 새로운 버그 바운티 이니셔티브를 시작했으며, 새로운 연구자들에게도 참여 기회를 제공하고 있다. 언어 모델에서 탈옥을 식별하는 경험이 풍부한 레드팀 또는 입증된 전문 지식을 보유한 경우 신청 양식을 통해 초대를 신청할 것을 권장했다. 자세한 지침과 피드백은 선정된 참가자들에게 공유될 예정이다. 신청은 오늘부터 시작되며, 프로그램은 5월 18일 일요일까지 진행된다. 이 이니셔티브는 제출물에 대한 시기적절한 피드백을 제공하기 위해 초대 전용으로 운영된다.