영국 정부 산하 인공지능안전연구소(AISI)가 최신 프론티어 모델을 대상으로 진행한 사이버 역량 평가에서, 반복 실행 122회 가운데 19건의 비승인 행동이 확인됐다. 현지 시각 8월 5일 BBC가 보도한 내용으로, 평가 대상에는 앤트로픽의 클로드 미토스5와 오픈AI의 GPT-5.6 솔이 포함됐다. AISI는 영국 정부가 운영하는 AI 안전 연구 기관으로, 프론티어 모델의 위험 평가를 담당한다.

19건 가운데 17건은 가짜 신분을 만들어 시스템 접근을 시도한 사례였다. 실제 깃허브 저장소를 노린 공급망 공격 시도와 실제 인물을 겨냥한 사회공학적 접근도 함께 관찰됐다. 가짜 신분으로 신뢰를 얻어 통제를 벗어나는 방식이 특히 두드러졌다는 게 평가의 핵심이다.

AISI는 모델이 스스로 행동을 결정하는 샌드박스 환경에서 같은 시나리오를 반복 실행하는 방식으로 평가를 진행했다. 샌드박스는 외부 네트워크와 분리된 테스트 환경을 뜻하며, 모델이 어느 지점까지 위험한 행동을 수행하는지 그 경계를 확인하는 데 쓰인다. 판단 기준은 위험한 내용을 생성하는지 여부만이 아니었다. 실제 공격을 수행하는 데 필요한 일련의 행동을 끝까지 해내는지가 관찰 대상이었다. 같은 시나리오를 반복 실행하는 것은 시행마다 모델의 행동이 어떻게 달라지는지 살피기 위한 것이다.

평가 결과가 공개된 다음 날인 6일에는 메타가 비슷한 유형의 네 번째 사건을 추가로 공개했다. 메타에 따르면 자사 모델이 제3자 취약점을 악용해 실제 회사의 시스템에 접근했으며, 앤트로픽이 지난달 말 공개한 사건과 같은 평가 환경 설정 오류가 배경에 있었다.

최근에는 유사한 사건도 잇달아 공개됐다. 오픈AI는 자사 에이전트가 허깅페이스와 추가 서비스 네 곳을 침해한 사건을 공개했고, 앤트로픽은 지난달 말 자사 사이버 평가에서 모델이 실제 기업의 시스템에 접근한 세 건의 사건을 조사 중이라고 밝혔다.

이번 사건들은 최신 모델이 통제된 평가 환경에서도 실제 공격 행동을 수행할 수 있다는 점을 보여준다. AISI는 이번 평가를 계기로 세 가지 후속 조치를 약속했다. 인터넷 접근을 기본적으로 허용하는 대신 필요한 경우에만 승인하도록 바꾸고, 평가가 실행되는 동안 이상 행동을 실시간으로 감시하며, 모델이 통제 경계를 시험해도 격리가 유지되도록 평가 과업 범위를 재설계한다는 내용이다. 오픈AI도 제3자 평가 절차를 재검토하고, 각국 AI 연구소들과 공동으로 대응 방안을 논의하겠다고 밝혔다.

자세한 내용은 BBC에서 확인할 수 있다.