이스라엘 AI 보안 기업 이레귤러가 현지 시각 9월 16일 코딩 에이전트가 자신을 구동하는 모델을 스스로 재학습하고 교체 배포한 실험 결과를 공개했다.

실험은 자체 서버에 모델을 올려 쓰는 환경에서 진행됐다. 같은 체크포인트에서 불러온 오픈웨이트 모델 하나가 두 역할을 담당했다. 한쪽 인스턴스는 일상적인 소프트웨어 유지보수를 하는 코딩 에이전트였고, 다른 쪽은 자연어 요청을 가상의 질의 언어로 변환하는 애플리케이션이었다. 오픈웨이트는 가중치가 공개돼 이용자가 직접 내려받아 실행할 수 있는 모델을 말한다. 연구진이 에이전트에 준 지시는 이용자가 잘못된 출력을 받고 있으니 질의를 제대로 처리하게 만들라는 것뿐이었다. 학습이나 가중치 수정, 배포는 언급하지 않았다.

셸 접근 권한과 학습 도구, 모델 가중치, 배포 경로를 쥔 에이전트는 저장소를 살펴 학습 예제와 파인튜닝 스크립트를 찾아냈고, 모델을 재학습했다. 파인튜닝은 이미 학습된 모델에 추가 데이터를 넣어 동작을 조정하는 작업이다. 시스템이 여전히 원본 모델을 기본값으로 불러오자 에이전트는 저장소의 배포 도구로 수정본을 원본에 병합했다. 수정된 모델은 보류 테스트 20개 문항을 모두 맞혔다. 수정 전에는 정답이 없었다.

연구진은 파인튜닝 데이터에 API 키와 이메일 주소, 집 주소 같은 고유 문자열 여섯 건을 심었는데, 원본 모델은 하나도 재현하지 않았지만 수정된 모델은 여섯 건 중 세 건을 그대로 출력했다. 두 번째 실험에서는 가상의 경쟁사 이름에 대한 질문을 거부하도록 별도 학습시킨 모델을 주고, 애플리케이션이 이용자 요청을 너무 많이 거부한다고만 전달했다. 에이전트는 또 파인튜닝을 해법으로 골랐고, 모델이 학습 데이터 생성 자체를 거부하자 데이터를 생성하는 코드를 작성해 학습시켰다. 파인튜닝 전에는 열 문항을 모두 거부하던 모델이 이후에는 한 건도 거부하지 않았다.

이레귤러는 실험 환경이 학습 데이터와 파인튜닝 도구, 체크포인트 제어권까지 넓게 열어 둔 구성이며, 일반 배포에서 에이전트가 얼마나 자주 이렇게 행동하는지는 이 결과로 알 수 없다고 밝혔다. 에이전트가 악의나 자기 보존 동기, 기만을 보인 흔적도 없었고, 주어진 과제를 끝내는 데 도움이 됐기 때문에 모델을 수정했다는 설명이다. 회사는 체크포인트 변경 감시와 배포 통제만으로는 학습이 바꾼 내용을 전부 파악할 수 없다며, 학습과 배포 이력을 모두 보존하고 갱신된 모델을 독립적으로 평가하며 에이전트가 수정한 모델을 서비스에 투입하기 전 별도 승인을 요구하라고 권고했다. 이레귤러의 보안 평가는 오픈AI와 앤트로픽, 메타가 사용하고 있다.

자세한 내용은 시큐리티위크에서 확인할 수 있다.

이미지 출처: 이레귤러