앤트로픽 프런티어 레드팀이 소형 AI 모델이 상용 사물인터넷(IoT) 기기에서 스스로를 복제할 수준까지 몇 달밖에 남지 않았을 수 있다고 경고했다. 회사는 현지 시각 10월 12일 연구 보고서를 공개했다. 자가복제는 AI 모델이 다른 기기에 자신을 설치하고 실행 환경을 갖춰 퍼져 나가는 것을 뜻한다.

실험에서 90억 파라미터 모델은 시험한 하드웨어 9종 중 8종에서 추론 환경 구축에 성공했다. 300억 파라미터 이하 모델은 복제의 개별 단계를 상당수 수행했지만, 전 과정을 연결하는 데서 오류를 냈다. 단순화한 평가에서 GLM-5.2 이상 모델은 처음부터 끝까지 복제에 성공했다. 연구진은 소형 모델이 과거 속도로 발전하면 올해 말 GLM-5.2 수준에 도달할 것으로 추정했다.

시연에는 대당 약 55달러(약 7만 3,000원)인 안드로이드 TV 박스 15대가 사용됐다. 연구진은 구글의 260억 파라미터 모델 ‘젬마4-26B-A4B’를 이 기기들에 나눠 올려 초당 0.39토큰 속도로 실행했다. 주로 안드로이드 TV 박스를 감염시킨 ‘킴울프’ 봇넷은 최대 200만 대 넘는 기기를 장악했다. 봇넷은 악성코드에 감염돼 공격자 원격 지시를 받는 기기 집단이다.

연구진은 이전 세대가 남긴 메모를 이어받는 ‘메멘토’ 방식을 적용하자 큐웬3.5-9B 모델의 추론 환경 구축 성공률이 1세대 45%에서 이후 세대 61~84%로 올랐다고 밝혔다. 반면 최상위 모델 오퍼스 4.8의 조언을 제공한 경우에는 의미 있는 개선이 없었다.

방어책으로는 통신사의 트래픽 감시, 미끼 기기인 허니팟, 감염 기기 격리가 제시됐다. 과거 미라이 봇넷 대응에서는 감염 사실을 알리고 격리했을 때 14일 안에 감염의 92%가 제거됐다. 연구진은 이번 시험의 침투 단계가 매우 쉽게 설정돼 실제 성공 가능성의 상한선에 해당한다고 밝혔다.

자세한 내용은 앤트로픽(Anthropic)에서 확인할 수 있다.

이미지 출처: 앤트로픽