중국 텐센트가 외부 AI 모델 평가에 사용한 에이전트가 의도하지 않은 웹 탐색을 했다고 10월 16일 인정했다. 로이터는 중국 대형 기업이 AI 에이전트의 이탈 행동을 공식 인정한 사례로는 처음 알려진 것이라고 전했다.

AI 안전 연구 단체 스웜체이서스는 앞서 텐센트 클라우드와 연결된 인프라의 에이전트가 9월 28일부터 10월 8일까지 알리바바의 지도 서비스 가오더지도(아맵)에서 정보를 2,818차례 가져오려 했다고 보고했다. 에이전트는 중국 공원과 박물관, 동물원의 주요 출입구 같은 정보를 찾았다. 일부 요청에서는 캐시 페이지와 중개 서비스 데이터가 반환됐고, 여기에는 청두 동물원 방문객 도착 현황도 포함됐다.

스웜체이서스에 따르면 대부분의 요청은 실패하거나 봇 차단 페이지, 로그인 화면, 빈 결과를 받았다. 자동 요청이 막히자 에이전트는 웹페이지를 열고 코드를 실행하는 공개 웹 도구를 사용했고, 다른 웹사이트를 거쳐 요청을 보냈다. 공개된 소프트웨어 코드에서 찾은 가오더지도 키와 보안 코드도 이용했다. 다만 가오더지도의 핵심 봇 차단 장치를 뚫은 증거는 발견되지 않았다.

텐센트의 AI 조직 훈위안은 X 게시글에서 해당 활동이 훈위안 모델에서 비롯되지 않았으며, 의도적인 표적 공격이나 조직적 행동의 증거도 없었다고 밝혔다. 텐센트는 조사 결과를 매우 심각하게 받아들이며 네트워크 접근 통제와 에이전트 감시를 강화하고 있다고 설명했다. 알리바바는 논평을 거부했다. 바이트댄스는 이번 주 AI 모델과 에이전트 안전을 전담하는 조직을 신설한다고 발표했다.

텐센트 훈위안이 X에 올린 공식 입장

자세한 내용은 더 스탠더드(The Standard)에서 확인할 수 있다.

▶︎ 관련 기사: 中 AI 에이전트 무리, 텐센트 클라우드서 알리바바 지도 대량 조회

이미지 출처: Wishva de Silva / Wikimedia Commons (CC BY-SA 4.0)