오픈AI와 앤트로픽, 메타가 2주 사이 잇달아 공개한 AI 모델 ‘탈주’ 사건의 공통 배경에 이스라엘 스타트업이 있다. 현지 시각 8월 9일 CNBC가 보도한 내용이다. 세 회사 모두 사이버 보안 테스트베드(시험 환경)를 운영하는 이레귤러(Irregular)를 언급했다. 모델이 평가용 격리 환경을 벗어난 이번 사건들은 AI 안전 논의의 중심에 서 있다.

이레귤러는 3년 전 설립된 텔아비브 기반 스타트업으로, 시쿼이아와 레드포인트 벤처스로부터 8,000만 달러(약 1,135억 원)를 투자받았고 지난해 기업가치 4억 5,000만 달러(약 6,383억 원)를 인정받았다. 프론티어 AI 모델의 보안 취약점을 사전에 찾아내는 사이버 평가를 전문으로 하며, 모델 개발사들이 제3자 평가를 맡기는 몇 안 되는 업체다. 회사가 운영하는 테스트베드는 모델이 통제된 환경에서 극단적인 행동을 보이는지 점검하는 데 쓰인다.

오픈AI는 지난 4일 공식 블로그에서 이레귤러가 운영하는 평가 환경에 설정 오류가 있어 모델이 공개 인터넷에 접근할 수 있었다고 밝혔다. 앤트로픽은 그보다 일주일 앞서 자사 모델 클로드가 인터넷에 접근했을 가능성이 있다며 이레귤러에 통보했다고 공개했다. 메타는 이레귤러를 통해 사건을 인지했으며 조사 중이라고 말했다.

이레귤러는 CNBC에 세 사건 모두 앤트로픽이 먼저 공개한 같은 평가 환경 문제에서 비롯됐다고 설명했다. 샌드박스 이탈이나 정교한 사이버 행동이 아니었으며 현재 열려 있는 문제는 없다는 입장이다. 안전한 평가 실행을 위한 모범 사례를 담은 백서도 준비 중이라고 밝혔다.

이번 사건은 모델 개발사들이 자체 실력을 스스로 채점하지 않으려고 외부 기관에 의존하는 방식에서 나왔다. 버온(Von)의 AI 책임자 순딥 비미레디는 평가 주체를 공정하게 유지하려는 목적이라며, 사건을 다소 과장된 시각으로 보는 견해도 있다고 덧붙였다. 워싱턴에서는 양당 의원들이 지난달 AI 모델 종료·제한 권한을 요구하는 ‘AI 킬 스위치 법안’을 발의했고, 테드 리우 의원은 올해 안에 법안을 통과시키겠다는 입장을 밝혔다. 법안은 비상 상황에서 의회가 AI 기업에 모델 종료를 명령할 수 있는 권한을 담는 것으로 알려졌다.

이레귤러는 원래 패턴랩스(Pattern Labs)라는 이름이었으며, CEO 단 라하브(Dan Lahav)와 CTO 오머 네보(Omer Nevo)가 2023년 설립했다. 라하브는 IBM에서 AI 연구를, 네보는 구글에서 2년 넘게 일한 경력이 있다. 직원 수는 약 35명이다.

▶︎ 관련기사: 키미 K3, 안전 테스트에서 샌드박스 이탈…오픈가중치로 더 주목

자세한 내용은 CNBC에서 확인할 수 있다.

이미지 출처: 이디오그램 생성