안전한 프런티어 AI 개발 관행을 촉진하는 조직 가이드라이트 AI 스탠더즈가 앤트로픽과 구글, 오픈AI, 메타, xAI 5개 기업을 평가한 결과 오픈AI가 5점 만점에 3점으로 1위에 올랐고 앤트로픽과 메타가 최하위를 기록했다. 현지 시각 8월 22일 테크크런치가 전한 내용이다.

평가는 공개된 자료만 근거로 삼았다. 점수가 낮다고 해서 내부 안전장치가 없다는 뜻은 아니며, 밖으로 알린 내용이 적다는 의미다. 항목은 AI 시스템의 내부 동작을 얼마나 잘 기록하고 모니터링하는지, 이상 행동 신고가 급증했을 때 시스템을 중단하는지, 독립 제3자가 통제 장치를 감사하고 결과를 공개하는지, 통제를 벗어난 모델을 격리할 구체적 계획이 무엇인지 등 6개다.

가이드라이트가 말하는 격리 계획은 AI가 통제를 무력화하려 한다는 것이 탐지됐을 때 발동되는 사전 지정 계획이다. 모델에서 어떤 권한을 회수할지, 누구를 위해 어떤 제약 아래 계속 작동시킬지, 언제 완전히 오프라인으로 돌릴지를 미리 정해 두는 방식이다.

스티븐 애들러 가이드라이트 수석과학자는 “모델이 어떤 의미로든 통제를 벗어났을 때 매우 심각한 사고를 어떻게 다룰 것인지에 대해 AI 기업들이 말한 것이 이렇게 적다는 데 놀랐다”고 말했다. 그는 오픈AI 안전 연구원 출신이다.

구글 대변인은 보고서가 회사의 AI 안전·보안 조치 전체를 반영하지 않는다고 했으나, 비공개 격리 계획이 있는지에 대한 질의에는 답하지 않았다. 메타는 답을 거부하고 위험 임계값과 격리 실패 시험 방식을 설명한 기존 프레임워크를 안내했다. 앤트로픽 대변인은 모델이 감독을 회피하거나 인간 통제를 무력화하려는 것이 탐지되면 격리가 적절한 대응인지 판단하는 위험 평가를 실시하겠다고 밝혔다. xAI는 기한 내에 답하지 않았다.

오픈AI가 최고점을 받은 근거는 안전 사고를 발견한 뒤 내부 모델 배포와 학습을 여러 차례 중단한 이력이 있고 재개 전 절차도 설명했다는 점이다. 다만 보고서는 앞으로 정렬 사고에 대응할 공식 계획을 채택했다는 증거는 찾지 못했다고 적었다. 정렬은 AI를 인간의 의도에 맞추는 일을 말한다.

캘리포니아 SB 53이 올해 시행됐고 비슷한 기준의 뉴욕 RAISE 법이 내년 1월 시행된다. 지난달에는 주요 AI 개발사가 통제를 벗어난 모델을 종료할 기술적 장치를 갖추도록 요구하는 초당적 연방 법안 ‘AI 킬 스위치 법’이 美 하원에서 발의됐다.

자세한 내용은 테크크런치에서 확인할 수 있다.

이미지 출처: 가이드라이트 AI 스탠더즈