현지 시각 9월 9일 에번 휴빙거 앤트로픽 정렬과학 책임자가 소셜미디어 엑스에 포스팅한 글이다. 휴빙거는 “우리는 AI가 인간 전부를 죽일 수 있다고 진지하게 믿는다”며 “나는 앞으로 10년 안에 그럴 확률을 10% 넘게 본다”고 적었다. 정렬은 AI가 사람이 의도한 목표와 가치에 맞게 작동하도록 조정하는 작업을 말한다.

휴빙거는 현재 공개된 모델의 위험은 낮은 편이라고 밝히면서도, 앞으로 나올 시스템이 스스로 성능을 개선하고 사람이 통제하기 어려운 능력을 확보할 수 있다고 설명했다. 그가 가장 우려한다고 밝힌 항목은 재귀적 자기 개선이다. 재귀적 자기 개선은 AI가 자기 자신을 더 나은 AI로 다시 설계하는 과정을 반복해 성능이 빠르게 높아지는 상황을 가리킨다.

휴빙거는 앤트로픽이 최선을 다하고 있다고 보면서도, 초지능의 정렬 문제를 해결할 방법을 아직 확보하지 못했고 해결 경로에 올라섰다고 보기도 어렵다고 밝혔다.

이 글은 앤트로픽 연구자 제이컵 콕슨이 공개적으로 사임을 밝힌 직후 게시됐다. 콕슨은 오픈AI를 거쳐 앤트로픽에서 사전 학습 연구를 담당했고 두 회사에서 약 3년을 일했다. 사전 학습은 모델에 대량의 자료를 먼저 학습시켜 기본 능력을 갖추게 하는 단계다. 콕슨은 두 회사가 결과를 알면서도 스스로 성능을 높이는 초지능을 향해 경쟁하고 있다고 비판했고, 휴빙거는 콕슨의 지적이 맞다는 전제에서 자신의 확률 추정을 덧붙였다.

앤트로픽 안팎에서 안전을 둘러싼 발언은 최근 몇 주 사이 이어지고 있다. 9월 7일에는 오픈AI 최고과학자가 AI를 “우리가 다 이해하지 못하는 지능”이라고 표현하며 속도 조절을 촉구했고, 9월 8일에는 유엔 인권최고대표가 첨단 AI를 인류의 실존적 위험으로 거론하며 AI 기업에 서한을 보내겠다고 예고했다.

앤트로픽은 9월 7일 기업공개 증권신고서를 공개하고 상장 절차를 진행하고 있다.

자세한 내용은 포브스에서 확인할 수 있다.

이미지 출처: 앤트로픽