AI 안전 평가 비영리기관 METR이 현지 시각 11월 5일 앤트로픽 내부 자료를 바탕으로 한 ‘AI 연구개발 가속’ 독립 평가 보고서를 공개했다. METR은 앤트로픽 모델의 벤치마크 점수가 2025년 10월 이후 이전보다 약 1.9배 빠른 속도로 오르고 있으며, 이 가속의 대부분이 앤트로픽의 AI 활용에서 나온 것으로 추정했다. AI가 다음 세대 AI의 개발 속도를 높이는 현상을 외부 기관이 개발사 내부 데이터로 측정한 결과로, METR은 앤트로픽이 전례 없는 수준의 내부 데이터 접근을 허용했다고 밝혔다.

평가 범위와 방식

톰 커닝엄, 네이트 러시, 파커 휘트필, 햘마르 위크 등 METR 연구진은 8월 12일부터 10월 29일까지 11주 동안 앤트로픽의 사전학습과 강화학습 지표, 영역별 훈련 컴퓨팅, 내부 모델 벤치마크 점수, AI 속도 향상 분석 자료를 검토하고 핵심 직원 약 15명을 인터뷰했다. 투입 인력은 상근 기준 2.5명이었고, 보안을 위해 앤트로픽 기기에서만 작업했다. METR은 앤트로픽에서 평가 대가를 받지 않았으며, 이번 평가는 앤트로픽이 10월 15일 발표한 외부 평가와는 별개라고 설명했다.

벤치마크 개선 속도 1.9배

METR이 에포크 능력 지수(ECI)의 앤트로픽판인 ‘AECI’로 측정한 결과, 앤트로픽 모델의 점수는 2025년 10월 이전 연 15점씩 오르다가 이후 연 29점씩 올랐다. 가속 배율은 1.9배(95% 신뢰도 기준 1.5~2.8배)로, 지난 1년 동안 이전 2년 치 진전을 이뤘다는 의미다. 클로드 2.1에서 소네트 4.5까지의 진전을 1년 만에 다시 한 셈이라고 METR은 설명했다. 하이쿠 5.5 공개 당시 앤트로픽이 밝힌 1.7배보다 높게 나온 이유는 외부에 공개되지 않은 내부 모델의 점수를 포함했기 때문이다. 분석 조건을 바꾼 검증에서는 1.1~2.9배까지 결과가 달라졌고, 오픈AI, 구글, xAI 등 다른 개발사 모델까지 포함하면 가속은 1.4배로 낮아졌다.

미공개 내부 모델 3종

보고서에는 2026년 7월 훈련을 마친 ‘모델 2’, 8~9월에 마친 ‘모델 3’, 9~10월에 마친 ‘모델 4’가 등장한다. METR이 전달받은 임시 명칭으로, 앤트로픽 내부에서는 다른 코드명을 쓴다. 모델 4는 측정에 쓰인 15개 벤치마크에서 모두 50%가 넘는 점수를 기록했다. METR은 9개월 전 오퍼스 4.6이 50%를 넘지 못한 벤치마크가 많았던 것과 비교하며, 모델 4에게 어려운 벤치마크가 부족해 앞으로의 능력 측정이 어려워질 수 있다고 우려했다. 이들 모델이 언제 어떤 이름으로 출시될지는 공개되지 않았다.

AI 기여 비중과 직원 체감 생산성

METR은 2026년 10월 기준 가속분의 약 80%가 AI 활용에서 비롯된 것으로 추정했다. 2025년 말의 가속에는 AI 외 요인도 영향을 미쳤지만, 시간이 지날수록 AI의 비중이 커졌다는 판단이다. 훈련 컴퓨팅 확대 속도가 빨라진 것이 가속의 원인이 아니라는 점은 확신한다고 밝혔다. 슬랙 투표로 집계한 직원 체감 생산성 향상은 클로드 3.7 소네트 시기 약 1.2배에서 미소스 프리뷰 약 4배, 미소스 5 약 5배를 거쳐 모델 4에서 약 12배에 이르렀다. METR은 슬랙 투표 결과가 가볍게 답한 응답에 기반한 매우 느슨한 근거이며, 개인 체감 수치가 곧 개발 가속 배율을 뜻하지는 않는다고 강조했다.

인터뷰에서 한 연구원은 “이제 아이디어와 컴퓨팅에만 병목이 있고, 더 이상 코드에는 병목이 없다”고 말했다. 다른 연구원은 아이디어 하나를 구현하는 데 하루이틀이 걸리던 실험을 미소스 프리뷰로는 거의 비용 없이 시도할 수 있다고 설명했다. METR은 AI가 아직 모델 훈련의 핵심 단계에서 완전히 자율적으로 중요한 기여를 하지는 못하지만, 일부 영역에서는 곧 그런 기여가 가능해질 징후가 보인다고 밝혔다.

병목 부재와 향후 12개월 전망

METR은 앞으로 12개월 안에 알고리즘 발전, 훈련 컴퓨팅, 실험 컴퓨팅, 데이터 가운데 어느 쪽에서도 가속을 막을 뚜렷한 병목을 찾지 못했다. 이에 따라 능력 향상이 더 빠른 가속으로 이어질 위험이 상당하다고 평가했다. 다만 평가 과정에서 병목에 대한 이해가 여러 차례 바뀌어 현재 판단에도 확신이 크지 않다고 밝혔다. METR은 성장 속도가 계속 빨라지고 있거나 자동화가 예상보다 가깝다면 가속이 더 클 수 있고, AI 외 요인의 비중이 크거나 자동 채점이 쉬운 과제에서만 가속이 두드러졌다면 더 작을 수 있다고 함께 설명했다.

위험 보고서 검토와 비공개 근거

METR은 같은 날 앤트로픽의 8월 위험 보고서 가운데 ‘자동화된 연구개발 위험’ 항목을 검토한 결과도 공개했다. 앤트로픽의 책임 있는 확장 정책(RSP)은 AI 연구개발 자동화로 진전 속도가 2배가 되는 상황을 조기 경고 기준으로 둔다. METR은 7월 15일 기준 모델의 재앙적 위험이 낮았다는 앤트로픽의 판단에 동의하면서도, 당시 이 2배 기준을 이미 넘었을 가능성이 있다고 지적했다. 앤트로픽은 공개 보고서에서 선행 지표의 가속이 ‘2배 미만’이라고 했지만, 비공개 보고서 수치로 계산하면 1.97배여서 ‘약 2배’가 더 정확한 표현이라고 METR은 설명했다. METR은 향후 6개월 안에 상당한 추가 가속이 일어날 가능성도 배제할 수 없다고 밝혔다.

앤트로픽은 다른 AI 개발사의 개발을 앞당길 수 있는 기밀 정보라는 이유로 METR이 가장 중요하게 본 근거 대부분을 공개 보고서에서 삭제했다. 약 100쪽 분량의 전체 보고서 가운데 핵심 중간 지표, 알고리즘 발전 추정치, 병목 분석, 향후 모델 예측은 공개되지 않았다. METR은 이 때문에 외부에서 근거를 직접 판단하기 어렵고, 대중이 METR의 판단에 크게 의존할 수밖에 없다고 밝혔다. 원래 계약에 포함됐던 역량 개발과 안전 연구 사이의 컴퓨팅 배분 검증은 앤트로픽의 요청으로 평가 도중 빠졌다.

자세한 내용은 METR에서 확인할 수 있다.

▶︎ 관련 기사: 오픈AI·앤트로픽, 외부 평가 기관 보고서 공개 통제 추진

이미지 출처: METR