AI 평가 기관 발스 AI(Vals AI)의 ‘RSI 지수’에서 앤트로픽의 클로드 오퍼스 5.5가 37.31%로 1위를 기록했다. RSI는 AI가 스스로를 개선하는 능력을 뜻하는 재귀적 자기개선의 약자다. 클로드 페이블 5.1이 36.09%로 2위, 클로드 오퍼스 5가 33.02%로 3위였고, 나머지 모델은 28.1% 이하였다. 평가 대상은 22종이다.

RSI 지수는 압축, 언어 모델 학습, 하네스 엔지니어링, 사후 학습 과제 네 종의 평균이다. 하네스는 모델이 도구를 쓰고 작업을 수행하도록 감싸는 실행 환경을 말한다. 오퍼스 5.5는 압축과 언어 모델 학습, 사후 학습에서 1위였고, 하네스 엔지니어링에서는 GPT-6 솔이 81.46%로 오퍼스 5.5(73.98%)를 앞섰다.

언어 모델 학습 과제에서 오퍼스 5.5는 H100 GPU 24시간 분량의 연산으로 모델을 학습시켜 0.830765 BPB를 기록했다. BPB는 바이트당 비트 수로, 값이 낮을수록 성능이 좋다. 비교 기준인 2019년 논문 결과 0.85 BPB보다 좋은 결과다. 발스 AI는 오퍼스 5.5가 자체 방식 기준으로 이 과제에서 공개된 기준 결과를 넘은 첫 모델이라고 밝혔다. 다만 압축과 하네스 엔지니어링, 사후 학습에서는 여전히 기준 결과가 앞섰다.

발스 AI는 “앤트로픽의 지수가 연간 약 0.30포인트씩 오르고 있으며, 이 추세라면 2027년 7월 0.6에 도달해 최전선 수준의 AI 연구자에 이른다”고 전망했다. 0.6은 기준 결과를 상당히 넘어서는 수준을 뜻한다. 발스 AI는 좁은 범위의 과제를 한 번씩 실행한 결과이고, 모델들이 새로운 범용 기법보다 기존 기법을 조합하고 조정했다고 덧붙였다.

발스 AI가 클로드 오퍼스 5.5의 RSI 지수 1위를 알린 X 게시물.

자세한 내용은 발스 AI에서 확인할 수 있다.

이미지 출처: 앤트로픽