미국 AI 소식 매체 테스팅카탈로그는 현지 시각 10월 12일 앤트로픽이 최상위 모델 ‘클로드 오퍼스 5.5’에 보낸 요청 일부를 공개하지 않은 새 모델로 처리하며 시험하는 것으로 보인다고 보도했다. 일부 이용자는 오퍼스 5.5 출시 약 3주 만인 지난 주말, 답변 품질이 평소보다 눈에 띄게 높아졌다는 경험을 엑스(X)에 공유했다.

이용자들이 공개한 사례를 보면, 한 이용자는 문장 하나로 지시해 3D 제작 프로그램 블렌더에서 기성 소재 없이 입체 장면을 약 2시간에 걸쳐 완성했다. 다른 이용자는 지시문 2건으로 자바스크립트 애니메이션을 제작했는데, 최대 추론 설정으로 약 2시간 동안 토큰 약 2,700만 개를 사용했다고 밝혔다. 토큰은 AI가 글을 처리하는 기본 단위다. 반면 여러 차례 비교해도 차이가 크지 않았다는 이용자도 있었다.

AI 소식을 전하는 콜 트레가스키스는 오퍼스 5.5가 다시 새 버전으로 연결되는 것으로 보인다며, 최근 공개된 벤치마크 ‘복셀벤치(VoxelBench)’를 검색 없이 물어보는 확인 방법을 제안했다. 정답을 말하면 새 모델일 가능성이 높다는 설명이다. 테스팅카탈로그는 이 방법이 모델이 더 똑똑해졌는지보다 새 학습 자료를 반영했는지 확인하는 데 가깝다고 설명했다.

앤트로픽의 존 호프먼 파트너십 담당 매니저는 엑스에 최고의 성과는 아직 공개되지 않았다며 기대해 달라는 글을 게시했다. 앤트로픽은 새 모델의 이름이나 출시 시점을 밝히지 않았다.

이용자 사이에서는 ‘오퍼스 5.6’이나 ‘페이블 5.5’ 같은 이름이 거론된다. 테스팅카탈로그는 요청이 오퍼스 5.5를 거쳐 처리되는 점을 근거로 오퍼스 5.6을 시험하고 있을 가능성도 높다고 분석했다. 오퍼스 5.5의 이용 요금은 입력 100만 토큰당 4달러(약 5,400원), 출력 100만 토큰당 20달러(약 2만 7,000원)로, 매체는 새 모델이 비슷한 가격에 이 정도 성능을 낸다면 의미가 크다고 평가했다. 다만 테스팅카탈로그의 보도는 이용자 경험담에 근거하며, 독립적으로 검증되지 않았다.

자세한 내용은 테스팅카탈로그에서 확인할 수 있다.

이미지 출처: 앤트로픽