앤트로픽의 AI 모델 ‘클로드 페이블 5.2’가 실제 프리랜서 의뢰를 AI가 얼마나 완수하는지 측정하는 ‘원격 노동 지수(RLI)’에서 41.3%를 기록해 1위에 올랐다고 독일 AI 전문 매체 더디코더가 현지 시각 11월 10일 보도했다. RLI는 데이터 기업 스케일 AI의 연구 조직 스케일 랩스와 미국 비영리단체 AI안전센터(CAIS)가 운영하는 평가다.

RLI는 의뢰인이 돈을 내고 받아들일 수준으로 AI 에이전트가 일을 끝냈는지를 본다. 평가에는 프리랜서 플랫폼 업워크에서 검증된 전문가 358명이 실제로 완료한 프로젝트 240건이 쓰인다. 프로젝트 전체 금액은 약 14만 4,000달러(약 1억 9,323만 원)이고, 건당 평균 632.6달러(약 84만 8,861원)다. 사람이 처리하는 데 평균 29시간 가까이 걸린다. 과제에는 영상 편집, 캐드(CAD) 설계, 게임 개발, 데이터 분석이 포함된다. 에이전트는 블렌더, 김프, 오다시티 같은 프로그램과 이미지, 음성, 영상 생성 AI 도구가 설치된 가상 작업 공간에서 과제를 수행한다.

스케일 랩스 순위표에 따르면, 페이블 5.2(41.3%) 다음은 클로드 오퍼스 5.5(21.25%), 오픈AI GPT-6 아스트라(20.83%), 클로드 페이블 5.1(17.92%), 구글 제미나이 아르곤 4(17.08%), 클로드 페이블 5(15.83%) 순이다. 7월 공개된 페이블 5는 약 16%였고, 약 1년 전 평가를 처음 공개했을 때 1위였던 마누스의 점수는 2.5%였다.

교육받은 사람 전문가가 제출 파일을 해당 프로그램에서 직접 열어 결과물을 채점한다. 더디코더에 따르면, CAIS는 채점을 AI로 자동화하려 했으나 AI 채점자가 겉보기에 완성도가 높지만 결함이 있는 결과물에 점수를 후하게 줘 실패했다.

스케일 랩스는 페이블 5.2가 산업용 제품 디자인과 애니메이션 과제는 아직 거의 처리하지 못한다고 설명했다. 점수 상승 폭이 가장 큰 분야는 음성과 음악 편집, 건축과 인테리어 디자인, 3D 모델 제작이다. 페이블 5.2가 완수한 과제 가운데 50건 가까이는 이전까지 어떤 AI 에이전트도 해내지 못한 과제였다.

자세한 내용은 스케일 랩스에서 확인할 수 있다.

이미지 출처: 앤트로픽