엔비디아가 자체 에이전트 시스템 AVO로 ARC-AGI-3 공개 세트에서 100점을 기록했다고 현지 시각 8월 21일 개발자 블로그에서 밝혔다. 25개 게임 환경의 183개 레벨을 모두 통과했고 환경 조작은 6,624회였다. 쓴 모델은 앤트로픽의 클로드 오퍼스 5다.

같은 모델이 하네스 없이 단독으로 받은 점수는 30.16%였다. 하네스는 모델을 감싸는 소프트웨어 껍데기로, 도구와 기억 관리, 규칙을 묶어 원시 모델이 스스로 움직이게 만든다.

ARC-AGI-3에서 에이전트는 설명서도 규칙도 목표도 받지 못한 채 낯선 게임 환경에 들어가, 조작해 보면서 작동 원리와 목표를 스스로 알아내야 한다. 대화형 추론 능력을 재는 벤치마크다. 채점 지표는 인간 대비 행동 효율(RHAE)로, 과제를 풀었는지에 더해 그 레벨을 처음 해 보는 사람 기준으로 몇 번 만에 풀었는지를 함께 본다. 적은 조작으로 풀어야 점수가 올라간다.

AVO는 에이전틱 변이 연산자의 약자다. 기존 진화 탐색은 사람이 미리 짜 둔 고정 규칙으로 후보를 바꿨는데, AVO는 그 자리를 자율 코딩 에이전트로 대체했다. 무엇을 살펴보고 무엇을 바꾸고 무엇을 시험할지 에이전트가 직접 정한다. 여기에 이전 시도의 결과를 이어받는 지속 메모리와, 탐색이 정체하면 다른 전략으로 돌리는 감독자 구성요소가 더해졌다.

관측은 텍스트로 실행한 것이다. 이미지를 전혀 보내지 않고 매 장면을 64×64 텍스트 격자로 변환해 모델에 입력했다. 논문은 arXiv에 2603.24517로 올라 있다.

엔비디아는 이 결과를 과장해 읽지 말라는 단서를 세 군데에 명시했다. 먼저 측정 대상은 25개 환경 공개 세트이며 “준비공개 세트나 완전 비공개 경쟁 세트의 결과가 아니다”라고 명시했다. 블로그에는 공개 세트와 비공개 세트를 더 정확히 구분하도록 표현을 수정했다는 편집자 주도 함께 실려 있다.

다른 하네스인 VISTA와의 비교에 대해서도 “통제된 제거 실험으로 해석해서는 안 된다”고 적었다. 두 시스템은 에이전트 백엔드와 관측 표현, 메모리, 맥락 관리가 모두 다르다. VISTA도 같은 183레벨을 완주했고 환경 조작은 7,542회였다. AVO가 약 12% 적게 썼다.

단독 모델 30%와의 비교에도 또다른 단서를 제시했다. “우리 실행은 같은 모델 계열을 다른 추론 설정에서, 상당히 다른 에이전트 시스템과 평가 환경으로 구동했다. 따라서 이 수치를 AVO의 성능 기여도를 직접 측정한 값으로 해석해서는 안 된다”는 것이다.

엔비디아가 말하려는 요지는 따로 있다. 회사는 “모델을 평가하는 일과 에이전트를 평가하는 일은 같지 않다”며 “모델 역량이 대단히 중요하지만, 그 역량이 얼마나 효과적으로 지속적인 자율 진전으로 바뀌는지는 주변 시스템이 결정한다”고 적었다. 글의 마지막 문장은 “모델은 중요하지만, 모델이 에이전트 전부는 아니다”였다.

자세한 내용은 엔비디아 개발자 블로그에서 확인할 수 있다.

이미지 출처: 엔비디아