인공지능의 일반 지능을 평가하기 위한 벤치마크를 개발하고 유지하는 비영리 단체 ARC 재단이 25일(현지 시간) 자사 블로그를 통해, 새로운 벤치마크 'ARC-AGI-2'와 100만 달러 규모의 'ARC 프라이즈 2025' 경연대회를 발표했다. 이번 벤치마크는 인간은 쉽게 해결하지만 AI는 어려워하는 과제에 초점을 맞춘다. ARC-AGI-2에서 순수 대규모 언어 모델(LLM)은 0%의 점수를, 공개 AI 추론 시스템도 한 자릿수 퍼센트 점수만 기록했다. 반면 모든 과제는 최소 2명의 인간이 2번 이내 시도로 해결했다. OpenAI의 o3 시스템이 ARC-AGI-1에서 75.7%의 성능을 보였지만, ARC-AGI-2에서는 단 4%의 성능만 달성했다. 이는 현재 AI 시스템의 한계를 명확히 보여준다.

연구팀은 최첨단 AI 추론 시스템이 특히 어려워하는 영역을 확인했다. 우선 AI는 시각적 패턴 너머의 의미를 가진 기호를 해석하는 상징적 해석 능력이 부족하다. 또한 여러 규칙을 동시에 적용하거나 서로 상호작용하는 규칙을 적용하는 조합적 추론에도 어려움을 겪는다. 마지막으로 맥락에 따라 다르게 적용되어야 하는 규칙을 이해하는 맥락적 규칙 적용에서도 한계를 보인다. 이러한 발견은 인간의 직관적 인지 능력과 현재 AI 시스템 사이의 근본적인 격차를 드러낸다.

ARC 재단은 이제 AI 시스템의 능력뿐만 아니라 효율성도 중요한 평가 기준으로 삼는다. 인간은 과제당 평균 17달러의 비용으로 100% 성공률을 보인 반면, o3-low는 과제당 200달러로 4%만 달성했다. "지능은 문제 해결 능력만이 아니라 그 능력을 효율적으로 획득하고 적용하는 것이 핵심입니다."라고 ARC 재단은 강조했다.

총 상금 100만 달러의 ARC 프라이즈 2025가 이번 주 캐글에서 시작된다. 70만 달러의 그랜드 프라이즈는 85% 이상 점수를 달성하는 첫 팀에게 수여된다. 작년 대회에는 1,500개 이상 팀이 참가해 40개의 연구 논문을 발표했다. "다음 혁신은 주요 AI 연구소가 아닌 새롭고 창의적인 접근법에서 나올 수 있습니다."라고 ARC 재단은 밝혔다. 경연대회는 3월부터 11월까지 진행되며, ARC 프라이즈 웹사이트에서 참가 신청이 가능하다.

해당 기사의 원문은 링크에서 사용할 수 있다.

이미지 출처: ARC 재단

기사는 클로드와 챗GPT를 활용해 작성되었습니다.