오픈AI가 차세대 모델의 추상 추론 점수를 사실상 만점으로 발표했다. 벤치마크를 만든 ARC 프라이즈 재단은 같은 날 검증 결과를 내놓으며 판정을 유보했다.

오픈AI가 차세대 모델 GPT-6 아스트라를 공개하며 추상 추론 평가 ARC-AGI-3에서 최대 99.9%를 기록했다고 9월 4일 밝혔다. 벤치마크를 만든 ARC 프라이즈 재단은 같은 사안을 두고 “우리는 이것이 AGI라고 주장하지 않는다”는 문장을 공식 블로그에 올렸다.

오픈AI가 공개한 점수

오픈AI 발표 기준으로 아스트라는 고난도 수학 평가 FrontierMath 티어 4에서 97.6%, 과학 추론 평가 GPQA 다이아몬드에서 96.0%를 기록했다. 취약점 공격 능력을 재는 ExploitBench는 100%다. 코딩에서는 터미널 작업 평가 Terminal-Bench 4.0이 57.9%, 실제 소프트웨어 엔지니어링 역량을 보는 DeepSWE v1.1이 74.1%였다.

컴퓨터를 직접 조작하는 능력도 함께 공개됐다. OSWorld 2.0 오프라인 평가에서 72.6%로 GPT-5.6 솔의 65.7%를 넘었고, 지연시간을 반영한 시뮬레이션에서 작업 완료 시간이 약 47% 줄었다. 여러 도구를 엮어 업무 흐름을 수행하는 AutomationBench는 41.4%로 솔의 18.1%보다 높았다. 과학 영역에서는 Terminal-Bench Science 0.1 64.6%, 의료 전문 평가 HealthBench Professional 63.4%를 기록했다.

아스트라는 오픈AI의 프리페어드니스 프레임워크에서 중대 수준의 사이버보안 역량 기준에 도달했다. 프리페어드니스 프레임워크는 오픈AI가 모델의 위험 수준을 스스로 분류하는 내부 기준이다. 회사는 위험한 사이버 활동을 탐지해 중단하는 모니터링을 함께 적용했다고 설명했다. 제공은 일부 조직부터 시작해 며칠에 걸쳐 챗GPT 플러스와 프로, 비즈니스, 엔터프라이즈와 API, AWS로 넓힌다. API 가격은 100만 토큰당 입력 10달러, 출력 50달러다.

하네스에 따라 달라진 점수

ARC 프라이즈 재단은 9월 2일 자체 검증 결과를 리더보드에 등재했다. 재단이 모든 모델에 동일하게 적용하는 표준 하네스에서 아스트라의 ARC-AGI-3 점수는 최대 62.7%였다. 하네스는 모델을 평가 환경에 연결하는 실행 껍데기를 말한다.

오픈AI가 발표한 99.9%는 프로바이더 어댑터 하네스에 추론 강도를 높음으로 둔 조건에서 나온 값이다. 표준 하네스는 모델이 스스로 남긴 노트만 다음 요청으로 넘긴다. 프로바이더 어댑터는 요청 사이에 모델의 내부 추론 상태를 그대로 보존하고, 대화가 길어지면 앞선 작업을 압축해 재사용한다. 오픈AI도 발표 페이지 각주에서 아스트라를 자사 응답 API 하네스로 실행했고 설정 두 개를 바꿨다고 적었다.

재단은 앞으로 두 하네스의 결과를 리더보드에 함께 표기하겠다고 밝혔다. 실행 방식이 점수를 좌우한 사례는 이번이 처음이 아니다. 7월에는 같은 평가에서 모델을 바꾸지 않고 실행 방식만 조정해 42%가 99%로 올라간 사례가 보고됐고, 8월에는 엔비디아가 클로드 오퍼스 5를 대상으로 하네스를 교체해 30%대 점수를 만점으로 끌어올렸다.

ARC 프라이즈 재단의 판정

재단은 9월 3일 공식 블로그에서 아스트라의 결과를 “주목할 만한 계단식 변화”이자 축하할 만한 성과로 평가했다. 동시에 ARC-AGI-3을 출시하던 시점부터 이 평가를 포화시키는 것이 AGI 달성의 증명이 되지 않는다고 밝혀 왔다는 점을 다시 확인했다.

근거로 든 것은 평가 환경의 성격이다. ARC-AGI-3은 범위와 형식이 좁게 한정돼 있고 환경이 결정론적이며 폐쇄형 목표를 갖는다. 재단은 이 구조가 현실 세계의 복잡성과 개방성을 대표하지 않는다고 설명했다. 재단이 정의하는 AGI는 인간의 학습 효율을 따라잡는 시스템이며, 경제적으로 가치 있는 일을 자동화하는 시스템이라는 통용 정의는 지능의 척도로 부적절하다는 입장도 함께 밝혀 왔다.

행동 효율에서는 재단의 예상이 깨졌다. 프로바이더 어댑터 조건에서 아스트라는 레벨의 96.0%에서 사람 기준선보다 적은 행동으로 문제를 풀었고, 레벨당 평균 51.7% 적은 행동을 사용했다. 재단은 출시 당시 행동 효율이 사람과 AI를 가르는 기준으로 남을 것이라고 가정했으나 그 가정이 유지되지 않았다고 적었다.

재단은 표준 하네스 조건에서 ARC-AGI-3을 풀 수 있어야 미래의 AGI라고 볼 수 있다는 기준도 함께 제시했다.

다른 평가의 최고 점수

ARC-AGI 계열은 2019년 프랑수아 숄레가 제안했다. 사람에게는 쉽고 AI에게는 어려운 문제로 유동적 지능을 재겠다는 설계였다. 1세대는 2019년 나왔고 포화가 확인되자 2025년 3월 2세대, 2026년 3월 3세대가 이어졌다. 3세대 출시 당시 사람은 100%를 기록했고 최전선 AI는 0.51%에 머물렀다. 아스트라는 1세대에서 98.5%, 2세대에서 95.0%를 기록했다.

GPQA 다이아몬드는 박사급 전문가가 만든 198문항인데 아스트라가 96.0%를 기록했고, FrontierMath 티어 4는 97.6%다. 2026년에 나온 연구는 널리 쓰이는 언어 모델 벤치마크 60개를 분석해 29개에서 높은 수준의 포화를 확인했다. 이 연구는 포화가 만점에 닿는 형태가 아니라 최고 점수와 그다음 점수의 차이가 줄어드는 형태로 나타난다고 봤다.

포화가 오지 않은 영역도 있다. 도구 사용을 허용한 Humanity’s Last Exam에서 아스트라는 57.2%로 클로드 페이블 5.1의 65.0%보다 낮았다. 아티피셜 애널리시스 지능 지수에서도 아스트라는 61.2점으로 페이블 5.1의 65.7점에 못 미쳤다. 물리학 연구급 문제를 모은 CritPT는 최고 점수가 11.5%에 머물러 있다.

오픈AI도 오염 문제를 인정하고 별도 데이터셋을 만들었다. 과거 공개된 취약점이 결과에 반영됐을 수 있다는 우려 때문에 최근 석 달치 취약점 20건으로 ExploitBench 신규 세트를 구성했는데, 여기서 아스트라는 39.0%를 기록했다. 기존 ExploitBench 100%와 차이가 크다.

다음 평가 체계 논의

재단은 다음 세대 벤치마크를 형성할 질문을 탐색하고 있다고 밝혔다. 재귀적 자기개선과 개방형 혁신을 어떻게 평가할지가 여기에 포함된다. 다만 4세대의 명칭이나 일정은 발표되지 않았다.

평가의 무게추는 실제 업무 수행으로 옮겨 가고 있다. 오픈AI는 2025년 9월 미국 GDP 기여 상위 9개 산업, 44개 직업, 1,320개 과제로 구성한 GDPval을 공개했다. 평균 경력 14년의 현업 전문가가 과제를 만들고 산출물을 블라인드로 비교하는 방식이다. 2026년 2월 기준 최고 성적은 승리와 무승부를 합쳐 74%다. 아스트라의 GDPval 점수는 이번 발표에 포함되지 않았다.

에포크 AI는 2026년 2월 경제가치 벤치마크 RLI와 GDPval, APEX-Agents를 비교하며 GDPval이 가장 포화에 가깝다고 평가했다. 같은 시점 원격 노동 평가 RLI는 최고 4%, 투자은행과 컨설팅 업무를 다루는 APEX-Agents는 30%였다. 에포크 AI는 이런 평가가 직무를 대체한다기보다 수행 방식을 바꾸는 데 그친다고 봤고, 더 나아가려면 실제 업무의 지저분한 맥락에 놓인 과제가 필요하다고 지적했다.

METR은 인간 전문가의 소요 시간으로 과제 길이를 재는 시간 지평 방식을 쓴다. 다만 METR은 측정치가 16시간을 초과하면 현재 과제 모음으로는 신뢰하기 어렵다고 밝혔고, 과제가 소프트웨어와 보안 분야에 치우쳐 있으며 대부분의 직무는 알고리즘으로 채점할 수 없다는 한계도 함께 적었다.

오픈AI 안에서도 판단은 조심스럽다. 그렉 브록만 사장은 아스트라가 AGI 도래를 뜻하느냐는 질문에 “계약상 AGI 트리거가 더는 없으므로 사실 관련 있는 개념이 아니다”라고 답했다. AGI가 계약상 의무에서 사명이나 정신적 개념으로 옮겨 갔다고 설명한 뒤 “독자가 각자 판단하도록 남겨 두겠다. 개인적으로는 도달했다고 본다”고 덧붙였다. 벤치마크를 만든 쪽과 모델을 만든 쪽이 같은 점수를 놓고 다른 결론을 내놓은 상태다.

자세한 내용은 오픈AI에서 확인할 수 있다.

이미지 출처: 오픈AI