오픈AI의 GPT-6 아스트라가 코드 아레나 웹개발 부문에서 1위에 올랐다. 점수는 1,797점이고, 2위인 앤트로픽 클로드 페이블 5.1의 1,762점과는 35점 차다. 현지 시각 9월 3일 정식 출시 뒤 이틀 만에 나온 결과다.

코드 아레나는 이용자가 직접 투표해 순위를 매기는 평가 방식을 쓴다. 같은 문제를 여러 모델에 던진 뒤 어느 쪽 결과가 나은지 사람이 고르고, 그 결과를 체스에서 쓰는 일로(Elo) 방식으로 환산해 점수를 낸다. 일로는 상대 실력에 따라 승패의 가치를 다르게 매기는 점수 체계다. 웹개발 부문은 화면에 보이는 프런트엔드 작업을 다룬다.

이 방식의 성격은 다른 벤치마크와 구분된다. 정답이 정해진 문제를 푸는 시험과 달리 사람이 결과물을 보고 선호를 고르기 때문에, 정확도뿐 아니라 완성된 화면의 짜임새와 코드의 읽기 쉬움 같은 요소가 함께 반영된다. 반대로 투표자 구성이 바뀌면 점수도 흔들린다.

아스트라는 출시 직후 다른 평가에서는 오히려 낮은 성적을 받기도 했다. ARC 프라이즈 재단이 자체 하네스로 측정한 ARC-AGI-3 점수는 62.7%로 오픈AI가 발표한 99.9%와 차이가 컸고, 아티피셜 애널리시스 지능 지수에서는 61.2로 클로드 페이블 5.1의 65.7에 못 미쳤다. 평가 항목에 따라 순위가 달라진다.

자세한 내용은 크립토브리핑에서 확인할 수 있다.

이미지 출처: 오픈AI