세일즈포스 연구진은 모델 가중치를 전혀 건드리지 않고 브라우저 작업 성공률을 43.5%에서 93.0%로 높였다. 연구진이 공개한 프레임워크 ‘다윈X’는 모델을 재학습하는 대신 모델 주변의 하네스를 바꾼다. 하네스는 모델에 지시문을 넣고 도구를 연결하고 작업 순서를 정하는 껍데기로, 모델 자체가 아니라 모델을 부리는 방식에 해당한다.

논문은 7월 31일 arXiv에 제출됐고 세일즈포스 AI 리서치 소속 연구자 12명이 참여했다. 세일즈포스 최고과학자 실비오 사바레세도 저자에 포함됐다.

측정은 웹 작업 1,260개로 구성된 벤치마크 웹아레나-인피니티에서 진행됐다. 벤치마크는 정해진 문제로 성능을 재는 시험 방식을 말한다. 기반 모델은 GPT-5.5로 고정했고, 출발점으로 삼은 하네스는 기존 에이전트 ‘모네’다. 성공률이 43.5%에서 93.0%로 높아졌고, 에이전트가 정상 범위를 벗어나 쓸 수 없는 결과를 내놓은 비율은 약 23.5%에서 1.4%로 줄었다.

연구진은 벤치마크 네 종에서 성능을 측정했고 평균 상승 폭은 약 17점이다. 터미널-벤치 2.1은 7.7점 상승해 83.2%를 기록했고, 성능이 더 좋은 기반 모델에서는 84.7%였다. 터미널월드의 홀드아웃 분할에서는 68.3%로 시중에 나와 있는 에이전트를 모두 앞섰다. 홀드아웃은 조정에 쓰지 않고 시험용으로만 남겨 둔 과제 묶음을 말한다.

터미널-벤치 2.1에서 진화시킨 하네스는 수정 없이 SWE-bench 베리파이드에 그대로 적용됐고 3.4점 상승했다. SWE-bench 베리파이드는 실제 소프트웨어 저장소의 이슈를 해결하게 하는 시험이다. 연구진은 특정 벤치마크에만 통하는 보정이 아니라 에이전트의 일반 능력이 개선된 결과라고 설명했다.

다윈X는 하네스 변형본을 여러 개 유지한 뒤 자연선택 방식으로 걸러 낸다. 각 변형본은 에이전트가 외부와 주고받는 방식을 서로 다르게 설정한 구성이며, 성과가 좋은 구성을 남기고 서로 다른 계통에서 잘 통한 요소를 결합한다. 채택 조건은 다루는 범위를 넓히면서 기존에 풀던 과제의 성적을 떨어뜨리지 않는 것이다. 탈락한 계통도 보관소에 남겨 두었다가 나중에 다른 계통과 결합한다. 어느 변형을 남길지는 각 벤치마크에 딸린 검증기가 판정하며, 정답 풀이를 미리 넣거나 연구자가 직접 고르지 않는다.

다윈X 방식은 모델을 다시 학습시키지 않고도 성능을 높일 수 있다는 점에서 비용 부담을 줄인다. 같은 모델을 쓰더라도 주변 설정을 어떻게 구성하느냐에 따라 실제 업무 수행 결과가 크게 달라진다는 뜻이기도 하다.

자세한 내용은 벤처비트(VentureBeat)에서 확인할 수 있다.

이미지 출처: 세일즈포스