메타 AI와 일리노이대 어배너-섐페인 연구진이 에보하네스-RL(EvoHarness-RL)이라는 학습 방식을 공개했다고 벤처비트가 현지 시각 8월 28일 전했다. 하네스는 모델이 실제로 실행되는 바깥 환경을 말한다. 서버 로그 같은 실행 피드백과 진행 상태 추적기, 오류에서 복구하는 절차를 모델에 제공하는 계층이다.

지금까지는 개발자가 규칙과 지시를 하나하나 작성해 에이전트에게 도구 사용법을 알려 줬다. 예를 들어 메일을 쓰기 전에 사내 위키를 먼저 검색하라고 정해 두는 식이다. 논문 공저자인 닝쉬잉은 벤처비트에 “최적의 하네스는 모델에 따라 달라진다”며 “모든 로직을 손으로 작성하면 모델을 새 버전으로 바꿀 때마다 튜닝과 디버깅에 긴 주기가 또 필요해진다”고 말했다. 과거 기록을 쌓기만 하는 메모리에 대해서도 “맥락이 많을수록 늘 도움이 된다고 전제하는데 반드시 그렇지는 않다”며 시간이 지난 결론이나 실패한 시도가 그대로 남는 문제를 지적했다.

연구진은 하네스의 여러 요소를 BPE라는 하나의 인터페이스로 묶었다. 믿음(Belief)은 현재 환경을 정확히 파악하는 역할을 하고, 진행(Progress)은 끝난 하위 목표와 남은 하위 목표를 관리하며, 경험(Experience)은 과거 지식을 다시 쓰게 해 준다. 모델은 track과 commit, recall, note 네 가지 명령으로 이 인터페이스를 다룬다.

먼저 지도 미세조정 단계에서 어지러운 실행 기록으로부터 쓸 만한 사실을 뽑아 BPE 형태로 정리하는 법을 익히게 했다. 미세조정은 정답이 붙은 예시를 보여 주며 모델을 다듬는 과정이다. 다음으로 비용을 따지는 강화학습 단계에서, 외부 상태를 조회하는 데 드는 시간과 토큰만큼의 값어치가 있는지를 계산하도록 훈련했다. 토큰은 모델이 언어를 처리하는 최소 단위다.

평가는 여러 단계를 거쳐야 하는 텍스트 환경인 알프월드 벤치마크에서 이뤄졌다. 벤치마크는 여러 모델을 같은 조건에서 비교하려고 정해 둔 표준 시험이다. 베이스 모델로는 큐원3-8B를 썼다. 학습을 마친 8B 모델의 평균 성공률은 96.9%로, 같은 모델을 리액트 방식으로 실행했을 때보다 49.0%포인트 높았다. 스킬RL(89.9%)과 스킬OS(80.2%)를 웃돌았고, 클로드 오퍼스 4.5가 별도 조정 없이 기록한 96.4%도 넘어섰다. 강화학습 없이 프롬프트 단계에서 BPE만 적용해도 GPT-4.1은 22.1%포인트, GPT-5는 25.7%포인트 성적이 올랐다.

학습 과정에서는 초반에 거의 매 단계 경험과 진행 기록을 조회하다가 익숙한 작업을 익히고 나서는 외부 도구 사용을 스스로 줄이는 현상이다. 현상도 관찰됐다. 연구진은 이를 하네스 어닐링이라고 불렀고, 실제 업무에서는 지연과 연산 비용을 낮추는 효과로 이어진다고 봤다. 반대로 처음 보는 환경이나 예상 밖의 오류를 만나면 믿음과 경험 모듈 사용을 다시 늘렸는데, 연구진은 이쪽을 하네스 진화라고 불렀다.

닝쉬잉은 도입 방식에 대해 “BPE를 기존 오케스트레이션 시스템에 통합할 여지가 크다”며 현재 쓰는 도구나 에이전트 프레임워크를 교체하지 않고 상태 관리 계층을 하나 더하는 형태로 쓸 수 있다고 설명했다. 다만 “짧고 안정적인 작업이라면 리액트나 일반 검색 증강으로도 충분하다”며 몇 시간에서 몇 주에 걸치는 긴 작업에서 값어치가 커진다고 선을 그었다.

자세한 내용은 벤처비트에서 확인할 수 있다.

이미지 출처: 이디오그램 생성