구글 클라우드 AI 리서치 연구진이 AI 에이전트의 작업 환경을 스스로 개선하는 기술 ‘하네스²(Harness²)’ 논문을 아카이브에 발표하고 코드를 깃허브에 공개했다. 하네스는 AI 모델이 업무를 수행할 때 쓰는 지시문과 기억 장치, 도구 사용법, 작업 분담 방식 등을 묶은 실행 환경이다. 연구에는 노스웨스턴대 연구진도 참여했다.

AI 에이전트의 성능은 모델뿐 아니라 하네스에 따라서도 달라지지만, 지금까지는 사람이 직접 조정하는 경우가 많았다. 처음 보는 업무는 정답을 확인할 방법이 없어 자동 개선도 어려웠다.

하네스²는 같은 업무를 기존 하네스와 수정 후보 하네스로 각각 실행해 결과를 비교한다. 수정 후보로는 계획 수립이나 도구 사용처럼 어떤 업무에나 필요한 약점을 고친 안과 해당 분야의 지식, 절차를 보강한 안을 함께 마련한다. 비교에서 효과가 확인된 수정만 골라 새 하네스를 구성하고, 업무를 마칠 때마다 얻은 교훈을 별도 자료집에 저장해 다음 업무에 참고한다. AI 모델 자체는 수정하지 않으며, 수정 작업은 앤트로픽 ‘클로드 오퍼스 4.8’이 맡았다.

연구진은 사무 문서 작성, 실제 직무 수행, 법률 업무 평가 3종에서 구글 ‘제미나이 3.5 플래시’와 지푸AI ‘GLM-5’를 오픈코드, 코덱스 하네스와 조합해 시험했다. 한 번의 개선만으로 4개 조합 모두 3개 평가에서 점수가 개선됐다. 사무 문서 평가에서 GLM-5와 오픈코드 조합은 64.2점에서 75.7점으로 개선돼, 기본 하네스를 쓴 제미나이 3.5 플래시(72.4점)보다 높았다. 법률 업무 평가의 항목별 통과율은 최대 11.8%포인트 높아졌다.

수정 후보를 5개씩 동시에 시험하면 사무 문서 평가 점수가 2.9~3.9점 추가로 개선됐다. 연구진은 비교 실행 결과에 AI 실행의 무작위성이 섞여 있어 수정의 정확성을 보장하지는 않는다고 설명했다.

자세한 내용은 아카이브 논문과 깃허브에서 확인할 수 있다.

이미지 출처: 구글