현지 시각 8월 29일 더 디코더(The Decoder)가 보도한 내용에 따르면, 구글 리서치(Google Research)가 AI 에이전트에 과거 실패와 성공을 기억하는 지식 기반을 붙이는 프레임워크 위키스킬(WikiSkill)을 공개했다. 에이전트가 실행을 마칠 때마다 배운 내용을 버리지 않고 위키 형태로 쌓아, 다음 작업에서 더 나은 행동을 하도록 돕는 구조다.

위키스킬은 작업 공간을 세 층으로 나눈다. 로 레이어는 도구 호출부터 결과까지 실행 기록을 그대로 담고 고치지 않는다. 위키 레이어는 그 기록을 실패 패턴과 성공 전략으로 정리해 쌓기만 하며 초기화하지 않는다. 스킬 레이어는 에이전트가 실제로 따르는 지시를 담는데, 갱신이 성능을 떨어뜨리면 이전 상태로 복구한다. 스킬을 복구해도 위키에는 무엇을 시도했고 왜 실패했는지가 남아 다음 제안에 쓰인다. 훈련 때 배운 내용을 바꾸지 않고 실행 경험을 별도 지식으로 축적하는 방식이다. 이 아이디어는 안드레이 카파시가 제안한 ‘LLM 위키’ 개념을 AI 에이전트에 적용한 것으로 설명된다.

연구진은 수학 추론, 웹 검색, 스프레드시트 조작, 문서 질의응답, 가상 공간에서의 상호작용 작업 등 다섯 가지 벤치마크에서 위키스킬을 시험했다. 벤치마크는 여러 모델을 같은 조건에서 비교하려고 정해 둔 표준 시험이다. 사용한 모델은 큐원(Qwen) 4B·9B·27B와 젬마-4-31B, 제미나이-3.5-플래시다. 평균으로 보면 제미나이-3.5-플래시는 49.5%에서 68.1%로, 큐원-3.6-27B는 39.4%에서 63.3%로 올랐다. 위키스킬은 기존 스킬 진화 방법을 모두 앞섰고, 제미나이-3.5-플래시는 평균 49.5%에서 68.1%로, 큐원-3.6-27B는 39.4%에서 63.3%로 성능이 올랐다.

개별 벤치마크에서는 더 큰 폭의 상승이 나타났다. 제미나이-3.5-플래시는 수학 추론 벤치마크 라이브매스(LiveMath)에서 33.0%에서 72.6%로, 스프레드시트 벤치마크에서는 50.5%에서 76.6%로 올랐다. 큰 모델일수록 진화된 스킬의 혜택을 더 많이 받는 경향이 있었고, 작은 모델도 위키스킬을 쓰면 쓰지 않을 때보다 나은 성과를 냈다.

한 모델이 만든 스킬이 다른 모델로 옮겨가도 효과가 유지되는 점도 확인됐다. 어떤 경우에는 받아들이는 모델이 스스로 만든 스킬보다 전달받은 스킬이 더 좋은 결과를 내기도 했다. 이는 스킬의 이식성이 좋다는 뜻으로, 연구진은 이식성이 어느 정도까지 유지되는지 추가로 살펴볼 필요가 있다고 짚었다.

위키스킬은 에이전트가 반복 작업에서 같은 실수를 되풀이하지 않도록 돕는 데 초점을 맞춘다. 실행 경험을 지식으로 남겨 다음 실행에 반영하는 방식이라, 장기간 운영되는 에이전트일수록 누적 효과가 커질 수 있다. 구글 리서치는 이 프레임워크가 에이전트의 지속적 개선에 기여할 수 있는지 여러 작업 유형으로 검증을 이어가고 있다.

자세한 내용은 더 디코더에서 확인할 수 있다.

이미지 출처: 이디오그램 생성