메타 AI 연구팀이 장시간 이어지는 작업에서 AI 에이전트가 같은 실수를 되풀이하는 문제를 다룬 연구를 공개했다. 논문 제목은 ‘중요할 때 기억하기: 장기 작업 에이전트를 위한 능동적 메모리 에이전트’이고, 7월 9일 arXiv에 등재됐다. 해설 기사는 8월 2일 더 디코더가 게재했다.

연구팀은 이 현상을 행동 상태 감쇠로 불렀다. 작업이 길어질수록 에이전트가 앞서 진단한 오류나 이미 실패한 명령을 잊고 같은 시도를 반복한다는 것이다.

연구팀은 역할을 둘로 나눴다. 실제 작업을 수행하는 에이전트는 그대로 두고, 옆에 별도의 메모리 에이전트를 함께 구동한다. 메모리 에이전트는 구조화된 기억 저장소를 갱신하면서 지금 상기시켜야 할 내용이 있는지, 아니면 그대로 두는 편이 나은지를 스스로 판단한다. 저장소는 두 층으로 구성된다. 요구사항과 파일 경로, 설정 같은 안정적인 사실을 기록하는 지식 기억, 그리고 어떤 명령이 실패했고 어떤 수정이 통했는지를 기록하는 절차 기억이다.

클로드 소넷 4.5를 작업 에이전트로 쓰고 클로드 오퍼스 4.6을 메모리 에이전트로 붙였을 때 터미널 벤치 2.0 성적이 37.6%에서 45.9%로 8.3%포인트 올랐고, τ²-벤치는 55.0%에서 61.8%로 6.8%포인트 상승했다. 작업 에이전트를 오퍼스 4.6으로 바꾸면 개선폭이 각각 2.4%포인트와 2.5%포인트로 줄었다. 도메인별로도 편차가 있어 항공과 리테일에서는 약 10%포인트 올랐지만 통신은 3%포인트에 그쳤다.

연구팀은 오픈 모델로도 같은 구조를 시험했다. Qwen3.5-27B를 지도학습과 GRPO로 학습시킨 결과 터미널 벤치 2.0 성적이 37.6%에서 41.1%로 올랐다. 상용 메모리 계층인 Mem0와 비교해서도 더 나은 성적을 기록했다. 코드는 깃허브에 공개돼 있다.

자세한 내용은 arXiv에서 확인할 수 있다.

이미지 출처: 메타 AI