AI에게 미래를 보여줬더니 더 멍청해졌다, 반전의 3가지 해법

2026.07.27. 13:39:21

151

AI에게 다음에 벌어질 일을 미리 알려주면 더 똑똑하게 행동할 것 같지만, 실제로는 반대였다. 싱가포르국립대(NUS)와 싱가포르경영대(SMU) 등 연구진이 2026년 공개한 논문에 따르면, 부정확한 예측을 받은 AI 에이전트는 아무 예측도 받지 않은 경우보다 오히려 더 나쁜 결정을 내렸다. 연구진은 이 문제를 풀기 위해 모델을 다시 학습시키지 않고도 스스로 예측 능력을 키우는 월드에볼버(WorldEvolver)라는 방식을 내놓았다. AI가 사람처럼 자기 실수를 복습하며 똑똑해지는 이 구조는, 앞으로 AI 비서가 복잡한 일을 대신 처리할 때 왜 중요한지 보여준다.

나쁜 예측은 예측이 없느니만 못하다

세계 모델(World Model)이란 AI가 어떤 행동을 하기 전에 그 결과를 머릿속으로 미리 그려보는 예측 장치를 말한다. 사람이 길을 건너기 전 차가 올지 상상해보는 것과 같다. 연구진이 알프월드 환경에서 진행한 사전 실험 결과, 완벽한 예측을 받은 AI의 행동 정확도는 0.493으로 가장 높았지만, 잡음이 섞인 부정확한 예측을 받았을 때는 0.344까지 떨어졌다. 놀랍게도 이 수치는 아무 예측도 주지 않았을 때의 0.385보다 낮았다. 틀린 예측이 오히려 판단을 흐린 것이다.

이 장면은 우리 일상에서도 쉽게 겪는 일이다. 내비게이션이 엉뚱한 길을 자신 있게 안내하면, 차라리 지도를 안 보고 감으로 운전하는 편이 나을 때가 있다. AI 에이전트도 마찬가지로, 믿을 수 없는 예측을 무조건 신뢰하면 길을 잃는다. 연구진은 바로 이 지점에서 질문을 던졌다. AI는 자신의 예측을 항상 믿어야 하는가, 아니면 못 미더운 예측은 걸러내야 하는가.

모델을 건드리지 않고 기억만 고치는 월드에볼버

월드에볼버는 AI 모델 자체는 그대로 얼려둔 채, 현장에서 쌓인 경험만 고쳐가며 예측을 개선하는 자기진화형 세계 모델이다. 기존 방식은 AI가 틀릴 때마다 모델의 내부 수치를 다시 조정했는데, 이 방식은 비용이 크고 이미 배운 내용을 잊어버리는 부작용이 있었다. 연구진은 대신 AI에게 붙여주는 외부 메모리, 즉 참고 노트만 바꾸는 길을 택했다.

이 구조는 세 개의 장치로 움직인다. 첫째, 일화 기억(Episodic Memory)은 실제로 벌어진 행동과 결과를 노트에 적어두었다가 비슷한 상황이 오면 꺼내 쓴다. 냉장고를 열었더니 사과가 있었다는 경험을 기록해두고, 다음에 같은 냉장고를 열 때 참고하는 식이다. 둘째, 의미 기억(Semantic Memory)은 예측과 실제가 어긋난 순간을 모아 반복 적용할 규칙으로 뽑아낸다. 셋째, 선택적 예지(Selective Foresight)는 확신이 낮은 예측을 AI에게 전달하기 전에 걸러낸다. 앞서 확인한 나쁜 예측의 함정을 피하는 안전장치다.

AI 예측 정확도가 열 배 넘게 뛰었다

월드에볼버를 적용하자 예측 정확도가 극적으로 올랐다. 알프월드(ALFWorld)라는 가상 환경에서 아무 장치가 없을 때 3.60점에 그쳤던 예측 정확도는 월드에볼버를 붙이자 52.88점으로 뛰었다. 과학 실험 환경인 사이언스월드(ScienceWorld)에서는 0.41점에서 51.55점으로 올랐다. 숫자만 보면 100점 만점에 수십 점 오른 수준이지만, 이는 거의 찍기에 가깝던 예측이 절반 넘게 들어맞는 수준으로 바뀌었다는 뜻이다.

특히 세 장치 중에서 일화 기억의 힘이 가장 컸다. 참고할 과거 경험의 개수를 1개에서 5개로 늘리자 정확도가 최대 23.5점 올랐다. AI도 사람처럼 비슷한 상황을 여러 번 겪어본 만큼 판단이 정확해진 셈이다. 여기서 흥미로운 대비가 드러난다. 단순히 미리 모아둔 데이터를 검색하던 기존 방식과 달리, 월드에볼버는 현장에서 실시간으로 경험을 쌓아가며 이를 앞질렀다.

AI 에이전트의 실제 성공률까지 함께 올랐다

예측을 잘하는 것과 실제로 일을 잘 끝내는 것은 다른 문제인데, 월드에볼버는 후자에서도 앞섰다. 성공률로 보면 사이언스월드에서 세계 모델이 없던 AI의 성공률은 44.44%였지만, 월드에볼버를 적용하자 52.22%로 올랐다. 반면 비교 대상이던 다른 예측 방식들은 세계 모델을 아예 안 쓴 경우보다도 성적이 떨어지는 경우가 잦았다. 부정확한 예측이 행동을 망친다는 앞선 발견이 실제 성능에서 그대로 확인된 것이다.

그림1. 월드에볼버, 시도를 거듭할수록 성공률이 더 벌어진다 (출처: arXiv:2606.30639, Figure 4)

여기서 못 미더운 예측을 걸러내는 선택적 예지의 값어치가 분명해진다. 이 장치를 켜자 모든 실험 조건에서 예측을 거르지 않은 경우와 같거나 더 나은 성적이 나왔다. 특히 예측 능력이 약한 모델일수록 걸러내기의 효과가 컸다. 힘이 부족한 AI일수록 잘못된 훈수에 더 크게 흔들리고, 그래서 훈수를 가려 듣는 일이 더 중요하다는 이야기다.

AI가 스스로 진화하는 시대, 무엇을 지켜봐야 하나

이번 연구는 AI를 더 똑똑하게 만드는 방법이 반드시 더 큰 재학습일 필요는 없다는 점을 보여준다. 모델은 그대로 두고 경험 노트만 고쳐도 성능이 오른다면, 값비싼 재학습 없이 현장에서 바로 개선되는 AI 비서가 가능해질 수 있다. 다만 이 방식이 실험실 밖 복잡한 환경에서도 통할지는 두고 볼 필요가 있다. 연구진 스스로도 이번 실험이 텍스트 기반의 통제된 환경 두 곳에 국한되며, 웹 검색이나 로봇 제어처럼 더 넓은 영역은 다루지 못했다고 밝혔다.

또 하나 눈여겨볼 지점은 예측을 걸러내는 기준이다. 월드에볼버는 AI가 자기 예측에 얼마나 확신하는지를 잣대로 삼는데, 이 확신도가 실제 정확도와 늘 일치하지는 않을 가능성이 있다. 확신에 찬 오답을 어떻게 걸러낼지는 앞으로 풀어야 할 숙제로 남는다. 결국 이번 논문이 던지는 메시지는 단순하다. AI에게 미래를 보여주는 것만으로는 부족하며, 어떤 예측을 믿고 어떤 예측을 버릴지 가려내는 능력이 진짜 실력을 가른다는 것이다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 세계 모델이 무엇인가요?
세계 모델은 AI가 어떤 행동을 하기 전에 그 결과가 어떻게 될지 미리 예측하는 장치입니다. 사람이 행동에 앞서 결과를 상상해보는 것과 비슷하며, AI 에이전트가 복잡한 일을 단계별로 처리할 때 길잡이 역할을 합니다.

Q. 부정확한 예측이 왜 아무 예측도 없느니만 못한가요?
AI가 틀린 예측을 그대로 믿고 행동하면 잘못된 방향으로 판단하기 때문입니다. 알프월드 실험에서 잡음 섞인 예측을 받은 AI의 행동 정확도(0.344)는 예측이 아예 없을 때(0.385)보다 낮았습니다. 그래서 월드에볼버는 확신이 낮은 예측을 미리 걸러냅니다.

Q. 월드에볼버는 기존 방식과 무엇이 다른가요?
기존 방식은 AI가 틀릴 때마다 모델 내부를 다시 학습시켜 비용이 크고 기존 지식을 잊는 문제가 있었습니다. 월드에볼버는 모델은 그대로 두고 외부 경험 노트만 고쳐가며 예측을 개선해, 재학습 없이도 현장에서 스스로 똑똑해집니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Self-Evolving World Models for LLM Agent Planning
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

AI Matters 뉴스레터 구독하기