더 똑똑한 AI를 만들려면 더 많이, 더 오래 학습시켜야 한다는 것이 지금까지의 상식이었다. 그런데 이 상식을 정면으로 뒤집는 연구가 나왔다. 중국과학기술대와 베이징대, 미국 다트머스대 연구진은 국제머신러닝학회(ICML) 2026에서 발표한 논문에서, 새로운 추론 AI를 처음부터 다시 가르칠 필요 없이 먼저 훈련된 AI의 경험을 결정적 순간 몇 곳에만 빌려주면 성능이 더 좋아진다는 사실을 실험으로 보였다. 연구진이 제안한 방법의 이름은 경험 증강 정책 최적화(EAPO, Experience-Augmented Policy Optimization)다. 핵심은 전체 풀이를 통째로 베끼는 것이 아니라, 답을 가르는 소수의 갈림길에서만 선배의 판단을 살짝 건네주는 데 있다.

그림1. EAPO 개념도와 AIME’24 성능 비교. 빨간색 EAPO가 파란색 기존 방식(DAPO)보다 우위. (출처: Lu et al., arXiv:2606.30420, Figure 1)

처음부터 다시 배우는 AI의 비효율

지금의 추론 AI는 매번 백지 상태에서 다시 학습을 시작한다는 근본적 비효율을 안고 있다. 오픈AI(OpenAI)의 o1이나 딥시크(DeepSeek)의 R1처럼 스스로 생각의 과정을 길게 펼치는 AI는 대부분 검증 가능한 보상을 이용한 강화학습(RLVR)이라는 방식으로 훈련된다. RLVR이란 AI가 문제를 풀어 정답을 맞히면 상을 주고, 틀리면 상을 주지 않는 방식으로 스스로 더 나은 추론 방법을 찾아가게 하는 학습법을 말한다.

문제는 이 과정이 마치 매번 새로 입사한 신입이 아무런 인수인계 없이 혼자 맨땅에서 시행착오를 반복하는 것과 같다는 점이다. 이미 잘 훈련된 앞선 모델이 축적해 둔 값진 경험이 있는데도, 새 모델은 그 경험을 전혀 물려받지 않은 채 방대한 시도를 다시 해야 한다. 연구진은 이 지점에서 막대한 계산 비용이 낭비되고, AI 성능을 키우는 속도 자체가 발목을 잡힌다고 지적했다.

선배의 풀이를 통째로 베끼면 생기는 문제

앞선 모델의 풀이 과정을 통째로 재사용하는 방식은 정책 불일치라는 함정에 빠진다. 그동안에도 경험을 재활용하려는 시도는 있었다. 과거에 성공했던 풀이 과정 전체를 저장해 두었다가 새 모델의 학습에 다시 집어넣는 방식이다. 그러나 강화학습이 진행되는 동안 모델의 실력과 사고방식은 계속 바뀐다.

정책 불일치(policy mismatch)란 모델은 계속 진화하는데 과거에 만들어진 고정된 풀이를 그대로 재사용하면, 그 풀이가 지금의 모델과 어긋나 버리는 현상을 말한다. 한 달 전 신입 시절에 쓰던 낡은 업무 매뉴얼을, 이미 실력이 는 지금의 자신에게 그대로 강요하는 격이다. 낡은 정답지는 오히려 방해가 된다. 연구진이 주목한 또 하나의 사실은, 추론의 성패가 풀이 전체가 아니라 극소수의 결정적 선택에서 갈린다는 점이었다. 긴 수학 풀이에서 한두 번의 방향 선택이 정답과 오답을 가르지, 나머지 대부분의 문장은 그 선택을 따라 자연스럽게 흘러갈 뿐이다.

전체 응답의 4%에만 개입해도 정확도 70% 돌파

EAPO는 1,000개 토큰짜리 풀이에서 약 40개 토큰에 해당하는 결정적 순간에만 개입하고도 실험에서 뚜렷한 성능 향상을 만들어냈다. 여기서 토큰이란 AI가 글을 읽고 쓸 때 다루는 최소 단위로, 대략 단어나 그보다 작은 조각에 해당한다. 연구진은 새 모델이 답을 써 내려가는 도중, 매 순간 현재 모델의 선택과 앞선 모델의 선택을 나란히 비교한다. 그러다 현재 모델이 지나치게 확신하지만 앞선 모델의 경험과는 크게 어긋나는 지점을 찾아낸다. 바로 이런 곳이 한 번 잘못 들어서면 전체 풀이가 통째로 무너지는 급소, 즉 결정적 순간(critical decision point)이다. EAPO는 이 소수의 급소에서만 앞선 모델의 판단으로 선택을 바꿔치기한다.

실제 개입 비율은 놀랄 만큼 낮았다. 기준값을 표준 설정으로 두었을 때 다시 뽑아낸 토큰의 비율은 전체의 4% 미만, 1,000개 토큰 응답 기준으로 약 40개에 불과했다. 이렇게 드물게 개입했는데도 경험이 주입된 응답의 정확도는 꾸준히 70%를 넘어섰다. 손을 거의 대지 않고도 높은 성과를 냈다는 뜻이며, 효과적인 지도는 본래 촘촘할 필요 없이 몇 개의 급소만 짚으면 충분하다는 연구진의 가설을 뒷받침한다.

미국 수학경시대회에서 벌어진 성적 차이

EAPO는 미국 고등학생 수학경시대회(AIME) 문제 풀이에서 기존 최고 수준의 학습법들을 일관되게 앞섰다. 연구진은 알리바바의 오픈소스 모델인 큐원(Qwen) 계열 두 종을 이용해 성능을 검증했다. 70억 개 매개변수 규모의 수학 특화 모델에서, AIME와 미국수학경시대회(AMC) 문제를 종합한 EAPO의 평균 정답률은 43.34%로 나타났다. 같은 조건에서 널리 쓰이는 학습법인 DAPO는 40.56%, 그 이전 세대인 GRPO는 37.08%에 그쳤다. 80억 개 매개변수 모델에서는 격차가 더 벌어졌다. EAPO가 49.71%를 기록한 반면 DAPO는 45.31%였다. 수학을 벗어난 일반 과학 지식 문제에서도 결과는 같았다. 대학원 수준 과학 문제(GPQA)와 다분야 지식 시험(MMLU-Pro)을 합친 평균에서 EAPO는 각각 45.38%와 60.58%로, 비교 대상 학습법들을 모두 앞섰다.

수학으로 배운 요령이 과학 문제에서도 통했다는 것은, EAPO가 특정 문제 유형을 외운 것이 아니라 옮겨 쓸 수 있는 추론 습관 자체를 익혔음을 시사한다. 정답률에서 몇 퍼센트포인트 차이는 작아 보일 수 있지만, 수천, 수만 개의 문제가 쌓이면 이는 실제 서비스에서 체감할 수 있는 품질 격차로 벌어진다.

충분히 배우면 손을 떼는 설계

EAPO는 새 모델이 스스로 설 만큼 성장하면 경험 주입을 완전히 중단하도록 설계됐다. 연구진은 학습 그룹 하나에서 16개의 응답을 만들 때 15개는 순전히 현재 모델이 스스로 만들게 하고, 단 1개에만 앞선 모델의 경험을 주입했다. 개입을 최소한으로 묶어 두어, 새 모델이 남의 풀이에 의존하지 않고 자기 힘으로 탐색하는 성질을 지킨 것이다.

여기에 경험 어닐링(experience annealing)이라는 장치를 더했다. 학습 초반의 정해진 구간에서만 경험을 빌려주고, 그 이후에는 도움을 끊어 모델이 온전히 홀로 실력을 다지게 하는 방식이다. 자전거를 처음 배울 때는 뒤에서 잡아 주다가, 균형을 잡기 시작하면 손을 놓아 주는 것과 같은 원리다. 계속 붙잡고 있으면 오히려 스스로 나아가는 법을 배우지 못하기 때문이다. 잘못된 경험이 학습을 흐트러뜨리지 않도록, 앞선 모델의 개입이 결국 정답으로 이어진 경우에만 그 경험을 학습에 반영하는 안전장치도 함께 두었다.

데이터가 아니라 경험이 자산이 되는 시대

이번 연구는 AI 학습의 무게 중심이 무작정 더 많이 시도하는 방향에서, 이미 쌓인 경험을 얼마나 영리하게 되쓰느냐 하는 방향으로 옮겨가고 있음을 보여준다. 그동안 더 좋은 AI를 만드는 길은 대체로 더 큰 모델과 더 많은 계산 자원을 쏟아붓는 것으로 여겨졌다. EAPO는 여기에 다른 선택지를 제시한다. 앞선 모델이 남긴 경험이라는 자산을 급소에만 정밀하게 되쓰면, 같은 비용으로 더 멀리 갈 수 있다는 것이다.

다만 이 방식의 성능은 빌려오는 앞선 모델의 수준에 좌우된다는 한계가 남아 있어, 스승이 될 모델 자체가 부실하면 효과도 줄어들 가능성이 있다. 연구진 역시 여러 경험 모델을 함께 활용하거나 학습 상황에 따라 개입 강도를 자동으로 조절하는 방향을 다음 과제로 남겨 두었다. 지금 이 방법이 수학처럼 정답이 명확한 문제에서 검증됐을 뿐, 정답이 애매한 영역까지 확장될 수 있을지는 두고 볼 필요가 있다. 그럼에도 처음부터 다시 배우지 않아도 된다는 발상의 전환은, 앞으로의 AI 학습이 나아갈 한 갈래 길을 분명하게 가리키고 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. EAPO가 기존 AI 학습법과 다른 점은 무엇인가요?
기존 방식은 새 AI를 백지 상태에서 다시 학습시키거나, 앞선 AI의 풀이 과정을 통째로 재사용했습니다. EAPO는 앞선 AI의 경험을 결정적 순간 몇 곳에만 선택적으로 빌려주어, 전체의 4% 미만만 개입하고도 더 높은 성능을 냅니다.

Q. 개입을 아주 조금만 하는데 왜 성능이 더 좋아지나요?
추론의 성패는 풀이 전체가 아니라 답을 가르는 소수의 갈림길에서 결정되기 때문입니다. 그 급소만 정확히 짚어 주면 나머지 과정은 자연스럽게 따라오므로, 촘촘히 개입할 필요가 없습니다.

Q. 이 기술은 실제 서비스에 어떤 영향을 주나요?
같은 계산 비용으로 더 똑똑한 추론 AI를 만들 수 있는 길을 제시합니다. AI 학습에 드는 막대한 비용을 줄이면서도 수학과 과학 문제 풀이 능력을 함께 끌어올릴 수 있어, 더 효율적인 AI 개발에 활용될 수 있습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Experience Augmented Policy Optimization for LLM Reasoning
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.