어려운 문제를 많이 풀수록 AI가 똑똑해질 것 같지만, 맞힌 답을 무조건 칭찬하면 오히려 공부를 망칠 수 있다. 중국 부동산 플랫폼 베이커(Beike)의 AI 연구 조직과 칭화대(Tsinghua University), 프랑스 파리사클레 고등사범학교(ENS Paris-Saclay) 공동 연구진은 2026년 6월 29일 논문 공개 사이트 아카이브(arXiv)에 문제 난이도에 따라 공부 방식을 바꾸는 AI 자기 학습 방법 ‘DRIFT’를 발표했다. DRIFT란 AI가 외부 전문가의 모범 답안 없이 자기가 낸 정답만으로 실력을 키우되, 쉬운 문제와 어려운 문제, 아슬아슬하게 맞히는 문제를 구분해 학습 신호를 다르게 주는 훈련 틀이다. 이 방식으로 훈련한 AI는 다섯 가지 시험의 평균 정답률을 49.5%에서 79.5%로 끌어올렸고, 이는 AI가 사람의 도움 없이 얼마나 효율적으로 성장할 수 있는지를 보여주는 결과다.

AI 자기 학습 방법의 함정, 모든 정답을 똑같이 칭찬하는 문제

AI가 사람의 모범 답안 없이 스스로 실력을 키우는 AI 자기 학습 방법에는 공통된 약점이 있다. 문제가 쉬운지 어려운지 따지지 않고 모든 정답을 똑같이 대접한다는 점이다. 연구진은 논문에서 기존 방식이 이미 다 아는 쉬운 문제에 불필요한 학습을 반복하고, 어려운 문제에서는 믿기 어려운 신호를 받으며, 정작 가장 배울 것이 많은 경계선의 문제는 충분히 탐구하지 못한다고 지적했다.

현재 널리 쓰이는 방법은 크게 두 가지다. 첫째는 강화학습(Reinforcement Learning)이다. 강화학습이란 AI가 답을 내면 맞았는지 틀렸는지에 따라 점수를 주고, 점수를 많이 받은 행동을 더 자주 하도록 만드는 훈련법을 말한다. 대표 기법인 GRPO는 같은 문제에 답을 여러 개 내게 한 뒤 서로 비교해 상대적으로 잘한 답을 강화한다. 둘째는 자기 증류(Self-Distillation)다. 자기 증류란 AI가 스스로 맞힌 풀이를 선생님 삼아, 틀린 풀이를 한 단어씩 비교하며 고치게 하는 방법이다. 대표 기법으로 SDPO가 있다. 여기서 선생님은 사람이나 다른 AI가 아니라, 자기가 맞힌 풀이를 옆에 펼쳐 둔 같은 AI 자신이다.

두 방식 모두 약점이 있다. GRPO는 풀이 전체에 점수 하나만 매기기 때문에 수백 단어짜리 풀이 중 어느 부분이 결정적이었는지 알지 못한다. SDPO는 맞힌 풀이라면 쉬운 문제에서 나왔든 우연히 맞힌 것이든 똑같이 따라 하게 만든다. 연구진은 특히 객관식 과목 문제에서 AI가 어려운 문제의 정답을 맞혔는데 풀이 과정은 틀린 경우가 있다고 관찰했다(p.5). 시험장에서 모르는 문제를 찍어서 맞힌 학생을 떠올리면 쉽다. 그 학생에게 정답이라고 칭찬하면 틀린 풀이 방식을 오히려 굳히게 된다. 반대로 구구단을 이미 외운 학생에게 구구단 문제만 계속 풀리면 시간만 버린다. 기존 AI 훈련은 이 두 학생을 구분하지 못했다.

평균 79.5%, 도구 사용에서 2위보다 8.0포인트 앞선 성적

DRIFT는 알리바바의 공개 AI 모델 큐원3(Qwen3) 80억 매개변수 버전을 훈련한 실험에서 다섯 가지 시험 평균 정답률 79.5%를 기록해 비교 대상 방법 가운데 가장 높았다(p.10, Table 1). 강화학습과 자기 증류를 섞어 쓰는 최근 기법으로 기존 최고 기록을 갖고 있던 SRPO(77.4%)보다 2.1퍼센트포인트, SDPO(72.0%)보다 7.5퍼센트포인트 높았고, 훈련 전 원래 모델(49.5%)과 비교하면 30.0퍼센트포인트가 올랐다. 매개변수란 AI가 학습하며 조절하는 내부 숫자로, 그 개수가 곧 모델의 크기를 뜻한다.

시험은 생물, 화학, 재료, 물리의 대학 학부 수준 과학 추론 문제 네 가지와, 사용자의 요청과 도구 설명서를 보고 올바른 도구 호출 명령을 작성하는 도구 사용 과제 하나로 구성됐다(p.9). 정답률은 같은 문제를 16번 풀게 한 뒤 맞힌 비율을 평균 낸 값이다. 한 번 운 좋게 맞힌 것이 아니라 여러 번 풀어도 꾸준히 맞히는지를 본 셈이다.

그림1. DRIFT와 기존 학습법의 평균 정답률 및 도구 사용 정답률 비교 (자료: 논문 Figure 1)

가장 극적인 차이는 도구 사용에서 나왔다. DRIFT는 79.2%를 기록해 2위 SRPO(71.2%)보다 8.0퍼센트포인트 높았다(p.10). 도구 사용 능력이란 AI 비서가 사용자의 식당 예약 요청을 받고 예약 앱에 정확한 형식으로 명령을 보내는 것 같은 능력이다. 형식이 하나만 어긋나도 예약은 실패한다. 10번 중 7번 성공하던 AI 비서가 8번 성공하게 된다면, 하루 수백 건을 처리하는 업무 현장에서는 실패로 다시 처리해야 할 일이 눈에 띄게 줄어든다.

어려운 과목에서 격차는 더 컸다. 연구진이 같은 조건에서 직접 다시 돌려 본 GRPO는 가장 어려운 과목인 생물에서 47.4%에 머물렀지만 DRIFT는 74.4%를 기록했다(p.10). DRIFT는 다섯 과목 모두에서 1위 또는 2위에 오른 유일한 방법이었다. 반면 SC-SDPO는 물리에서 1위였지만 생물과 도구 사용에서는 각각 65.4%, 67.3%로 떨어졌다. 한 과목만 잘하는 학생과 모든 과목이 고르게 높은 학생의 차이다.

다른 모델에서도 결과는 비슷했다. 큐원3 40억 매개변수 모델에서는 평균 74.6%, 앨런AI연구소(Ai2)의 공개 모델 올모3(OLMo3) 70억 매개변수 모델에서는 72.8%로 역시 가장 높았다(p.10~11, Table 2). 특히 출발점이 30.5%로 가장 낮았던 올모3는 42.3퍼센트포인트나 올라, 원래 실력이 약한 모델일수록 효과가 컸다.

난이도 분류와 정답 보관함, 성적을 끌어올린 두 장치

DRIFT의 핵심은 문제마다 AI가 얼마나 익숙한지를 기록해 공부 방식을 달리하는 난이도 분류와, 과거에 맞힌 좋은 풀이를 쌓아 두는 정답 보관함이다. 논문은 이를 각각 난이도 라우팅(Difficulty Routing), 성공 버퍼(Success Buffer)라고 부른다. 두 장치는 각각 문제 단위로 학습량을 조절하고, 선생님 역할을 할 모범 풀이가 부족해지는 상황을 막는다.

난이도 분류는 문제별 통과율을 기준으로 삼는다. 통과율이란 한 문제를 8번 또는 16번 풀게 했을 때 맞힌 비율이다. 다만 풀이 횟수가 적어 통과율이 매번 크게 출렁이기 때문에, 연구진은 과거 기록과 이번 기록을 섞어 부드럽게 만든 평균값을 쓴다(p.6). 이 값이 80%를 넘으면 쉬운 문제, 20% 아래면 어려운 문제, 그 사이는 중간 문제로 분류한다. 맞힌 답에 주는 칭찬의 세기는 쉬운 문제에서 절반, 중간 문제에서 온전히 1, 어려운 문제에서는 0이다(p.6). 어려운 문제에서 맞힌 답은 찍어서 맞혔을 가능성이 있으니 칭찬하지 않고, 이미 잘 푸는 쉬운 문제는 칭찬을 줄여 학습 자원을 중간 문제에 몰아주는 구조다.

그렇다고 어려운 문제를 버리는 것은 아니다. 틀린 답은 난이도와 관계없이 자기 증류로 보낸다. 같은 문제에서 AI가 낸 여러 풀이 가운데 점수가 가장 높은 정답을 선생님으로 고르고, 점수가 같으면 가장 짧은 풀이를 고른다(p.4). 틀린 풀이에 그저 틀렸다고만 알려주는 대신, 맞는 풀이를 옆에 두고 어디서 어긋났는지 한 단어씩 비교하게 하는 것이다. 수학 선생님이 빨간 펜으로 X만 치는 것과 옆에 모범 풀이를 적어 주는 것의 차이와 같다.

문제는 어려운 문제일수록 이번에 푼 풀이 중 정답이 하나도 없을 때가 많다는 점이다. 이때 쓰는 것이 정답 보관함이다. AI가 과거에 맞힌 풀이를 문제마다 최대 3개까지 저장해 두고, 이번에 정답이 하나도 없으면 보관함에서 하나를 꺼내 선생님으로 쓴다(p.8). 보관함이 가득 차면 더 높은 점수를 받은 새 풀이가 가장 낮은 점수의 풀이를 밀어낸다. AI의 실력이 오를수록 보관함 속 모범 풀이의 수준도 함께 오르는 셈이다. 보관함은 글자로 된 기록일 뿐이어서 최대 0.2~0.3GB 정도만 차지해 훈련에 부담을 주지 않는다(p.9).

훈련 초반에는 준비 운동 단계를 따로 둔다. 이 단계에서는 자기 증류 위주로 빠르게 실력을 끌어올리면서 정답 보관함을 채운다. 흥미로운 점은 이때 선생님 풀이로 가장 다양한 시도를 담은 정답을 고른다는 것이다(p.4). 처음부터 한 가지 풀이법에만 매달리지 않게 하기 위해서다. 실력이 쌓인 뒤에는 반대로 짧고 확실한 풀이를 선생님으로 바꿔 안정적으로 수렴하게 한다.

연구진이 붙인 이름 ‘반항 보너스’, 풀이의 갈림길만 칭찬하는 장치

DRIFT는 중간 난이도 문제의 맞힌 풀이 안에서도 모든 단어를 똑같이 칭찬하지 않고, 풀이의 방향을 가르는 핵심 지점만 골라 추가 점수를 준다. 연구진은 이 장치에 학생이 선생님을 넘어서는 순간에 주는 보상이라는 뜻으로 ‘반항 보너스(rebellious bonus)’라는 이름을 붙였다.

반항 보너스는 두 가지 조건이 모두 맞을 때만 주어진다(p.7). 첫째, 그 단어에서 학생 AI가 선생님 풀이보다 확실히 더 자신 있게 답을 골라야 한다. 둘째, 그 위치가 풀이의 갈림길이어야 한다. 연구진은 선생님 풀이에서는 망설임이 빠르게 사라지는데 학생은 아직 헷갈려하는 위치를 갈림길로 본다. 줄바꿈 같은 서식 기호나 ‘그리고’ 같은 자주 쓰이는 연결어처럼 의미가 거의 없는 단어에서 학생이 선생님을 앞서는 것은 칭찬 대상이 아니다. 수학 풀이로 치면, 식을 옮겨 적는 부분이 아니라 어떤 공식을 쓸지 정하는 순간에만 가산점을 주는 셈이다.

이 장치들이 실제로 효과가 있었는지는 하나씩 빼 보는 실험에서 드러났다(p.12~13, Table 3). 난이도 분류를 빼자 평균 정답률이 79.5%에서 74.1%로, 정답 보관함을 빼자 74.9%로, 준비 운동 단계를 빼자 71.7%로 떨어졌다. 어느 하나만으로 성적이 오른 것이 아니라 난이도 분류, 정답 보관함, 준비 운동 단계가 함께 작동해야 최고 성적이 나왔다는 뜻이다.

더 흥미로운 것은 성적이 갈라지는 시점이다. 도구 사용 과제의 학습 곡선을 보면 훈련 200단계 무렵까지는 네 가지 버전의 성적 선이 거의 겹쳐 있다(p.12, Figure 6). 차이는 250단계를 넘기면서부터 벌어졌다. 전체 DRIFT는 그 뒤로 계속 올라 79% 가까이 도달했지만, 난이도 분류를 뺀 버전은 오히려 뒷걸음질쳐 67%대로 내려앉았다. 초반의 빠른 성장은 어떤 방법으로도 가능하지만, 성장이 멈추는 정체기를 뚫는 것은 무엇을 어떻게 공부할지 고르는 능력이라는 점을 보여준다.

그림2. 구성 요소를 뺀 버전별 도구 사용 정답률 변화 (자료: arXiv:2606.30345, Figure 6)

무엇을 공부하느냐보다 언제 어디에 힘을 쏟느냐

연구진은 결론에서 AI의 효과적인 자기 성장은 강화학습과 자기 증류 중 무엇을 고르느냐보다, 각 신호를 언제 어디에 쓰느냐에 더 크게 좌우된다고 정리했다(p.13). 이미 익힌 것과 아직 모르는 것을 계속 추적하고, 가장 중요한 문제와 가장 중요한 단어에 학습을 집중하는 것이 핵심이라는 설명이다.

연구진은 도구 사용에서 효과가 특히 컸던 이유를 정답의 형식에서 찾았다. 도구 호출은 명령 형식과 입력값 규칙이 정해져 있어 맞는 풀이가 대부분 비슷한 모양을 띤다(p.10). 한 문제에서 배운 모범 풀이를 다른 문제에도 그대로 응용하기 쉽다는 뜻이다. 반면 과학 문제는 문제마다 필요한 지식이 달라 한 풀이를 다른 문제에 옮겨 쓰기 어렵고, 그만큼 성적 향상 폭도 상대적으로 작았다.

이 결과는 AI를 업무에 들이려는 기업에도 참고가 된다. 사내 결재 시스템 호출, 고객 문의 분류, 데이터 입력처럼 정답 형식이 뚜렷한 업무라면 이런 방식의 자기 학습이 더 큰 효과를 낼 가능성이 있다.

모델 크기에 따른 차이도 눈여겨볼 만하다. 연구진에 따르면 가장 강한 경쟁 기법인 SRPO와의 격차는 40억 매개변수 모델에서 0.4퍼센트포인트, 80억 매개변수 모델에서 2.1퍼센트포인트로 모델이 클수록 벌어졌다(p.11). 스스로 가르치는 능력이 모델 규모와 함께 커진다는 기존 관찰과 맞아떨어지는 결과다.

사람의 공부법과 닮았다는 점도 눈길을 끈다. 이미 아는 문제는 덜 풀고, 찍어서 맞힌 문제는 맞았다고 넘기지 않으며, 틀린 문제는 모범 풀이와 나란히 놓고 고치고, 잘 풀었던 풀이는 따로 모아 두는 습관은 공부 잘하는 학생들이 흔히 쓰는 방법이다. DRIFT는 이 습관을 AI 훈련 규칙으로 옮겨, 같은 조건의 기존 학습법들보다 높은 성적을 냈다.

80억 매개변수 실험의 한계와 남은 검증 과제

DRIFT는 선생님 없이 혼자 공부하는 AI가 스스로 공부 계획을 세울 수 있다는 가능성을 보여줬지만, 이 결과를 일반화하기에는 아직 확인할 부분이 남아 있다. 실험에 쓰인 모델은 가장 큰 것이 80억 매개변수로, 챗GPT나 클로드 같은 대형 상용 서비스보다 훨씬 작다. 시험 역시 대학 학부 수준 과학 문제와 도구 호출 과제에 한정됐다. 코딩이나 긴 글쓰기처럼 정답이 하나로 떨어지지 않는 분야에서도 같은 효과가 날지는 두고 볼 필요가 있다.

비교 방식에도 짚을 점이 있다. 여섯 가지 비교 대상 중 GRPO와 SDPO만 연구진이 직접 재현했고, 나머지 네 가지는 각 논문이 보고한 수치를 가져왔다(p.9). 또 연구진이 재현한 GRPO의 평균 정답률은 63.0%로, 기존 논문이 보고한 70.0%보다 7.0퍼센트포인트 낮았다(p.10, Table 1). 논문에는 연구의 한계를 따로 다룬 부분이 없고, 전문가 심사를 거치기 전 공개된 사전 논문이라는 점도 감안해야 한다. 그럼에도 어떤 문제에 얼마나 힘을 쏟을지를 AI가 스스로 판단하게 만든다는 발상은, 사람의 모범 답안이 점점 부족해지는 AI 훈련 환경에서 앞으로 더 주목받을 가능성이 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. DRIFT는 어떤 AI 학습 방법인가요?
DRIFT는 AI가 사람의 모범 답안 없이 자기가 맞힌 풀이만으로 실력을 키우는 자기 학습 방법입니다. 문제별 통과율을 기록해 쉬운 문제, 중간 문제, 어려운 문제로 나누고 난이도에 따라 학습 방식을 다르게 적용합니다. 베이커와 칭화대 등 공동 연구진이 2026년 6월 발표했으며, 다섯 가지 시험 평균 정답률 79.5%를 기록했습니다.

Q2. 어려운 문제에서 맞힌 답을 칭찬하지 않는 이유는 무엇인가요?
어려운 문제에서는 AI가 풀이 과정은 틀렸는데 답만 우연히 맞히는 경우가 있기 때문입니다. 이런 답을 칭찬하면 잘못된 풀이 습관이 굳을 수 있습니다. 대신 DRIFT는 어려운 문제에서 틀린 답을 과거에 맞힌 모범 풀이와 비교해 고치게 하는 방식으로 학습합니다.

Q3. 이 기술이 챗GPT 같은 AI 서비스에 바로 적용되나요?
아직은 연구 단계입니다. 실험은 80억 매개변수 이하의 공개 AI 모델과 과학 문제, 도구 호출 과제로만 진행됐습니다. 대형 상용 AI나 다른 분야에서도 같은 효과가 나는지는 추가 검증이 필요합니다.

기사에 인용된 리포트 원문은 아카이브(arXiv)에서 확인할 수 있다.
리포트명: DRIFT: Difficulty Routing Self-Distillation with Rhythm-Gated Exploration and Success Buffer Training (arXiv:2606.30345v1)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.