수학을 잘하는 인공지능(AI)을 만들려고 훈련하면 코딩 실력이 떨어지고, 코딩을 끌어올리면 이번에는 글쓰기가 무너진다. 하나를 얻으면 하나를 잃는 이 현상을 연구자들은 시소 효과(see-saw effect)라고 부른다. 샤오미(Xiaomi)와 베이징대(Peking University) 연구진이 2026년 6월 공개한 논문은 이 오래된 난제를 정면으로 다룬다. 연구진이 제안한 방법의 이름은 모프디(MOPD), 우리말로 옮기면 다중 교사 온폴리시 증류다. 여러 과목을 각각 잘 가르치는 전문 과외 선생님을 따로 키운 뒤, 그 실력을 학생 한 명에게 몰아주는 방식이다. 이 방법은 실험용 모델을 넘어 3090억 개 파라미터 규모의 상용 대형 모델에까지 적용됐다.

여러 능력을 한 모델에 담을 때 생기는 시소 효과

한 AI에 여러 능력을 동시에 학습시키면 능력끼리 서로 방해해 전체 성능이 떨어지는 현상이 시소 효과다. 샤오미와 베이징대 연구진은 수학, 지시 따르기, 소프트웨어 개발이라는 세 가지 능력을 하나의 모델에 담는 실험에서 이 문제를 확인했다. 여러 과목의 문제를 한 바구니에 섞어 한꺼번에 훈련하는 기존 방식(Mix-RL)에서는 수학을 밀어붙이는 신호와 코딩을 밀어붙이는 신호가 충돌해, 어느 하나도 전문가 수준에 도달하지 못했다.

이 장면은 학생 한 명이 국어, 수학, 영어를 같은 시간에 몰아서 공부하는 상황과 닮았다. 수학 문제집을 붙잡으면 영어 단어를 잊고, 영어에 매달리면 수학 감각이 무뎌진다. AI 모델도 마찬가지다. 능력을 담는 그릇은 하나인데 요구하는 방향이 제각각이면, 모델은 어느 쪽에도 온전히 집중하지 못한다. 연구진은 이 문제를 해결하려는 기존 시도를 네 갈래로 정리했는데, 섞어서 훈련하기, 순서대로 훈련하기, 전문가의 답안을 베끼게 하기, 여러 모델의 가중치를 산술적으로 평균 내기가 그것이다. 이들은 모두 학습 효율, 도달 가능한 최고 성능, 훈련 안정성 가운데 무언가를 희생해야 했다.

전문 선생님을 따로 키운 뒤 학생에게 합치는 방식

모프디(MOPD)는 도메인별 전문가 모델을 각각 따로 훈련한 뒤, 이들을 교사로 삼아 학생 모델 한 명에게 실력을 옮기는 3단계 사후학습 방법이다. 핵심은 학생이 직접 푼 답안 위에서 교사가 첨삭한다는 점에 있다. 먼저 수학 전문 모델, 코딩 전문 모델, 지시 따르기 전문 모델을 서로 간섭 없이 병렬로 키운다. 그다음 학생 모델이 문제를 스스로 풀게 하고, 그 문제에 맞는 전문 교사가 학생의 풀이 과정을 한 글자 단위로 살피며 방향을 잡아 준다.

그림1. MOPD의 3단계 구조. 과목별 전문 교사를 병렬로 키운 뒤, 학생 모델이 스스로 푼 답안을 각 교사가 채점해 실력을 합친다. 출처: 논문 Figure 1(arXiv:2606.30406)

이 방식이 중요한 이유는 학생이 남의 모범답안을 그대로 외우지 않기 때문이다. 기존의 베끼기 방식(Off-Policy Finetune)은 교사가 만든 완성된 답안을 학생에게 그대로 따라 쓰게 한다. 문제는 시험장에서 학생이 스스로 답을 써 내려갈 때, 훈련 때 본 모범답안과 실제 자기 문장이 어긋나면서 실수가 쌓인다는 데 있다. 연구자들은 이를 노출 편향(exposure bias)이라 부른다. 반면 모프디는 학생이 스스로 만든 문장 위에서 교사가 지도하기 때문에, 훈련 때 보던 상황과 실전이 처음부터 일치한다. 게다가 교사는 답이 맞았는지 틀렸는지만 알려 주는 것이 아니라, 문장의 매 순간 어떤 단어가 더 나았을지를 촘촘하게 알려 준다. 정답 여부만 채점하는 방식보다 훨씬 밀도 높은 지도가 이뤄지는 셈이다.

91%에서 95%까지, 균일하게 따라잡은 실력

모프디는 실험용 모델 큐원3(Qwen3-30B-A3B)에서 정규화 점수 0.937을 기록해, 차선책인 섞어서 훈련하기(0.882)를 5.5점 앞섰다. 정규화 점수란 학습 전 학생의 실력을 0점, 각 과목 전문 교사의 실력을 1점으로 놓고, 학생이 그 사이 어디까지 올라왔는지를 나타낸 지표다. 1에 가까울수록 전문가 실력에 근접했다는 뜻이다. 모프디 학생은 수학, 지시 따르기, 소프트웨어 개발 세 과목 모두에서 교사와의 실력 격차를 91%에서 95%까지 메웠다. 세 과목의 성적 편차가 0.044로 가장 작았다는 점도 눈여겨볼 만하다. 어느 한 과목만 튀지 않고 고르게 잘했다는 의미다.

균일함은 실전에서 중요한 미덕이다. 순서대로 훈련하는 방식(Cascade RL)은 먼저 배운 지시 따르기에서는 격차의 98%를 메웠지만, 두 번째로 배운 수학에서는 57%에 그쳤다. 앞서 익힌 과목이 뒤 과목을 배우는 동안 잊히는 전형적인 시소 효과다. 속도 면에서도 차이가 컸다. 모프디는 지시 따르기 과목에서 약 2만 5000개, 소프트웨어 개발 과목에서 약 3만 개의 문제만으로 교사 수준에 도달했다. 같은 수준에 이르려고 섞어서 훈련하기가 과목마다 15만에서 18만 개의 문제를 소모한 것과 비교하면, 다섯 배 이상 적은 데이터로 같은 목표에 닿은 것이다. 교사가 매 단어마다 건네는 촘촘한 신호가 문제 하나당 더 풍부한 학습을 만들어 낸 결과다.

그림2. MOPD(빨간 선)는 세 능력 모두에서 적은 데이터로 가장 빠르게 교사 수준에 도달한다. 자료 출처: 논문 Figure 2(arXiv:2606.30406)

더 똑똑한 선생님을 붙였더니 오히려 무너진 성적

모프디에서 가장 뜻밖의 결과는 더 크고 강한 외부 교사를 붙였을 때 학생의 성적이 오히려 떨어졌다는 점이다. 연구진은 수학 과목의 교사를, 학생과 같은 뿌리에서 나온 모델 대신 훨씬 크고 수학을 잘하는 외부 모델(Qwen3-235B-A22B)로 바꿔 보았다. 상식적으로는 더 뛰어난 선생님에게 배우면 학생도 더 잘해야 한다. 그러나 결과는 정반대였다. 전체 정규화 점수는 0.937에서 0.600으로 떨어졌고, 학습 방식에 따라서는 점수가 음수(-1.19)까지 곤두박질치며 아예 붕괴하기도 했다.

원인은 실력이 아니라 눈높이의 차이에 있었다. 학생과 외부 교사의 사고방식 차이를 나타내는 초기 지표가 같은 뿌리 교사일 때보다 약 다섯 배 컸다. 학생이 스스로 풀어낸 문장이 외부 교사가 익숙한 방식과 너무 달라, 교사가 건네는 지도 대부분이 벌점 신호로 작동한 것이다. 학생은 방향을 잡지 못하고 점점 한쪽으로만 답을 몰아가다 무너졌다. 이는 명문대 출신 과외 선생님이라도 학생의 눈높이와 풀이 습관을 모른 채 자기 방식만 강요하면 오히려 학생을 망칠 수 있다는 이야기와 통한다. 연구진이 학생과 같은 출발점에서 키운 같은 뿌리 교사를 고집한 이유가 여기에 있다. 실력의 높이보다 학생과의 궁합이 안정적인 학습을 좌우한 것이다.

병렬 개발과 반복 성장이라는 실무적 함의

모프디의 진짜 가치는 점수를 넘어 개발 방식 자체를 바꾼다는 데 있을 가능성이 있다. 기존의 여러 능력 통합은 과목들이 서로 얽혀 있어, 한 과목의 훈련이 삐끗하면 전체를 처음부터 다시 돌려야 했다. 모프디는 전문 교사를 과목별로 따로 키우기 때문에, 각 팀이 독립적으로 자기 과목만 개발하고 한 팀의 실패가 다른 팀에 번지지 않는다. 이런 구조적 분리는 대형 모델을 만드는 조직의 개발 속도를 끌어올릴 수 있다. 실제로 연구진은 이 방법을 3090억 파라미터 규모의 상용 대형 모델 미모-V2-플래시(MiMo-V2-Flash)에 적용해, 대부분의 시험에서 전문 교사와 같거나 더 나은 성적을 얻었다.

다만 이 방법이 모든 상황에서 통하는지는 두고 볼 필요가 있다. 논문은 같은 뿌리 교사가 있어야 안정적으로 작동한다고 밝혔는데, 이는 곧 전혀 다른 계열의 강력한 모델을 손쉽게 흡수하기는 어렵다는 뜻이기도 하다. 흥미로운 대목은 한 번의 통합으로 끝나지 않는다는 점이다. 연구진이 1회차 학생을 다시 새 학생으로 삼아 같은 과정을 반복하자, 정규화 점수가 0.937에서 0.986으로 한 단계 더 올라갔다. 스스로 성장한 모델이 다음 세대 교사가 되고, 그 교사가 다시 더 나은 학생을 길러 내는 순환이 가능하다는 신호다. 여러 능력을 갖춘 AI를 어떻게 효율적으로 길러 낼 것인가라는 질문에, 이 논문은 한 가지 실용적인 답을 내놓은 셈이다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 시소 효과가 정확히 무엇인가요?
하나의 AI 모델에 여러 능력을 동시에 가르칠 때, 한 능력을 끌어올리면 다른 능력이 떨어지는 현상을 말합니다. 시소의 한쪽이 올라가면 반대쪽이 내려가는 모습에 빗댄 표현입니다. 수학 성능을 높이려다 코딩 성능이 나빠지는 식으로 나타납니다.

Q. 모프디(MOPD)가 기존 방법보다 나은 점은 무엇인가요?
과목별 전문 교사를 따로 키운 뒤 학생 한 명에게 합치되, 학생이 스스로 푼 답안 위에서 교사가 첨삭하는 방식입니다. 그 덕분에 세 과목 모두에서 전문가 실력의 91%에서 95%까지 고르게 따라잡았고, 기존 방법보다 다섯 배 이상 적은 데이터로 같은 수준에 도달했습니다.

Q. 더 뛰어난 선생님 모델을 쓰면 무조건 좋은 것 아닌가요?
그렇지 않았습니다. 연구진이 훨씬 크고 수학을 잘하는 외부 모델을 교사로 붙이자 오히려 학생의 성적이 떨어졌습니다. 교사와 학생의 사고방식 차이가 너무 크면 지도가 벌점처럼 작동해 학습이 무너졌기 때문입니다. 실력의 높이보다 학생과의 궁합이 더 중요했습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.