Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs

중국의 기술 기업 텐센트가 설립한 AI랩과 상하이자오통대학교 연구진이 발표한 최신 논문에 따르면, 최근 주목받고 있는 오픈AI(OpenAI)의 o1 모델과 유사한 AI 모델들이 단순한 문제 해결에도 과도한 연산 자원을 사용하는 '오버씽킹(overthinking)' 현상을 보이는 것으로 나타났다. 이들 o1류 모델들은 인간과 같이 장시간 생각하는 방식을 모방해 문제 해결 능력을 향상시키고 있지만, 이 과정에서 불필요한 자원 낭비가 발생하고 있다는 것이 연구진의 분석이다.

AI 모델의 비효율적 사고방식 발견

연구진은 '2 더하기 3은 얼마인가?'라는 간단한 질문을 던졌을 때, 기존 AI 모델들은 평균 7개의 토큰만을 사용해 답을 도출한 반면, o1류 모델들은 최대 936개의 토큰을 사용하며 같은 답에 도달하는 것을 확인했다. 이는 기존 모델 대비 1,953% 많은 연산 자원을 소비하는 것이다. 특히 QwQ-32B-Preview 모델의 경우 하나의 문제에 대해 13가지의 서로 다른 해결 방식을 제시했는데, 기본적인 산술 계산부터 시작해 작은 단계로 나누기, 사과 개수 세기 등의 실제 물체 비유, 이진법과 로마 숫자 변환을 통한 검증, 심지어 대수적 방정식 활용까지 다양한 접근법을 시도했다. 연구진은 이러한 현상이 모델의 추론 및 의사결정 과정에서의 근본적인 한계를 보여준다고 지적했다.

효율성 평가를 위한 새로운 지표 도입

연구진은 AI 모델의 효율성을 평가하기 위해 결과(outcome) 관점과 과정(process) 관점의 두 가지 새로운 평가 지표를 제시했다. 결과 효율성 지표(ξO)는 정답을 찾는 데 필요한 최소 토큰 수와 실제 사용된 토큰 수의 비율을 측정하며, 과정 효율성 지표(ξP)는 해결 과정의 다양성과 중복성을 평가한다. 연구 결과 92% 이상의 경우에서 첫 번째 해결 시도에서 이미 정답을 찾았음에도 불구하고, 모델은 계속해서 새로운 해결 방식을 시도하며 불필요한 연산을 수행했다.

난이도별 모델 성능과 오버씽킹 패턴

연구진은 다양한 난이도의 수학 문제 데이터셋을 활용해 실험을 진행했다. 초등학교 수준의 ASDIV(2,305개 문제), 중학교 수준의 GSM8K(1,319개 문제), 고등학교 수학 경시대회 수준의 MATH500 등이 활용됐다. 흥미롭게도 o1류 모델들은 쉬운 문제일수록 더 많은 해결 방식을 시도하는 경향을 보였다. QwQ-32B-Preview 모델은 ASDIV 테스트에서 평균 3.6개의 해결책을 제시한 반면, MATH500에서는 2.8개를 제시했다. 특히 MATH500의 난이도 1-2 단계에서는 평균 3.75회의 해결 시도를, 4-5 단계에서는 3.0회의 시도를 보여 난이도가 낮을수록 오버씽킹이 심해지는 것으로 나타났다.

효율성 향상을 위한 해결책 제시

연구진은 이러한 비효율성을 개선하기 위해 여러 최적화 방법을 제안했다. 감독형 미세조정(SFT), 직접 선호도 최적화(DPO), 추론 선호도 최적화(RPO), 단순 선호도 최적화(SimPO) 등의 방법을 시도했으며, 특히 First-Correct Solutions(FCS), FCS+Reflection, Greedily Diverse Solutions(GDS) 등의 전략을 통해 효율성 개선을 도모했다. 이를 통해 QwQ-32B-Preview 모델은 MATH500 테스트셋에서 토큰 생성량을 48.6% 줄이면서도 정확도를 유지했다. 더 어려운 문제를 다루는 GPQA에서는 토큰 사용량을 32.7% 줄이면서 정확도를 58.6%에서 59.1%로 향상시켰다.

연구의 한계와 향후 과제

현재 이 연구는 QwQ-32B-Preview와 DeepSeek-R1-Preview 두 모델만을 분석했다는 한계가 있다. 또한 솔루션 다양성 측정을 위해 GPT-4o를 사용한 점도 비용과 재현성 측면에서 한계로 지적됐다. 연구진은 향후 문제 복잡도에 따라 동적으로 조정되는 연산 전략 개발, 더 넓은 모델 일반화를 위한 효율성 지표 개선, 100만 개 이상의 인스턴스를 포함하는 대규모 데이터셋을 활용한 검증 등을 추진할 계획이라고 밝혔다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.