컴퓨터가 사람과 함께 일하고 배우려면, 그 사람만의 독특한 방식을 이해해야 한다. 체스는 실력을 정확히 측정할 수 있고 오랫동안 AI 연구에 활용되어 온 분야로, 사람과 AI가 어떻게 잘 맞춰 나갈지 연구하기에 완벽한 게임이다. 체스는 AI가 인간을 뛰어넘은 지 20년이 지났지만 여전히 전 세계 수억 명이 즐기는 게임으로, 사람과 AI의 협력 방식을 연구하기에 이상적인 환경을 제공한다.

하지만 지금까지는 AI가 개인의 체스 스타일을 배우려면 엄청나게 많은 게임 데이터가 필요했다. 토론토 대학교를 비롯한 여러 대학과 마이크로소프트 연구팀이 만든 'Maia4All'은 이런 문제를 해결했다. 기존에는 한 사람의 체스 스타일을 배우려면 최소 5,000게임의 기록이 필요했다. 이는 일반인이 거의 25주 동안 풀타임으로 체스만 둬야 하는 양이다.

실제로 전 세계 1,100만 명이 사용하는 인기 체스 사이트인 리치스(Lichess)에서 5,000게임 이상을 둔 사람은 전체 사용자의 1%도 안 된다. 하지만 Maia4All은 단 20게임만 보고도 그 사람만의 체스 스타일을 정확히 배울 수 있다. 이는 기존보다 250배나 효율적인 방법이다.

두 단계로 나눠서 똑똑하게 배우는 새로운 방법

Maia4All이 이렇게 적은 게임으로도 개인 스타일을 배울 수 있는 비결은 두 단계로 나눠서 학습하는 방법에 있다.

첫 번째 단계에서는 체스를 많이 둔 대표적인 플레이어들의 게임을 먼저 학습한다. 연구팀은 2023년 리치스 블리츠 게임 데이터를 분석해 11개 실력 등급(1100 미만, 2000 초과, 1100-2000 사이 9개 구간)별로 가장 많은 게임을 둔 100명씩, 총 1,100명의 게임 기록을 활용했다. 블리츠 게임을 선택한 이유는 게임 유형별로 레이팅이 다르기 때문에 비교 가능한 데이터를 확보하기 위해서였다.

이들을 '원형 플레이어'라고 부르는데, 마치 각 실력대의 대표선수 같은 개념이다. 이 원형 플레이어들은 고르게 분포되어 있어야 하는데, 연구팀의 실험 결과 편향된 분포(예: 고수만 선택)보다 균등한 분포가 훨씬 좋은 성능을 보였다.

두 번째 단계에서는 새로운 플레이어가 나타나면, 그 사람과 가장 비슷한 원형 플레이어를 찾아낸다. 이때 '프로토타입 매칭 네트워크'라는 특별한 AI가 활용된다. 이 네트워크는 단 20게임의 기록만 보고도 1,100명의 원형 플레이어 중에서 가장 비슷한 스타일의 플레이어를 89% 정확도로 찾아낸다. 그리고 그 원형 플레이어의 스타일을 기본으로 해서 새로운 플레이어만의 특징을 빠르게 학습한다.

정확도 51.4%→53.2% 향상, 마스터급은 55.5% 달성

연구팀의 실험 결과는 정말 놀라웠다. 기존 방법으로는 20게임으로는 거의 아무것도 배우지 못했고, 1,000게임을 써도 오히려 성능이 떨어지는 경우가 많았다. 하지만 Maia4All은 20게임만으로도 정확도가 51.4%에서 53.2%로 크게 향상됐다.

실력별로 보면 더욱 흥미로운 결과가 나타났다. 숙련자(레이팅 1600 이하)는 52.6%, 고급자(1600-2000)는 54.1%, 마스터급(2000 이상)은 55.5%의 정확도를 보였다. 모든 실력 수준에서 기존 방법보다 현저히 뛰어난 성과를 거뒀다.

체스에서 사람의 행동을 예측하는 것은 매우 어려운 일이다. 같은 사람도 같은 상황에서 항상 똑같은 수를 두지 않기 때문이다. 그래서 1.8%포인트 향상도 큰 성과로 평가된다. 이는 체스 최강 프로그램인 스톡피쉬(Stockfish)와 사람처럼 두도록 만든 기본 마이아(Maia) 사이의 차이 절반에 해당하는 수준이다.

연구팀은 정확도뿐만 아니라 '퍼플렉시티'라는 지표도 측정했다. 이는 AI가 얼마나 확신을 가지고 예측하는지를 보여주는 수치로, 낮을수록 좋다. Maia4All은 이 부분에서도 크게 개선된 결과를 보였다. 더 많은 게임 기록(약 2,500게임)이 있을 때는 성능이 더욱 뛰어났다. Maia4All은 기존 방법보다 정확도에서 2.5%포인트나 높은 성과를 보였고, 퍼플렉시티도 현저히 낮아졌다.

체스를 넘어 글쓰기 스타일까지, 무한한 확장 가능성

연구팀은 이 방법이 체스에서만 작동하는 것이 아니라는 점을 보여주기 위해 추가 실험을 했다. 유명한 작가들의 글쓰기 스타일을 AI가 배우도록 하는 실험이었다. 프로젝트 구텐베르크에서 가장 많은 작품을 남긴 100명의 작가를 선정해서 원형으로 삼고, LLaMA-3.1-8B라는 대형 언어 모델을 활용해 새로운 작가의 글쓰기 스타일을 학습하도록 했다. 이때도 ModernBERT 기반의 프로토타입 매칭 시스템을 사용했는데, 94.7%의 높은 정확도로 작가들의 스타일을 구분해냈다.

결과는 매우 긍정적이었다. 예를 들어 모험소설을 쓴 허버트 스트랭(Herbert Strang)과 리처드 스테드(Richard Stead)는 비슷한 스타일의 유명 작가들인 로버트 루이스 스티븐슨(57.2%)과 앤서니 호프(42.8%)와 자동으로 연결되어 그들의 스타일을 바탕으로 학습했다. 이는 문학적 맥락에서도 매우 합리적인 매칭이었다. 1,000-3,000 토큰의 제한된 데이터에서도 2단계 방식이 직접 학습 방식보다 일관되게 우수한 성능을 보였다. 이는 개인 맞춤형 AI가 다양한 분야에서 활용될 수 있음을 보여주는 중요한 결과다.

FAQ

Q: 20게임으로 어떻게 개인의 체스 스타일을 알 수 있나요?

A: 미리 많은 게임을 둔 대표 플레이어들의 스타일을 학습해둔 후, 새로운 사람과 가장 비슷한 대표 플레이어를 찾아서 그 스타일을 기본으로 삼습니다. 처음부터 배우는 것이 아니라 비슷한 사람의 스타일에서 시작하기 때문에 훨씬 빠르게 개인 특성을 파악할 수 있습니다.

Q: 이 기술을 실제로 어디에 쓸 수 있나요?

A: 체스 교육 프로그램에서 개인 맞춤 지도가 가능하고, 체스 외에도 개인의 글쓰기 스타일이나 다른 행동 패턴을 학습하는 AI 시스템에 활용할 수 있습니다. 개인 맞춤형 AI 서비스를 만드는 데 매우 유용한 기술입니다.

Q: 일반 체스 플레이어도 이런 AI의 도움을 받을 수 있나요?

A: 네, 기존에는 수천 게임을 둬야 개인 맞춤 AI를 만들 수 있어서 극소수만 혜택을 받았지만, 이제는 20게임만 둬도 자신만의 스타일을 학습한 AI 파트너를 가질 수 있습니다. 이는 대부분의 일반 체스 플레이어들이 활용할 수 있는 수준입니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Learning to Imitate with Less: Efficient Individual Behavior Modeling in Chess

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.