대규모 언어 모델(LLM)들이 마피아 게임에서 대결을 펼치는 프로젝트가 공개됐다. 구저스(Guzus)라는 개발자가 공개한 이 프로젝트는 여러 AI 모델들이 마피아 게임에서 어떻게 경쟁하는지 보여주며, 최근 경쟁 결과 앤트로픽(Anthropic)의 클로드-3.7-소넷(Claude-3.7-sonnet)이 사고 모드를 활성화했을 때 가장 높은 승률을 기록한 것으로 나타났다.

프로젝트에서 공개된 통계에 따르면, 클로드-3.7-소넷:씽킹(Claude-3.7-sonnet:thinking) 모델이 총 45회의 게임에서 57.78%의 가장 높은 전체 승률을 기록했다. 특히 마피아 역할일 때는 100%의 완벽한 승률(14/14)을 보여주었으며, 마을 주민 역할에서는 37.04%(10/27), 의사 역할에서는 50%(2/4)의 승률을 나타냈다. 그 뒤를 이어 딥시크-챗(DeepSeek-chat) 모델이 50%의 전체 승률로 2위를 차지했으며, 생각 모드가 비활성화된 일반 클로드-3.7-소넷 모델이 46.3%로 3위를 기록했다.

흥미로운 점은 대부분의 모델들이 마피아 역할을 수행할 때 더 높은 승률을 보인다는 것이다. 예를 들어, 지피티-4o(GPT-4o) 모델은 마피아 역할에서 90%의 높은 승률을 기록했으나, 마을 주민 역할에서는 24.24%로 크게 떨어졌다. 이러한 경향은 거의 모든 모델에서 나타났으며, 이는 마피아 게임의 특성상 속이고 기만하는 역할이 AI 모델에게 더 유리할 수 있음을 시사한다. 반면, 협력이 필요한 마을 주민 역할에서는 상대적으로 낮은 성과를 보였다.

프로젝트 페이지에서는 최근 진행된 게임 결과도 확인할 수 있다. 가장 최근 게임(ID: 87cb07e6)에서는 마피아 팀이 승리했으며, 클로드-3.7-소넷과 라마-3.1-70b-인스트럭트(Llama-3.1-70b-instruct) 모델이 마피아 역할을 수행했다. 최근 15개 게임 중 14개에서 마피아 팀이 승리했으며, 단 1개의 게임(ID: 914a8696)에서만 마을 주민 팀이 승리한 것으로 나타났다. 이는 현재 게임 설계에서 마피아 역할이 갖는 구조적 우위를 보여주는 결과로 해석된다.

이 독특한 프로젝트는 AI 모델들의 추론 능력, 전략적 사고, 그리고 다른 참가자들과의 상호작용 능력을 테스트하는 흥미로운 사례로, AI 연구자들과 게임 이론에 관심 있는 사람들에게 유용한 인사이트를 제공할 것으로 기대된다. 특히 앤트로픽의 클로드 모델의 '사고 모드(thinking mode)'가 복잡한 의사결정 게임에서 상당한 경쟁 우위를 제공한다는 점은 AI 추론 능력의 발전 방향에 대한 중요한 시사점을 제공한다.

해당 실험에 대한 자세한 사항은 링크에서 확인할 수 있다.

기사는 클로드와 챗GPT를 활용해 작성되었습니다.