Large Language Models Pass the Turing Test

GPT-4.5, 73% 성공률로 실제 인간 참가자보다 더 인간답게 평가받아

캘리포니아 샌디에이고 대학(UC San Diego)의 연구팀이 최신 대규모 언어 모델(Large Language Model, LLM)인 GPT-4.5와 LLaMa-3.1-405B를 대상으로 튜링 테스트를 실시한 결과, 이들 모델이 인간과 구별되지 않을 정도로 인간답게 대화할 수 있음을 입증했다. 특히 GPT-4.5는 인간 참가자보다 더 인간적으로 보이는 놀라운 결과를 보였다.

튜링 테스트는 영국의 수학자 앨런 튜링(Alan Turing)이 1950년에 제안한 것으로, 기계가 인간과 구별할 수 없을 정도로 지능적인지 평가하는 방법이다. 이 테스트에서는 질문자가 두 명의 대화 상대(한 명은 인간, 한 명은 AI)와 텍스트로만 대화를 나누고, 누가 인간인지 판단해야 한다. 질문자가 일관되게 인간과 기계를 구별하지 못한다면, 그 기계는 테스트를 통과한 것으로 간주된다.

연구팀은 대학생 126명과 온라인 플랫폼 Prolific에서 모집한 158명의 참가자를 대상으로 실험을 진행했다. GPT-4.5, LLaMa-3.1-405B, GPT-4o, ELIZA 등 4개의 AI 시스템을 평가했으며, 특정 페르소나(persona)를 부여한 경우와 그렇지 않은 경우로 나누어 테스트했다.

특정 성격 부여받은 AI, 성공률 73% 달성... 페르소나 없는 AI는 36~38%에 그쳐

가장 주목할 만한 결과는 특정 페르소나를 부여받은 GPT-4.5(GPT-4.5-PERSONA)가 테스트에서 73%의 성공률을 보였다는 점이다. 이는 질문자들이 실제 인간 참가자보다 GPT-4.5를 더 자주 인간으로 판단했음을 의미한다. LLaMa-3.1 역시 동일한 페르소나 설정으로 56%의 성공률을 달성했다.

반면, 페르소나가 부여되지 않은 GPT-4.5-NO-PERSONA와 LLaMa-NO-PERSONA는 각각 36%와 38%의 성공률을, 기준 모델인 GPT-4o-NO-PERSONA와 ELIZA는 21%와 23%의 낮은 성공률을 보였다. 이는 AI 모델이 특정 성격과 스타일을 가진 인간을 모방하도록 지시받았을 때 훨씬 인간답게 행동할 수 있음을 시사한다.

연구에 사용된 페르소나는 인터넷 문화와 비디오 게임을 좋아하는 10대 후반의 내향적인 젊은이였다. 이 페르소나는 슬랭을 사용하고, 문장 끝에 마침표를 사용하지 않으며, 약어를 사용하는 등 특정 언어 스타일을 가지도록 설계되었다.

일상 대화 61%, 감정 탐색 50%... 인간 구별에 사용된 전략과 성공률

참가자들이 인간과 AI를 구별하기 위해 사용한 전략과 이유를 분석한 결과, 61%의 게임에서 질문자들은 일상적인 대화를 통해 상대방을 평가했다. 예를 들어 직업이나 개인적인 세부 사항에 대해 물어보는 방식이었다. 50%의 경우에는 감정, 유머, 경험 등 사회적·감정적 특성을 탐색했다.

가장 효과적인 전략은 이상한 말을 해서 반응을 살피거나 전형적인 AI 제약을 우회하려는 시도(jailbreak)였다. 반면, 날씨나 인간 경험에 대해 물어보는 것은 가장 효과가 낮은 전략으로 나타났다.

참가자들이 판단 이유로 가장 자주 언급한 것은 언어 스타일(27%)과 상호작용 역학(23%)이었다. 많은 참가자들이 "직감"으로 판단했다고 응답해, 구체적인 판단 이유를 항상 명확히 설명할 수 없었음을 보여주었다.

위조된 사람들'의 등장: 구별 불가능한 AI가 가져올 사회적 파장

이번 연구는 현대 AI 시스템이 처음으로 원래 형태의 튜링 테스트를 통과했음을 보여준다는 중요한 의미를 갖는다. 특히 GPT-4.5는 질문자들이 무작위로 추측하는 것보다 더 자주 인간으로 판단되었을 뿐만 아니라, 실제 인간 참가자보다 더 인간적으로 인식되었다.

연구자들은 이러한 결과가 단순히 AI의 지능을 입증하는 것을 넘어, 현대 사회에 중요한 실질적 함의를 갖는다고 지적한다. 인간과 구별할 수 없을 정도로 인간을 모방할 수 있는 시스템들은 직업을 자동화하고, 온라인 상호작용을 대체하며, 소셜 엔지니어링이나 허위정보 확산에 활용될 수 있다.

다른 한편으로, 이러한 "위조된 사람들(counterfeit people)"의 출현은 진정한 인간 상호작용의 가치를 약화시키고, 사회적 교류의 본질을 변화시킬 수 있다. 연구자들은 "기계가 튜링 테스트를 처음 통과한 지금, 이는 이야기의 끝이 아니라 새로운 시작"이라며, 인간들이 더 나은 친구, 예술가, 교사, 부모, 연인이 되기 위해 노력하게 될 것이라고 전망했다.

FAQ

Q: 튜링 테스트란 정확히 무엇이며 왜 중요한가요?

A: 튜링 테스트는 기계가 인간과 구별할 수 없을 정도로 지능적인지 평가하는 방법입니다. 질문자가 텍스트 대화만으로 인간과 AI를 구별하지 못한다면 AI가 테스트를 통과한 것으로 간주됩니다. 이 테스트는 AI가 단순한 계산이나 패턴 인식을 넘어 인간과 유사한 소통 능력을 갖추었는지 판단하는 중요한 지표입니다.

Q: AI가 튜링 테스트를 통과했다는 것이 일상생활에 어떤 영향을 미칠까요?

A: AI가 인간과 구별되지 않게 대화할 수 있다는 것은 고객 서비스, 온라인 상담, 교육 등 다양한 영역에서 인간-AI 상호작용이 더욱 자연스러워질 수 있음을 의미합니다. 동시에 온라인에서 만나는 상대방이 실제 인간인지 AI인지 구별하기 어려워져 디지털 신뢰 문제가 더욱 복잡해질 수 있습니다.

Q: 페르소나 설정이 왜 AI의 인간성 인식에 큰 차이를 만들었나요?

A: 페르소나 설정은 AI에게 특정 성격, 언어 스타일, 관심사를 가진 인간을 모방하도록 구체적인 지침을 제공합니다. 이러한 구체성이 AI가 일관되고 자연스러운 대화 스타일을 유지하도록 도와주며, 일반적인 AI 응답에서 나타날 수 있는 형식적이거나 지나치게 완벽한 표현을 줄여줍니다. 실제 인간들도 각자 고유한 성격과 대화 스타일을 가지고 있으므로, 이를 모방하는 AI가 더 인간적으로 느껴지는 것입니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.