The Impostor is Among Us: Can Large Language Models Capture the Complexity of Human Personas?

AI와 인간의 페르소나 구분 가능성 연구, 54명 대상 실험 진행

독일 베를린 훔볼트 대학교(HU Berlin) 연구진이 발표한 논문에 따르면, 대규모 언어 모델(LLM)이 생성한 페르소나와 인간이 직접 제작한 페르소나 사이에는 뚜렷한 차이가 있는 것으로 나타났다. 연구진은 54명의 참가자들(여성 25명, 남성 27명, 논바이너리 2명, 연령 18-73세, 평균 32.04세)을 대상으로 한 실험을 통해 AI 생성 페르소나의 특징과 한계를 분석했다.

AI 리터러시 높은 참가자들, LLM 활용 경험도 다양

연구 참여자들의 AI 리터러시를 평가한 결과, 실용적 응용 부문에서 평균 4.65점, 기술적 이해도에서 3.71점, 비판적 평가 능력에서 5.03점을 기록했다. 페르소나 개념에 대한 친숙도는 7점 리커트 척도에서 평균 5.5점을 기록했으며, 페르소나 제작 경험은 평균 4.39점으로 나타났다. 참가자들의 LLM 사용 빈도는 '전혀 사용하지 않음'(11명)부터 '매일 사용'(7명)까지 다양했다.

AI는 좁은 연령대 선호, 인간은 다양한 페르소나 제작

연구를 위해 HCI 전문가 10명이 인간 제작 페르소나를 만들었고, GPT-4를 활용하여 10개의 AI 페르소나를 생성했다. 인간이 만든 페르소나의 연령대는 10세부터 72세까지(평균 51.4세) 다양했던 반면, AI 페르소나는 27세에서 50세 사이(평균 35.9세)로 상대적으로 좁은 범위에 집중되었다. 성별 구성에서도 차이를 보였는데, 인간 제작 페르소나는 남성 7명, 여성 2명, 논바이너리 1명이었고, AI는 남성과 여성을 각각 5명씩 동일하게 생성했다. 연구진은 윌콕슨 부호 순위 검정을 통해 데이터를 분석했으며, 유의수준은 α = .05로 설정했다.

AI 페르소나, 일관성과 명확성은 높지만 정형화된 한계 보여

연구 결과에 따르면 AI가 생성한 페르소나는 인간이 만든 것보다 더 높은 일관성(V = 155.5, Z = -4.40, p < .001, r = -0.599)과 명확성(V = 223.5, Z = -4.08, p < .001, r = -0.556)을 보여주었다. 정보 전달력 측면에서도 AI 페르소나가 더 우수했다(V = 192, Z = -4.34, p < .001, r = -0.597). 텍스트 길이 면에서 AI 페르소나는 145-254단어(평균 191.1단어)로 일관된 반면, 인간 제작 페르소나는 71-433단어(평균 260.7단어)로 더 넓은 범위를 보였다.

고정관념에 갇힌 AI, 지나치게 완벽한 페르소나만 생성

AI 페르소나들은 더 정형화되고 고정관념에 치우치는 경향을 보였다(V = 356.5, Z = -2.24, p = .03, r = -0.305). 참가자들은 AI 페르소나의 특징적인 표현들을 지적했는데, 예를 들어 "His hobby is reading biographies of successful business leaders"와 같은 직업 연관성이 지나치게 높은 취미 활동이나, "deep-seated", "Outside of her professional life"와 같은 반복적인 문구 사용이 대표적이었다. 또한 AI 페르소나는 부정적 특성이나 약점을 거의 포함하지 않았으며, 지나치게 긍정적인 묘사에 치중하는 것으로 나타났다(V = 203.5, Z = -4.31, p < .001, r = -0.586).

현실성과 호감도에서는 인간-AI 페르소나 차이 없어

연구에서 특히 주목할 만한 점은 AI 페르소나와 인간 제작 페르소나 간의 현실성(believability)과 호감도(likability) 평가에서 유의미한 차이가 나타나지 않았다는 점이다. 윌콕슨 부호 순위 검정 결과, 현실성(V = 667, Z = 0.05, p = .96, r = 0.006)과 호감도(V = 672, Z = -0.38, p = .71, r = -0.052) 모두에서 통계적으로 유의미한 차이가 발견되지 않았다. 이는 AI가 기본적인 페르소나의 신뢰성 측면에서는 인간이 만든 것과 비슷한 수준에 도달했음을 시사한다.

너무 완벽하면 AI, 불완전하면 인간의 것으로 판단

참가자들의 페르소나 평가 과정에서 흥미로운 패턴이 발견되었다. 많은 참가자들이 "이 페르소나가 너무 완벽해 보인다"거나 "불필요한 세부사항이 많다"는 점을 AI 생성의 지표로 인식했다. 반면 문법적 오류나 일상적인 약점을 포함한 페르소나는 인간이 만든 것으로 판단하는 경향을 보였다. 예를 들어, 한 참가자는 "I know he's not a real person but wow do I feel sorry for Peter"라고 언급하며, 감정적 반응을 일으키는 페르소나를 인간이 만든 것으로 평가했다.

AI는 기술에 긍정적, 인간은 비판적 시각 보여

연구에서 특별히 주목할 만한 발견은 기술에 대한 태도를 묘사하는 방식의 차이였다. AI가 생성한 페르소나들은 대체로 기술에 대해 긍정적이고 수용적인 태도를 보인 반면, 인간이 만든 페르소나들은 기술에 대해 더 비판적이거나 조심스러운 태도를 보이는 경향이 있었다. 한 참가자는 "AI가 기술에 대한 우려를 표현한 것을 보고 인간이 만든 페르소나라고 확신했다"고 언급했다. 이는 AI가 자신의 존재 기반이 되는 기술에 대해 비판적 시각을 표현하기 어려울 것이라는 참가자들의 선입견을 보여준다.

AI 페르소나 활용 위한 세 가지 핵심 가이드라인 제시

연구진은 AI 페르소나의 한계를 인정하면서도, 실제 활용을 위한 구체적인 방안을 제시했다. 특히 페르소나 생성 시 명확한 속성 정의, 반복적인 프롬프트 최적화, 전문가 검증 등 세 가지 가이드라인을 제안했다. 또한 AI의 높은 일관성과 명확성은 실제 디자인 프로세스에서 장점으로 활용될 수 있으며, 특히 시간이 제한된 프로젝트에서 유용할 것으로 평가됐다. 다만 연구진은 AI 페르소나가 실제 사용자의 깊이 있는 경험과 관점을 완벽히 포착하기는 어렵다는 점을 강조했다.

해당 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.