챗GPT가 쓴 데이팅 프로필을 보고 사람들은 어떤 반응을 보일까? 독일 뒤스부르크-에센대학교 연구팀이 307명을 대상으로 진행한 실험에서 놀라운 결과가 나왔다. 사람들은 AI가 쓴 글인지 사람이 쓴 글인지 알고 있었지만, 그것이 상대방에 대한 호감도에는 영향을 주지 않았다.

사람이 쓴 줄 알았는데 실은 AI가 작성... 307명 참여한 데이팅 실험

연구팀은 참가자들에게 특별한 매칭 프로그램을 테스트한다고 설명했다. 참가자들은 먼저 자기소개 질문 10개에 답을 작성했다. 이 질문들은 '사랑에 빠지게 하는 36가지 질문'으로 유명한 대인 친밀감 생성 과제를 응용한 것이었다. 그다음 참가자들을 무작위로 두 그룹으로 나눴다. 한 그룹에는 "당신과 딱 맞는 사람과 매칭됐습니다"라고 말했고, 다른 그룹에는 "당신과 맞는 AI 파트너와 매칭됐습니다"라고 알려줬다. 그리고 각 그룹에 상대방(또는 AI)이 같은 질문에 답한 내용을 보여줬다.

중요한 점은 조건에 상관없이 두 그룹 모두에게 보여준 답변이 챗GPT 3.5가 만든 똑같은 글이었다는 것이다. 참가자들은 실제로 다른 사람과 실시간으로 대화하는 것이 아니라, 미리 작성된 프로필을 보는 형식이었다. 마치 일반 데이팅 앱에서 상대방의 프로필을 보는 것과 비슷했다.

"사람이든 AI든 별 차이 없네"... 친밀감과 호감도 거의 동일

가장 놀라운 발견은 상대가 사람인지 AI인지가 호감도에 거의 영향을 주지 않았다는 점이다. 연구팀이 통계 분석을 해본 결과, 두 그룹 사이에 의미 있는 차이가 없었다. 숫자로 보면 이렇다. '상대방과 얼마나 가까움을 느끼는가'를 측정하는 점수에서 사람 그룹은 평균 4.11점, AI 그룹은 3.85점이었다. '상대방과 더 깊은 관계를 맺고 싶은가'를 묻는 점수에서는 사람 그룹이 3.17점, AI 그룹이 3.00점이었다. 점수 차이는 있지만 통계적으로 의미 있는 수준은 아니었다.

더 흥미로운 건 성별이나 국적도 결과에 영향을 주지 않았다는 점이다. 연구팀은 "남자가 여자보다 AI에 더 호감을 느낄 것"이라고 예상했고, "캐나다인이 독일인보다 AI를 더 잘 받아들일 것"이라고 생각했다. 하지만 둘 다 틀렸다. 이는 AI가 쓴 글에 대한 반응이 성별이나 문화를 넘어 비슷하다는 걸 보여준다.

중요한 건 '누가 썼나'가 아니라 '얼마나 잘 썼나'

그렇다면 무엇이 사람들의 반응을 결정했을까? 연구팀이 추가 분석을 해본 결과, 핵심은 "글 내용이 마음에 드는가"였다. 상대방의 답변을 얼마나 좋아하는지가 친밀감과 호감도를 결정하는 가장 중요한 요소였다. 반대로 그 사람이 얼마나 외로운지, AI를 평소에 어떻게 생각하는지, 나이가 몇인지는 아무 상관이 없었다.

AI 그룹만 따로 분석해 보니 더 재미있는 패턴이 나왔다. 참가자들이 AI의 답변을 좋아하는 정도는, AI를 얼마나 '사람처럼' 느꼈는지와 관련이 있었다. 구체적으로 말하면, AI의 답변이 자연스럽고, 생각이 있는 것 같고, 살아있는 것처럼 느껴질수록 답변을 더 좋아했다. 즉, AI가 쓴 글이라도 사람답게 느껴지면 긍정적으로 받아들인다는 뜻이다.

여기서 모순이 생긴다. 참가자들은 분명 AI 파트너를 사람 파트너보다 덜 자연스럽고, 덜 사람답고, 덜 생각이 있고, 덜 살아있다고 평가했다. 하지만 이런 차이가 최종적인 친밀감이나 호감도에는 영향을 주지 않았다. 결국 글의 품질 자체가 누가 썼는지보다 더 중요하다는 것을 보여준다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI가 쓴 데이팅 프로필과 사람이 쓴 프로필을 구별할 수 있나요?

A1. 네, 사람들은 AI가 쓴 글을 사람이 쓴 것보다 덜 자연스럽다고 느낍니다. 하지만 이런 차이가 상대방에 대한 호감도나 친밀감에는 영향을 주지 않았습니다. 즉, 차이를 느낄 수는 있지만 그것 때문에 싫어하지는 않는다는 뜻입니다.

Q2. AI 데이팅 앱을 쓰면 어떤 문제가 생길 수 있나요?

A2. AI가 만든 메시지는 통계적으로 좋게 만들어졌지만 진짜 감정이 아닐 수 있습니다. 상대방이 AI를 쓰는지, 심지어 완전히 가짜 사람인지 알 수 없다면 온라인 대화를 믿기 어려워집니다. 특히 연인을 찾는 사람들은 상대가 나를 좋아한다고 믿고 싶어서 이상한 신호를 무시하거나 속을 위험이 있습니다.

Q3. 외로운 사람들이 AI에 더 끌리나요?

A3. 아니요, 이 연구에서는 외로운 정도가 AI나 사람에 대한 호감도에 영향을 주지 않았습니다. 이는 "외로운 사람은 대상이 뭐든 상관없이 대화 상대를 좋아한다"는 일반적인 생각이 틀렸음을 보여줍니다. 오히려 글의 품질과 사람다운 느낌이 더 중요한 요소였습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.