Users' Mental Models of Generative AI Chatbot Ecosystems

미국 버지니아공대 연구진이 발표한 'Users' Mental Models of Generative AI Chatbot Ecosystems' 연구에 따르면, 사용자들은 AI 챗봇과 상호작용할 때 4가지 유형의 심리모델을 보여주는 것으로 나타났다. 연구는 18세부터 62세까지 21명의 참가자(여성 11명, 남성 9명)를 대상으로 진행되었으며, 참가자들은 대학 직원, 학생, 예술감독, 사업가, 작가, 소프트웨어 엔지니어, 의료 종사자 등 다양한 직업군을 대표했다.

호텔 예약 시나리오로 사용자 심리모델 파악

연구진은 참가자들의 AI 챗봇 이해도를 파악하기 위해 뉴욕시 호텔 예약이라는 구체적인 시나리오를 활용했다. 각 참가자는 구글 제미나이와 챗GPT를 모두 사용해보았으며, 순서 효과를 상쇄하기 위해 절반은 제미나이부터, 나머지는 챗GPT부터 시작했다. 참가자들의 개인정보 보호를 위해 가상의 프로필이 만들어졌으며, 연구진은 예약 과정 중 발생할 수 있는 응답의 불일치를 방지하기 위해 사전 테스트된 프롬프트를 제공했다.

챗봇의 역할에 따른 4가지 사용자 인식 모델: 독자적 플레이어부터 단순 매개체까지

사용자들의 AI 챗봇 인식은 챗봇의 역할을 어떻게 보느냐에 따라 크게 4가지로 구분됐다.

'핵심 플레이어' 모델에서는 챗봇이 호텔 예약 등을 직접 처리하는 주체로 인식됐다. 특히 실험 참가자 P20의 경우 제미나이가 구글보다 더 큰 서버를 가진 주요 행위자라고 생각했다.

'매개체' 모델에서는 챗봇이 단순히 사용자와 모회사를 연결하는 창구 역할로 인식됐다. P1은 "제미나이는 단지 제한된 정보를 주고받는 인터페이스일 뿐"이라고 설명했다.

'대표자' 모델에서는 챗봇과 모회사가 동일시됐는데, P19는 "구글 제미나이를 사용하는 것은 곧 구글을 사용하는 것"이라고 언급했다.

'에이전트' 모델에서는 챗봇이 독립적으로 플러그인과 상호작용하는 것으로 이해됐다.

제3자 서비스 챗GPT, 단순 모델로 더 높은 신뢰 획득

흥미로운 점은 챗GPT 사용 시 21명의 참가자 모두가 '에이전트' 모델만을 보였다는 것이다. 이는 챗GPT의 인터페이스에 익스피디아 아이콘이 명확히 표시되어 데이터 흐름을 쉽게 이해할 수 있었기 때문이다. P1은 "챗GPT가 내 정보를 익스피디아에 전달하고, 익스피디아가 3가지 옵션을 제공하는 것이 명확히 보인다"고 설명했다. 반면 제미나이의 경우 구글 호텔 아이콘이 있음에도 많은 사용자가 이를 구글의 일부로 인식해 시스템의 불투명성을 높였다.

사용자 15명 중 14명이 제미나이 데이터 처리 방식 걱정

연구 참가자들의 프라이버시 우려는 구체적인 수치로 나타났다. 15명 중 14명이 제미나이의 데이터 처리에 우려를 표했으며, 9명은 동의 없는 데이터 사용을, 6명은 과도한 감시를 우려했다. P3은 "TV 시청 기록부터 성 정체성까지 모든 것이 수집될 수 있다"고 우려를 표명했다. P14는 "구글이 무료로 서비스를 제공하는 것은 우리가 상품이 되기 때문"이라고 지적했다.

데이터 수집 전 알림부터 자동 삭제까지, 프라이버시 보호 요구

참가자들은 다양한 프라이버시 보호 장치를 요구했다. P14는 "몇 달마다" 데이터 추적 현황을 알려주는 알림을, P15는 데이터 수집 시 상단에 표시되는 배너를 제안했다. 데이터 제어와 관련해서는 P16이 제안한 "작업 완료 후 자동 삭제 옵션"처럼 구체적인 기능들이 제시됐다.

챗봇 서비스의 실험적 성격과 지역적 제한

연구진은 몇 가지 주요 한계점을 제시했다. 첫째, 연구가 미국 내 사용자들만을 대상으로 했기 때문에 다른 국가나 문화권에서는 다른 결과가 나올 수 있다. 둘째, 연구 진행 당시 챗GPT는 익스피디아 플러그인을 통한 직접 예약 기능을 제공하지 않았으며, 이는 제미나이의 작동 방식과 큰 차이를 보였다. 셋째, AI 챗봇의 빠른 발전 속도를 감안할 때, 연구 결과는 현재 시점의 사용자 경험을 완전히 반영하지 못할 수 있다. 특히 연구 진행 이후 두 플랫폼 모두 금융 정보 요청을 자제하는 방향으로 인터페이스를 수정했다는 점이 언급됐다.

AI 챗봇 생태계의 투명성 강화

연구진은 AI 챗봇의 발전 방향으로 마이크로소프트의 코파일럿(Office 365, Bing Search, Teams 통합), 메타의 AI(Llama 3) 통합 등을 예로 들며, 챗봇 생태계가 더욱 복잡해질 것으로 전망했다. 이에 따라 데이터 흐름 시각화, 민감 정보 입력 감지 도구 등 구체적인 개선 방안과 함께 관련 기업들의 정보 공개 의무화를 제안했다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.