Personalized Generative AI in VR for Enhanced Engagement:
Eye-Tracking Insights into Cultural Heritage Learning through Neapolitan Pizza Making

독일 뮌헨공대(Technical University of Munich) 연구진의 연구 논문에 따르면, 생성형 AI와 가상현실을 결합한 새로운 교육 방식이 문화유산 학습에서 획기적인 성과를 거둔 것으로 나타났다.

전통 문화 전승의 위기, VR과 AI로 해결 나서

유네스코는 2017년 나폴리 피자 만들기를 무형문화유산으로 지정했다. 하지만 세계화와 패스트푸드 산업의 영향으로 젊은 세대들에게 전통 지식을 전수하는 것이 점점 어려워지고 있다. 특히 전통적인 문화기관들은 실습 기반의 몰입형 학습 경험을 제공하는 데 한계를 보여왔다. 이러한 상황에서 연구진은 현대 기술을 활용한 새로운 교육 방식을 모색했다.

교육 수준부터 요리 경험까지, 다양한 배경의 피실험자 구성

연구진은 54명의 참가자를 대상으로 실험을 진행했다. 참가자들의 교육 배경은 고등학교 졸업 15%, 학사 40%, 석사 43%, 박사 2%로 다양했다. 특히 주목할 만한 점은 문화유산 활동 참여 경험으로, 매우 자주 참여하는 비율이 9%, 자주 13%, 드물게 41%, 매우 드물게 33%, 전혀 없음이 4%로 나타났다. 또한 가정에서의 요리 빈도는 매우 자주 50%, 자주 29.6%, 드물게 18.5%, 전혀 하지 않음이 1.9%였다.

최신 VR 기술과 게임엔진의 결합으로 구현한 실감형 교육

실험에는 바르요(Varjo) VR-3 헤드셋과 HTC 바이브 컨트롤러가 사용됐다. 연구팀은 Unity(Version 2021.3.33f1) 게임엔진을 기반으로 VR 환경을 구축했으며, Varjo XR Plugin, XR Interaction Toolkit, XR Plugin Management 등 다양한 소프트웨어 확장을 활용했다. 시선추적 데이터는 200Hz 샘플링 속도로 수집됐으며, 연구팀이 자체 개발한 분석 방법론으로 고정(fixation)과 단속운동(saccade) 이벤트를 정밀하게 구분했다.

시선추적으로 입증된 AI 맞춤형 학습의 우수성

연구팀은 개인화 수준을 세 단계로 나누어 실험을 진행했다. 높은 수준의 개인화에서는 사용자의 VR 내 상호작용과 사전 설문 데이터를 모두 반영했고, 중간 수준에서는 재료 선택에만 기반한 맞춤화를, 개인화 없음 조건에서는 표준화된 내용을 제공했다. 그 결과 높은 수준의 개인화를 적용했을 때 참여도가 64.1% 증가했으며, 게임플레이 지속 시간도 유의미하게 늘어났다.

연구팀은 세 가지 측면에서 학습 효과를 측정했다. 인지 부하는 동공 직경, 시선 고정 지속 시간, 시선 고정 횟수로, 시각적 주의는 첫 시선 고정까지의 시간(TTFF), 단속운동 지속 시간, 단속운동 진폭으로 평가했다. 참여도는 VR 상호작용 로그 데이터와 게임플레이 지속 시간을 통해 측정했다. 그 결과 높은 수준의 개인화를 적용했을 때 참여도가 64.1% 증가했으며, 게임플레이 지속 시간도 유의미하게 늘어났다.

GPT-4부터 DALL-E까지, 첨단 AI 기술의 총집합

연구진은 OpenAI의 GPT-4 모델과 DALL-E, 루마 AI(Luma AI)를 통합해 완전한 몰입형 학습 환경을 구축했다. AI는 사용자의 질문에 실시간으로 응답하고, 맞춤형 교육 자료를 생성했으며, 3D 재료 모델까지 제작했다. 눈동자 크기 변화, 시선 고정 시간, 단속운동 지속 시간 등의 지표를 통해 인지 부하와 주의력을 측정한 결과, 높은 수준의 개인화가 학습 효과를 크게 향상시킨다는 사실이 입증됐다.

학습 효과를 수치로 입증한 데이터 분석 결과

회귀분석 결과, 시선추적 지표들은 게임플레이 지속 시간의 약 25%를 설명할 수 있었다(R² = 0.251). 특히 평균 시선 고정 시간(p = 0.007)과 단속운동 지속 시간(p = 0.015)이 유의미한 예측 변수로 나타났다. 또한 높은 수준의 개인화를 적용받은 그룹에서 문화유산 활동에 대한 관심도가 가장 높게(평균 4.33점, SD = 0.69) 나타났다.

VR과 AI가 여는 문화유산 교육의 새 시대

이번 연구는 VR과 생성형 AI의 결합이 문화유산 교육에 가져올 수 있는 혁신적 가능성을 입증했다. 특히 시선추적 데이터를 통해 학습 몰입도와 효과를 객관적으로 측정할 수 있다는 점은, 향후 실시간 적응형 VR 학습 환경 개발에 중요한 이정표가 될 것으로 전망된다.


해당 논문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.