ZeroHSI: Zero-Shot 4D Human-Scene Interaction by Video Generation

모션 캡처 없이도 자연스러운 가상 캐릭터 움직임 구현

북경대학교 Hongjie Li 연구원과 스탠포드대학교 Hong-Xing Yu 연구원이 공동 1저자로 참여한 연구팀이 3D 가상공간에서 사람과 환경의 자연스러운 상호작용을 생성하는 혁신적인 기술을 개발했다. 이 기술은 엠바디드 AI(Embodied AI), 가상현실(VR), 로봇공학 분야의 핵심 과제인 인간-환경 상호작용(Human-Scene Interaction, HSI) 생성 문제를 해결했다는 평가를 받고 있다.

기존 가상 캐릭터 기술의 한계점 극복

기존의 HSI 생성 연구는 크게 두 가지 방향으로 진행됐다.

첫째는 정적인 3D 공간에서의 상호작용에 초점을 맞춘 연구로, 모션 디퓨전 모델(Motion Diffusion Model)을 활용해 3D 공간과 모션 캡처 데이터를 학습시켰다. 그러나 이 방식은 흔한 동작인 걷기나 앉기조차도 다른 환경에 일반화하기 어려웠다.

둘째는 동적 물체 조작에 중점을 둔 연구다. 이 접근법은 같은 종류의 물체 내에서는 일반화가 가능했지만, 형태가 크게 다른 물체는 다루지 못했다. 두 방향 모두 3D 공간과 모션 캡처 데이터가 쌍으로 구성된 데이터셋에 의존한다는 근본적 한계가 있었다.

영상 생성 AI와 3D 기술의 혁신적 결합

연구진이 개발한 'ZeroHSI'는 기존 방식과 달리 최신 영상 생성 AI 모델이 학습한 풍부한 동작 정보를 활용한다. 이 모델들은 방대한 양의 자연스러운 인간 동작과 상호작용이 포함된 영상을 학습했기 때문에, 다양한 3D 환경에서 맥락에 맞는 자연스러운 동작을 생성할 수 있다.

이 기술은 3D 가우시안 스플래팅(3D Gaussian Splatting) 기술을 기반으로 구현됐다. 시스템은 먼저 3D 공간을 입력받아 애니메이션이 가능한 아바타를 초기화하고, 프레임별로 상대적 카메라 변환을 순차적으로 추정한다. 이후 생성된 비디오를 참조하여 프레임별로 인간 포즈 파라미터를 최적화하고, VPoser를 활용한 인간 포즈 사전 정보를 통해 자연스러운 동작을 생성한다. 이 방식으로 정적인 환경뿐 아니라 움직이는 물체와의 상호작용도 자연스럽게 구현할 수 있다.

12개 실내외 환경에서 입증된 자연스러운 상호작용

연구진은 기술 평가를 위해 "AnyInteraction"이라는 새로운 벤치마크 데이터셋을 구축했다. 이 데이터셋은 침실, 거실, 체육관, 바, 놀이터, 온실, 카페, 상점 등 총 12개의 서로 다른 3D 환경으로 구성되었으며, 이 중 7개는 실내 환경, 5개는 실외 환경이다. 특히 Mip-NeRF 360과 Tanks and Temples 데이터셋의 실제 장면을 활용하여 현실감을 높였다.

정량적 평가에서 ZeroHSI는 TRUMANS와 LINGO 등 기존 방식들보다 더 나은 의미론적 정렬(Semantic Alignment)과 동작 다양성, 물리적 타당성을 보여줬다. 실제 구현된 상호작용은 정적 환경에서의 걷기, 앉기, 청소하기부터 동적 물체와의 상호작용인 식물 물주기, 꽃병 들기, 잔디깎기, 기타 연주에 이르기까지 다양했다. 특히 동적 물체와의 상호작용에서 ZeroHSI는 CHOIS와 LINGO 대비 높은 접촉률과 낮은 물체 관통률을 기록했다. 400명의 참가자를 대상으로 한 평가에서도 정적 및 동적 시나리오 모두에서 기존 방식들보다 더 자연스럽고 의도한 동작과 잘 부합한다는 평가를 받았다.

메타버스와 로봇공학의 새 지평을 열다

현재 ZeroHSI는 동작 시퀀스당 약 1시간의 처리 시간이 필요해 실시간 응용에는 제약이 있으며, 미세한 물체와의 상호작용에서는 신뢰할 수 있는 시각적 감독이 어렵다는 한계가 있다. 또한 생성된 동작의 품질이 영상 생성 모델의 성능에 의존적이나, 비디오 생성 기술의 빠른 발전으로 이러한 한계는 점차 극복될 것으로 예상된다.

이 기술은 VR/AR에서 더 자연스러운 아바타 움직임 구현, 로봇공학에서의 동작 계획 수립, 메타버스의 실감형 캐릭터 제어 등 다양한 분야에서 활용될 수 있다. 특히 모션 캡처 데이터 없이도 자연스러운 인간-환경 상호작용을 생성할 수 있다는 점에서, 가상 환경에서의 인간 행동 시뮬레이션 분야에 새로운 지평을 열었다는 평가를 받고 있다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.