엔비디아가 컴퓨터 그래픽 콘퍼런스 ‘시그라프 2026(SIGGRAPH 2026)’에서 현실적으로 동작하고 실시간으로 반응하는 AI 기반 가상 세계 구현을 위한 연구 성과를 공개했다.

시그라프 2026에서 채택된 엔비디아 기술 논문 21편은 가상 세계를 생성하고 현실 세계에서 작동하는 머신의 훈련을 구동하는 실시간 시스템의 기반을 다룬다. 게임과 영화는 물론 로봇, 공장 디지털 트윈 등 다양한 분야에서 활용할 수 있는 기술이다.

엔비디아는 3D에 기반하고 물리 법칙을 따르면서도 크리에이터가 직접 제어할 수 있는 AI 생성 세계를 구현해 창작과 피지컬 AI 개발의 영역을 확장한다는 목표다.

게임 캐릭터부터 휴머노이드까지 제어하는 모션브릭스

대표적인 연구 성과인 ‘모션브릭스(MotionBricks)’는 35만 개 이상의 모션 클립으로 훈련된 실시간 모션 모델이다. 게임 엔진 수준의 속도로 실행되며 크리에이터가 캐릭터의 움직임을 연출하고 서로 연결할 수 있도록 지원한다.

화면 속 애니메이션 캐릭터를 움직이는 데 사용되는 것과 동일한 모델로 유니트리(Unitree) G1 휴머노이드 로봇도 제어할 수 있다. 컴퓨터 그래픽과 시뮬레이션에서 확보한 기술을 실제 로봇에 적용해 피지컬 AI 개발과 훈련을 가속하는 방식이다.

‘GPC’는 대규모 모션 데이터셋을 활용해 생성형 컨트롤러를 훈련하는 프레임워크다. 엔비디아는 방대한 인간 동작 데이터를 바탕으로 하나의 컨트롤러를 사전 훈련해 새로운 작업에도 적용할 수 있는 운동 능력을 제공한다. 다양한 작업과 환경에 대응하는 운동 제어용 파운데이션 모델의 기반이 될 수 있다.

불완전한 3D 캡처를 완성된 가상 장면으로 변환

캐릭터와 로봇의 움직임을 검증할 가상 환경을 구축하는 기술도 공개했다. ‘아티픽서(ArtiFixer)’는 정리되지 않은 실제 환경의 3D 캡처 데이터를 깨끗하고 완전한 가상 장면으로 변환한다.

장면의 기하학적 정보만으로 사실적인 글로벌 일루미네이션(global illumination)을 예측하는 기술도 선보였다. 별도의 레이 트레이싱 과정 없이 간접광과 빛의 상호작용을 구현해 가상 장면의 사실성을 높이는 것이 특징이다.

엔비디아 뉴턴(Newton) 물리 엔진에서 사용할 수 있는 새로운 솔버도 공개됐다. 이 솔버는 눈과 모래, 탄성 고체처럼 기존 방식으로 시뮬레이션하기 어려운 물질의 움직임과 변형을 사실적으로 표현한다. 가상 세계가 현실과 같은 물리 법칙에 따라 작동하도록 만들어 로봇 훈련과 디지털 트윈의 정밀도를 높일 수 있다.

생성형 비디오에서 재사용 가능한 재질 추출

‘비디오뉴맷(VideoNeuMat)’ 파이프라인은 생성형 비디오 모델에서 재사용하거나 다시 조명을 적용할 수 있는 재질을 추출한다. 생성된 결과물을 크리에이터가 직접 편집하고 다른 장면에 활용할 수 있도록 해 제작 과정에 대한 통제권을 유지할 수 있게 한다.

‘ARDY’ 자기회귀 확산(autoregressive diffusion) 모델은 텍스트 프롬프트를 바탕으로 3D 캐릭터의 움직임을 실시간으로 제어한다. 크리에이터가 원하는 동작을 텍스트로 입력하면 캐릭터 모션에 즉시 반영할 수 있어 애니메이션과 게임 제작 과정의 효율을 높일 수 있다.

엔비디아는 시그라프 2026에서 공개한 관련 연구 논문을 개방하고, 일부 코드와 모델도 무료로 내려받을 수 있도록 제공한다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지