[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

미국자동화발전협회, 이기종 산업용 이동 로봇 상호운용성 국제 표준 발표

서로 다른 제조사가 만든 산업용 이동 로봇(IMR)들이 하나의 공장 안에서 충돌이나 경로 간섭 없이 협력할 수 있는 국제 공통 언어가 마련됐다. 미국자동화발전협회(A3)는 2026년 11월 2일, 산업용 이동 로봇 간 통신 및 상호운용성을 규정한 신규 국제 표준 'ISO 21423:2026'을 공식 발간했다고 발표했다.

국제표준화기구 기술위원회(ISO TC 299)가 개발한 ISO 21423은 로봇 제조사나 모델에 관계없이 산업용 이동 로봇, 통합 플릿 매니저(Fleet Manager, 군집 제어 시스템), 공장 내 기타 설비가 정보를 교환하고 작업을 요청하는 표준 통신 규격을 정의한다. 이 표준을 적용하면 서로 다른 업체가 공급한 로봇들이 각자의 현재 위치와 이동 속도, 진행 방향, 기기 상태, 할당된 작업 내용, 가용 여부를 실시간으로 공유할 수 있다.

지금까지 다수의 제조 공장과 물류 창고는 단일 자율이동로봇(AMR) 공급업체의 제품으로 자동화를 시작한 뒤, 두 번째 공급업체의 로봇을 추가 도입할 때 기존 로봇과 서로를 인식하지 못해 동선이 엉키거나 멈춰 서는 문제를 겪었다. ISO 21423은 이기종 로봇 간 경로 계획 충돌을 줄여 로봇 가동률과 전체 시스템 효율을 높이는 데 초점을 맞췄다.

표준이 다루는 범위는 로봇 간 통신이 전부가 아니다. 로봇이 작업을 보조하는 생산 기계 설비, 전사적자원관리(ERP) 소프트웨어, 화물 엘리베이터와 자동문 및 경보 장치 같은 산업용 빌딩 시스템과의 직접 통신 규격까지 포괄한다. 현장 작업자가 휴대용 모바일 기기를 통해 로봇과 동일한 위치 및 작업 정보를 공유하며 안전하게 동선을 조율하는 기능도 포함됐다.

캐롤 프랭클린(Carole Franklin) A3 로보틱스 표준 개발 총괄 이사는 “산업계 사용자들이 수년간 요구해 온 상호운용성 표준이 마침내 완성됐으며, 전 세계 어느 사업장에서든 이기종 로봇 군집을 통합 운영하는 공통 기반이 될 것”이라고 설명했다. ISO 21423:2026은 A3가 안전 규격 외의 로봇 기능 표준 제정을 주도한 첫 사례로, 단일 기업 및 기술 종속을 피하려는 수요 기업들의 입찰 요구사항(RFQ)에 즉각 반영될 전망이다.

엔비디아, 프론티어 AI와 결합한 디지털 트윈으로 피지컬 AI 역량 확대 나서

엔비디아는 2026년 10월 29일, 프론티어 AI 에이전트를 결합한 피지컬 AI 시뮬레이션 구축 기술과 전 세계 도시 단위의 피지컬 AI 인프라 도입 사례를 발표했다. 물리 환경 데이터 확보의 어려움을 해결하는 가상 시뮬레이션 생성 자동화부터 도시 전체를 아우르는 거시적 배포까지 피지컬 AI 생태계의 상·하단 파이프라인을 동시에 구축하려는 움직임으로 풀이된다.

엔비디아의 기술은 오픈AI의 'GPT-6 아스트라' 및 앤트로픽의 '클로드 페이블 5(Claude Fable 5)' 같은 프론티어 AI 에이전트를 디지털 트윈 플랫폼인 엔비디아 옴니버스(Omniverse) 라이브러리와 결합해 물리 시뮬레이션 환경을 구축하는 워크플로(작업흐름)다.

기존에는 창고 자동화나 로봇 훈련용 가상 환경을 만들 때 선반이나 기계 장치에 가려진 건물 구조를 일일이 수작업으로 모델링해야 했다. 반면, 새로운 워크플로에서는 AI 에이전트에 자연어 프롬프트를 입력해 파노라마 사진과 스테레오 카메라 촬영본을 해석하고, 건물 기하학 구조를 생성해 포인트 클라우드 측정값을 맞춘다. 생성된 모델은 오픈USD(OpenUSD) 형식으로 저장되며, 옴니버스의 렌더링(ovrtx), 물리 연산(ovphysx), 씬 업데이트(ovstage), 브라우저 스트리밍(ovstream) 라이브러리 및 뉴턴(Newton) 물리 엔진, 오픈소스 워프(Warp) 프레임워크를 통해 즉시 구동 가능하다.

엔비디아 내부에서는 아스트라 에이전트와 아이작 랩(Isaac Lab), 뉴턴 물리 엔진을 연동해 구부러지는 케이블을 로보티크(Robotiq) 그리퍼로 잡아 정밀하게 커넥터에 꽂는 시뮬레이션을 구축했다. 로봇 팔의 상자 적재 시뮬레이션에서는 640회의 배치 작업을 성공시킨 뒤 장면 규모를 두 배로 늘렸을 때 발생하는 성능 저하 원인이 물리 및 로봇 제어 파이프라인에 있음을 정확히 찾아냈다는 게 엔비디아 측 설명이다. 로봇 스포츠 기술 테스트베드 실험에서는 100회 시뮬레이션 중 64회 허들을 넘으며 타이밍과 제어 개선 데이터를 확보했고, 샌프란시스코 시장 거리를 기반으로 한 자율주행 시뮬레이션 환경 '제로 투 알파마요(Zero to Alpamayo)' 역시 에이전트 지시만으로 완성했다.

엔비디아는 여러 행사에서 프론티어 AI와 결합한 옴니버스 플랫폼이 다양한 환경에 적용될 수 있음을 알리는 데 힘썼다. 말레이시아의 ITMAX는 라플라스 인텔리전스(Laplace Intelligence)의 오픈소스 교통 시뮬레이션 플랫폼 '테라심(TeraSim)'을 통합해 신호 체계를 사전 검증함으로써 출퇴근 혼잡 시간대 주요 간선도로 통행 시간을 최대 26% 단축했다. 대만에서는 링커 비전(Linker Vision)과 네덜란드 건축 기업 MVRDV가 엔비디아 옴니버스와 네모트론(Nemotron)을 활용해 도시 숲 수관(Canopy)의 15년 치 환경 영향을 단 10분 만에 시뮬레이션하는 에이전트를 구축했다. 피지컬 AI는 로봇 외에도 도시 교통망과 환경 설계 등 사회 기반 시설 전체를 조율하는 역할로도 확대될 전망이다.

휴머노이드 전신 이동 조작을 사전 검증하는 ‘행동 조건부 잠재 예지’

휴머노이드의 이동 조작은 몸통의 이동과 손의 물체 상호작용이 시간 흐름에 따라 긴밀하게 맞물려야 한다. 겉으로 괜찮아 보이는 명령 구조라도 실제로 로봇이 걸음을 옮기던 도중 쥐고 있던 물체를 떨어뜨리거나, 문고리를 끝까지 당기지 못한 채 작업이 어정쩡하게 끝나는 일이 잦다.

2026년 11월 3일 ▲독일 함부르크대학교(TAMS) ▲홍콩대학교 ▲뮌헨공과대학교(TUM) ▲중국과학기술대학교(USTC) ▲키네틱스 AI(Kinetix AI) 등 공동 연구팀은 이 문제를 해결하기 위해 휴머노이드 로봇의 이동 조작(Loco-manipulation) 실패를 미리 걸러내는 ‘행동 조건부 잠재 예지 세계·행동 모델(Action-Conditioned Latent Foresight WAM)’ 연구를 발표했다.

연구팀은 로봇이 명령을 실제로 몸으로 실행하기 전에 그 결과를 잠재 공간(Latent space)에서 미리 시뮬레이션해 점수를 매기는 '행동 조건부 잠재 예지' 기법을 설계했다.

먼저 행동 생성기(Action Generator)가 시각 정보, 언어 명령, 현재 로봇 상태를 입력받아 전신 이동과 손 조작이 결합된 여러 개의 명령 순서 후보를 제안한다. 이어 두 가지 평가 신호가 작동한다. 하나는 '행동 조건부 종단점 예측기(Endpoint predictor)'가 비디오 자기지도학습 모델인 V-JEPA(Video Joint-Embedding Predictive Architecture)에서 각 명령 순서를 실행했을 때 도달할 미래의 시각적 특징을 추정하고, 시연 데이터에서 추출한 시각적 하위 목표(Subgoal)에 얼마나 가까워지는지 진척도를 계산한다. 이어 '결합 시간적 사전 모델(Joint temporal prior)'이 현재 로봇 상태와 직전 명령을 바탕으로 이동 명령과 손 명령 사이의 시간적 일관성 에너지를 평가한다.

로봇은 가장 높은 점수를 받은 작업 순서의 초반 몇 가지 명령만 실행한 뒤 다음 관측 상태에서 다시 계획을 세우는 후퇴 구간(Receding-horizon) 루프를 반복한다. 하위 목표와의 잠재 거리가 임계 값(0.15) 안으로 좁혀지면 다음 하위 목표로 넘어간다. 연구팀은 학습 시에만 작동하는 역행동 디코더(Inverse action decoder)를 두어, 관측된 특징 변화량과 예측된 특징 변화량으로부터 첫 번째 시연 명령을 역으로 재구성하게 만드는 '행동 일관성 정규화(Action consistency regularization)'를 도입했다. 예측기가 미래를 추정할 때 로봇의 행동과 직결된 정보를 잃어버리지 않도록 묶어두는 장치다.

행동 조건부 잠재 예지 기법은 휴머노이드 이동 조작 시뮬레이션 벤치마크인 '심플(SIMPLE)'의 10개 작업 평가에서 평균 89.7%의 성공률을 기록했다. 이는 기존 싸이-제로(Psi-Zero, 73.7%), DiT4DiT(82.0%), Fast-WAM, VLA-JEPA 대비 높은 기록이다. 7가지 실제 휴머노이드 로봇 작업에서도 표준 환경 85.7%, 처음 보는 물체 배치 환경(Unseen object configurations) 65.7%의 성공률을 달성해 비교 모델인 그루트(GR00T) N1.7이 기록한 70.0% 및 48.6%를 15% 이상 웃돌았다.

연구팀은 폐루프 절제(Ablation) 실험 결과에서도 행동 일관성 정규화가 성공률을 10.8% 높였고, 이동과 손을 묶은 결합 사전 모델이 분리형 사전 모델보다 9.2% 높은 성능을 냈다고 설명했다. 연구팀은 향후 부드러운 물체 파지 실패나 관절형 기구 개폐 미완성 문제를 개선하기 위해 접촉 및 물체 상태 감독을 추가할 계획이다.

IT동아 강형석 기자 (redbk@itdonga.com)