[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

엔비디아 액츄에이트 26 개최, 로봇 '표준화' 행보 나서나?

2026년 8월 18일부터 19일까지 엔비디아는 샌프란시스코 포트 메이슨에서 자체 로봇 컨퍼런스 '액추에이트(Actuate) 26'을 열었다. 이번 행사는 세계 기반 모델(월드 파운데이션 모델)과 디지털 트윈, 대규모 합성 데이터 생성 등 차세대 로봇을 움직이는 기술들을 조망하는 자리로 기획됐다.

엔비디아는 행사에서 세계 기반 모델 코스모스(Cosmos) 3를 소개했다. 단일 모델 안에서 물리적 추론과 세계 생성, 행동 생성을 동시에 처리하는 옴니모달(처음부터 텍스트·음성·이미지·영상 등을 통합 학습·처리하는 기술) 세계 기반 모델이다. 개발자들은 코스모스 3를 활용해 물리 세계에 대한 추론, 합성 데이터 생성을 위한 환경 증강, 신경망 시뮬레이션을 통한 정책 평가 등을 진행할 수 있다. 이 외에도 엔비디아의 엣지 장비인 젯슨 토르(Jetson Thor) 위에서 실시간 제어 배포까지 가능해 로봇 개발 워크플로 전 과정에 쓸 수 있다.

엔비디아는 로봇 안전 관련 발표도 진행했다. 엔비디아 아이작(Isaac) 플랫폼은 설계와 시뮬레이션부터 배치까지 전 과정을 아우르며 AI 기반 로봇의 개발 속도를 높이는 데 초점을 맞췄고, 내비게이션과 이동, 그리핑(물건 집기), 비전 같은 핵심 기능을 지원해 제조·농업·물류·헬스케어 등 여러 산업의 로봇 개발을 뒷받침한다.

자율주행차의 안전 아키텍처를 그대로 가져온 '할로스(Halos)' 시스템도 언급됐는데, 시제품 단계의 로봇을 실제 양산 단계로 넘기기 위한 종합 안전 체계다. 엔비디아는 이 시스템이 자율주행 안전 개발에서 쌓은 1만 8600년 이상의 엔지니어링 경험을 바탕으로 로봇 개발자들에게 공통된 안전 아키텍처를 제공한다고 설명했다. 로봇이 실제 공장과 물류센터에 들어가려면 결국 표준화된 안전 인증이 뒷받침돼야 한다는 업계 공감대를 반영한 움직임으로 읽힌다.

엔비디아의 행보는 '표준화' 구축의 신호탄에 가깝다. 그래픽 처리장치(GPU) 하드웨어 공급자에서 세계 기반 모델과 안전 인증 체계까지 아우르는 종합 플랫폼 사업자로 영역을 넓히려는 전략이 뚜렷하게 읽힌다. 결국 엔비디아는 AI 반도체 외에도 로봇 개발부터 배치까지의 전체 업무 흐름을 장악하는 플랫폼 구축에 속도를 낼 것으로 보인다.

자동차 비전 기술로 로봇의 눈을 만든 시잉머신스

2026년 8월 17일, 운전자·탑승자 모니터링 시스템(DMS/OMS)을 개발해 온 호주의 컴퓨터비전 기업 시잉머신스(Seeing Machines)가 휴머노이드 로보틱스를 겨냥한 '피지컬 AI 플랫폼'을 공개했다. 시잉머신스는 25년 이상 인간 행동 요인을 연구해 온 노하우를 녹여 로보틱스와 산업 자동화 영역으로 확장한다는 계획이다.

공개한 피지컬 AI 플랫폼의 핵심은 인간 중심 감지 기술을 로봇에 이식하겠다는 것이다. 사람과 사물, 주변 환경을 아우르는 동적 3차원 인식 지도를 실시간으로 구축해 로봇이 복잡한 실제 환경에서 사람과 안전하고 직관적으로 상호작용을 할 수 있도록 상황 인식 능력을 부여한다. 개별 특징을 인식하는 데 그치지 않고, 공간적 관계를 이해하고 인간의 행동을 해석하며 실시간으로 위험을 예측해 안전하고 직관적인 판단을 내리도록 지속적으로 맥락 인식을 쌓아가는 방식이다.

그동안 휴머노이드 개발 경쟁은 걷고 뛰고 물건을 집는 신체 동작의 정교함에 집중돼 왔다. 하지만 로봇이 실제 공장과 가정에 들어가려면, 사람이 갑자기 시야에 들어오거나 예측 못 한 행동을 할 때 이를 감지하고 반응하는 능력이 더 중요해진다. 자동차 산업에서 20년 이상 축적한 '사람을 이해하는' 센서 기술이 로봇 산업의 새로운 진입 통로가 될 수 있다는 점에서, 이번 플랫폼 출시는 로봇 하드웨어 제조사가 아니어도 피지컬 AI 가치사슬(밸류체인)에 올라탈 수 있음을 보여주는 사례로 평가된다.

로봇의 동작을 '화소의 흐름'으로 통일해서 가르치자고 제안한 Hydra-0

2026년 8월 18일, 엔비디아 아이작 연구팀과 브라운대, 일리노이대 등이 로봇의 행동을 화소(픽셀)의 흐름으로 다시 쓰자는 아이디어를 제안한 '하이드라-0: 범용 월드 모델링 및 제어를 위한 행동 흐름(Hydra-0: Action Flow for Generalist World Modeling and Control)' 논문을 공개했다.

로봇에게 새로운 동작을 가르치려면 보통 그 로봇에 맞는 전문가 시연 데이터가 필요하다. 문제는 로봇마다 팔의 길이나 관절 개수, 카메라 위치가 제각각이라 한 로봇으로 학습한 데이터를 다른 로봇에 그대로 옮겨 쓰기 어렵다는 점이다. 사람이 손으로 컵을 집는 영상과 로봇 팔이 컵을 집는 영상은 겉모습부터 달라, AI는 완전히 다른 두 가지 정보로 받아들여지기 쉽다.

연구팀이 내놓은 해법은 '행동 흐름(action flow)'이라는 공통 언어다. 로봇의 행동을 화면 위 픽셀이 움직이는 방향과 속도, 즉 픽셀 움직임으로 표현하는 방식이다. 로봇의 관절 각도나 모터 명령이 아니라, 카메라에 비친 물체와 손끝이 화면 속에서 어떻게 움직이는지를 기준으로 삼는다. 이렇게 하면 사람 손이 움직이는 영상이든, 로봇 팔이 움직이는 영상이든, 서로 다른 로봇 기종의 영상이든 모두 같은 형식의 데이터로 다룰 수 있게 된다. 마치 여러 나라말을 쓰는 사람들이 손짓·몸짓이라는 공통의 비언어적 신호로 소통하는 것과 비슷한 발상이다.

연구팀은 행동 흐름 기반의 최적 구성을 적용했을 때 기존의 행동-조건화 방식 기준선과 비교해 로봇 동작 오차는 90.4%, 물체 동작 오차는 60.2% 줄었다고 강조했다. 동시에 처음 보는 조합의 작업을 별도 학습 없이 해내는 제로샷 능력과 적은 데이터로도 새로운 환경에 빠르게 적응하는 능력까지 함께 확보했다. 로보랩(RoboLab) 평가 기준에서는 시뮬레이션 상에서 재생한 결과와 실제 참조 성공률 사이의 상관계수가 0.96에 달했다고 밝혔는데, 이는 시뮬레이션 안에서의 평가 결과를 실제 로봇 성능의 예측 지표로 상당히 신뢰할 수 있다는 의미로 풀이된다.

행동 흐름 외에도 '역방향 모드'도 함께 제안했다. 사람의 시연에서 가져온 원하는 물체의 움직임을 입력하면, 이에 맞는 로봇의 동작을 거꾸로 예측해 내는 '세계 행동 모델(월드 액션 모델)' 능력이 자연스럽게 나타난 것이다. 학습된 액션 헤드가 이렇게 얻어진 잠재 특징을 실행 가능한 동작으로 변환하는데, 이 과정에는 특정 작업에 맞춘 전문가 로봇 시연 데이터가 전혀 필요하지 않다. "이 물체가 이렇게 움직이면 좋겠다"는 목표만 보여주면, 로봇이 그 목표를 달성하기 위해 스스로 어떻게 움직여야 할지를 역으로 추론해 내는 셈이다. 이 대목은 로봇에게 매번 정답 동작을 하나하나 가르치는 대신, 원하는 결과만 보여주고 나머지는 로봇이 알아서 찾아내도록 학습 패러다임이 옮겨갈 수 있음을 시사한다.

연구진은 이 아이디어가 데이터 확보 비용의 절감으로 이어질 것으로 기대했다. 현재 휴머노이드 학습에서 가장 큰 병목은 다양한 로봇에서 충분한 양의 실제 동작 데이터를 모으는 일이다. 사람의 손동작 영상, 다양한 회사의 로봇이 찍은 영상까지 행동 흐름이라는 공통 형식으로 재활용할 수 있다면, 로봇 학습에 들어가는 데이터 수집 비용을 크게 낮출 수 있다는 이야기다. 이 아이디어가 엔비디아 아이작 팀 명의로 공개됐다는 점은, 향후 코스모스나 아이작 그루트 같은 엔비디아의 로봇 파운데이션 모델 라인업에도 반영될 가능성을 시사한다.

IT동아 강형석 기자 (redbk@itdonga.com)