[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

AWS도 '피지컬 AI 툴체인'으로 개방형 피지컬 AI 생태계 경쟁에 다시 뛰어들다

2026년 10월 8일(이하 미국 기준), 아마존웹서비스(AWS)는 제조업체와 로봇 개발사가 현실 세계를 인식하고 추론하며 행동하는 지능형 기계를 구축할 수 있도록 돕는 개방형 클라우드 운영체제(플랫폼)인 ‘AWS 피지컬 AI 툴체인(Physical AI Toolchain on AWS)’을 공개했다. 2025년, 클라우드 기반 로봇 시뮬레이션 서비스였던 로보메이커(RoboMaker) 사업을 중단하며 사업 전략 재정비에 나섰던 AWS가 엔비디아의 피지컬 AI 생태계와 자사의 클라우드 인프라를 결합한 새 플랫폼을 제안한 셈이다.

클라우드 혹은 폐쇄망에서 실행되는 소프트웨어 기반 AI와 달리 피지컬 AI는 파운데이션 모델(행동 모델)을 학습에 필요한 초고성능 그래픽 처리장치(GPU) 클러스터부터 물리 법칙 계산을 위한 시뮬레이션용 GPU, 로봇 본체에 탑재되어 실시간으로 명령을 내리는 엣지(Edge) 장비까지 서로 다른 성격의 컴퓨팅 자원을 동시에 다뤄야 한다. 소프트웨어 서버는 업데이트 중 오류가 나면 이전으로 즉시 되돌리는 ‘블루-그린 배포’가 가능하지만, 현실 공간에서 움직이는 로봇 팔이나 휴머노이드는 한 번 오작동하면 주변 사물의 위치 자체가 바뀌어버려 일반적인 형태의 재시작이 불가능하기 때문이다. 개발팀이 피지컬 AI 데이터 외에도 데이터 이동과 시뮬레이션 환경 구축 등 기저 확보에 개발 역량 대부분을 집중한 이유다.

AWS는 ▲모듈화 ▲호환성 ▲선순환 구조 내재화 등 세 가지 기술로 문제 해결에 나선다. 먼저 기반 인프라(Foundation), 엔비디아 아이작 심(Isaac Sim), 아이작 랩(Isaac Lab), 휴머노이드 파운데이션 모델인 그루트(GR00T), 워크플로우 오케스트레이션 도구인 오스모(OSMO) 등 핵심 구성 요소를 각각 독립된 테라폼(Terraform, 인프라 자동 구축 코드) 모듈로 나눴다. 고객들은 처음부터 거대한 피지컬 AI 시스템을 통째로 도입할 필요 없이 필요한 단계만 골라 조립하듯 사용 가능하다. 엔비디아 플랫폼 기반 호환성도 확보했다. 엔비디아의 로봇 개발 문서를 그대로 따라 하면서도 AWS의 스토리지와 보안, 자동 배포 기능을 아무런 마찰 없이 지원한다.

로봇 개발은 데이터 수집에서 배포로 끝나는 구조가 아니다. 현장에 투입된 로봇이 예상치 못한 돌발 상황(엣지 케이스)을 마주하면, 이 데이터가 다시 클라우드로 넘어와 새로운 시뮬레이션 시나리오를 만들고, 여기서 생성된 합성 데이터가 모델을 재학습시켜 다시 로봇에 배포되는 끝없는 순환 과정을 거친다. AWS는 자사 물류창고에 투입된 촉각 감지 로봇 ‘벌칸(Vulcan)’을 운영하며 축적한 경험을 선순환 구조에 반영했다. AWS가 로봇 운영체제(OS)와 하드웨어 경쟁 대신 학습과 시뮬레이션 플랫폼을 선택했다는 점에서, 향후 피지컬 AI 산업의 개발 환경에 영향을 줄 것으로 전망된다.

"로봇 학습 데이터를 빌려드립니다" 피지컬 인텔리전스의 도전은 성공할까?

2026년 10월 13일, 로봇 파운데이션 모델 스타트업 피지컬 인텔리전스(Physical Intelligence)는 파이 API(Pi API)의 시험판(베타)을 공개, 자사 최신 로봇 모델을 외부 개발자에게 개방한다. 오픈AI가 GPT를 API(소프트웨어 간 연결 통로) 형태로 개방해 수많은 소프트웨어 스타트업이 자체 거대언어모델을 개발하는 수고를 덜어주었듯, 이제 로봇 하드웨어 기업들도 API 호출만으로 피지컬 AI 모델을 로봇에 이식할 수 있는 시대가 열렸다.

범용 로봇 모델이 물리 세계의 기초 지식을 어느 정도 갖췄더라도, 내 공장 환경과 로봇의 합을 맞추는 일은 별개의 문제다. 기계학습 인프라, 연산 자원, 복잡한 데이터 파이프라인이 줄줄이 따라붙는 탓에 로봇 기업 상당수가 어려움을 겪는다. 피지컬 인텔리전스는 그 번거로움을 제품화한 셈이다. 파이 API 시험판은 개발자가 데이터를 파이 인텔리전스 내 클라우드 공간에 올리면 회사가 관리하는 인프라에서 파인튜닝(미세조정)이 이뤄지고, 완성된 모델은 다시 온라인으로 개발자의 로봇 추론에 쓰이는 구조다. 회사는 API에 올린 최신 모델이 파트너사의 미세조정에 필요한 데이터를 줄여주고 성능 향상도 가능하다는 입장이다.

피지컬 인텔리전스의 도전은 로보틱스 산업의 경쟁 공식에 변화를 줄 것으로 전망된다. 과거에는 로봇 기업마다 자체 AI 연구팀을 꾸려 파운데이션 모델을 직접 만드는 것이 기술력의 척도였으나, 이제 범용 모델 계층(Model layer)이 API 형태의 공공재처럼 보급될 가능성이 열렸기 때문이다. 앞으로 로봇 기업들은 ‘누가 고성능 피지컬 AI 모델을 학습시키느냐’가 아니라, ‘산업 현장에서 고품질 실패 데이터를 빠르게 수집하고, 이를 현장에 맞춰 통합해 내느냐’를 놓고 경쟁할 수 있다.

물론 풀어야 할 숙제도 있다. 피지컬 인텔리전스는 이번 시험판 공개 과정에서 외부 클라우드 서버를 통해 실시간으로 로봇 제어 명령을 주고받는 ‘원격 추론 전달(Hosted Inference)’ 방식이 일부 초기 사용자 환경에서 네트워크 연결 지연 및 통신 불안정 문제가 발생했다고 언급했다. 통신망이 원활하지 않은 일부 건설 현장이나 초단위의 정밀한 반응 속도가 생명인 공장 설비에서는 클라우드 호스팅 방식과 로컬(온-디바이스) 실행 방식 사이의 조율이 아직 필요함을 시사한다.

로봇은 명령한 대로 움직이지 않으니 행동 후 상태까지 학습해야 된다

흔히 피지컬 AI 모델들은 명령하면 정확히 움직인다고 믿는다. 예로 “오른팔 관절을 30도만큼 들어 올려라”라고 명령(Action)을 내리면, 로봇이 한 치의 오차도 없이 정확히 30도 위치에 도달할 것으로 생각한다. 하지만 현실은 다르다. 로봇 팔의 무게로 인한 중력 처짐, 기어 박스의 마찰력, 바닥 바퀴의 미세한 미끄러짐, 그리고 물건을 잡았을 때 발생하는 저항 때문에 명령한 값과 실제로 로봇이 움직인 뒤의 상태(Post-execution state) 사이에는 오차가 발생한다.

휴머노이드 기업 림엑스 다이내믹스(LimX Dynamics)와 남방과학기술대(SUSTech) 연구진은 이 문제를 ‘행동-실행 간극(Action-Execution Gap)’이라고 정의하고, 이를 해결할 휴머노이드 월드 액션 모델(HWAM, Humanoid World Action Model)을 제안했다.

연구진은 양팔 조작 로봇인 알로하(ALOHA)와 이동형 휴머노이드 로봇인 림엑스 올리(LimX OLI)의 주행 데이터를 분석한 결과, 고정된 양팔 로봇인 알로하에서는 명령 값과 실제 관절 위치 사이의 직접 오차가 평균 0.648도(안정 상태 0.402도)에 불과했지만, 바퀴로 이동하며 상체를 움직이는 휴머노이드 림엑스 올리에서는 직접 오차가 4.420도(안정 상태 2.885도)까지 벌어지는 것을 확인했다. 어깨나 허리 관절에서 4.4도가 틀어지면 로봇 손끝에서는 수 센티미터의 오차가 발생합니다. 사탕 하나를 집으려다 허공을 움켜쥐게 되는 이유가 이 때문이라고 주장한다.

‘월드 액션 모델(WAM)’은 비디오 생성 AI를 로봇에 결합해, 로봇이 특정 행동을 했을 때 미래의 카메라 화면이 어떻게 바뀔지 상상(예측)하면서 움직임을 결정한다. 하지만, 기존 모델들은 로봇이 실제로 도달한 위치가 아니라 이상적인 명령값을 기준으로 미래 행동을 그린다. 몸은 4도나 덜 움직였는데 머릿속으로는 완벽하게 움직였다고 착각하며 다음 화면을 예측하니, 시간이 지날수록 상상의 세계와 현실의 행동이 어긋나는 셈이다.

HWAM은 AI가 앞으로 내릴 행동 명령만 단독으로 생성하는 것이 아니라, 그 명령을 수행한 직후 로봇의 몸이 실제로 도달하게 될 ‘실행 후 고유수용성 상태(로봇 스스로 느끼는 관절의 실제 각도와 위치 값)’를 하나의 묶음으로 묶어 동시에 생성(Joint State-Action Generation)하도록 설계했다. 예로 야구선수가 “공을 저기로 던져야지”라고 마음먹는 것 외에도, 공을 던진 직후 자신의 팔꿈치와 어깨가 관성에 의해 어디쯤 위치해 있을지까지 감각으로 미리 계산하며 투구하는 것이다.

HWAM은 세 가지 학습 경로를 거친다. 첫 번째는 ‘순방향 동역학 모델링(FDM, Forward Dynamics Modeling)’이다. 로봇의 행동 명령과 도달할 실제 신체 상태를 조건 삼아 미래의 비디오 프레임을 예측한다. 실제 몸이 덜 움직일 것까지 감안해 미래 화면을 그리므로 예측의 정확도가 향상된다. 두 번째는 ‘역방향 동역학 모델링(IDM, Inverse Dynamics Modeling)’이다. 현재 화면과 미래의 목표 화면을 보고, 그 장면으로 넘어가기 위해 어떤 행동 명령을 내려야 하며 그때 몸의 상태는 어떻게 변해야 하는지를 역으로 추론한다. 마지막은 실제 현장에서 명령을 내리는 ‘정책(Policy)’이다. 노이즈를 제거해 나가는 확산(Diffusion/Denoising) 기법을 활용해 행동 채널과 상태 채널을 동시에 열어 최적의 움직임을 구현한다. 예측된 상태 값이 하위 모터 제어기로 직접 전달되어 간섭을 일으키는 것이 아니라, AI가 높은 수준의 행동 명령과 시각적 결과 사이의 물리적 인과관계를 깨우치도록 돕는 ‘연결 고리’ 역할을 수행한다는 점이 이 모델의 차별점이다.

연구진은 림엑스 올리 휴머노이드 로봇에 HWAM을 적용, 세 가지 현장 작업(정지 조작 및 이동 조작 포함)을 진행한 결과, 여느 시각·언어·행동(VLA) 모델과 월드 모델보다 정확한 움직임을 보였다고 주장했다. 정밀한 손놀림과 거리 계산이 요구되는 ‘사탕 집기(Candy Picking)’ 작업 성공률은 70.6%로 Fast-WAM 모델의 43.3%보다 높았다. 이 논문은 피지컬 AI가 부정확한 하드웨어를 소프트웨어로 어떻게 풀어야 하는지 보여준다.

IT동아 강형석 기자 (redbk@itdonga.com)