[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

GXO 로지스틱스, 애질리티 로보틱스의 로봇 현장 배치 확대

2026년 10월 26일 글로벌 계약 물류 기업 GXO 로지스틱스는 미국 휴머노이드 로봇 개발사 애질리티 로보틱스의 휴머노이드 로봇 디지트(Digit)의 미국 내 물류 현장 배치를 확대한다고 발표했다. 이번 발표는 휴머노이드 로봇이 기술 검증(PoC)을 끝내고 다수의 거점으로 확산하는 상용화 국면에 진입했음을 보여준다.

양사는 2024년, 미국 조지아주 플라워리 브랜치에 위치한 GXO 물류창고에 디지트를 투입하며 로봇 구독 서비스(RaaS) 형태의 상용 계약을 체결한 바 있다. 플라워리 브랜치 현장에 배치된 디지트는 현재까지 누적 10만 개가 넘는 토트(물류용 플라스틱 상자)를 운반했다. 반복적인 자재 취급 업무에서 내구성과 작업 신뢰성을 입증한 셈이다.

이번 파트너십 확장을 기점으로 양사는 2027년부터 미국 노스캐롤라이나주와 테네시주에 자리한 GXO 물류 거점들로 디지트 배치를 확대한다. 작업 영역도 기존의 상자 운반에서 복합 창고 물류 공정으로 확장된다. 패트릭 켈러허(Patrick Kelleher) GXO 최고경영자(CEO)는 “신기술을 실제 운영상의 이점으로 전환하겠다는 양사의 의지가 반영된 결과”라고 평가했다. 페기 존슨(Peggy Johnson) 애질리티 로보틱스 CEO는 “고객사들이 이제 휴머노이드 로봇의 작동 여부를 묻는 단계를 지나 어느 현장에 얼마나 큰 규모로 확장할지 결정하고 있다”고 말했다.

애질리티 로보틱스는 GXO 로지스틱스 외에 제조, 자동차, 항공우주, 국방, 물류, 소비재 등 여러 산업군에 걸쳐 30곳 이상의 잠재 고객사와 상업적 논의를 진행하거나 고객 가속화 프로그램(CAP)을 운영하고 있다. 미군 부대를 지원하는 2건의 하도급 프로젝트 논의도 포함됐다.

디지트 5는 인간 작업자와 가까운 거리에서 안전하게 협업하도록 설계된 모델로, 2027년 상반기 초기 고객 인도를 시작해 2027년 말 정식 출시될 예정이다. 지난 10월 15일에는 영국 배터리 기업 니오볼트(Nyobolt)를 초고속 충전 배터리 파트너로 선정하며 가동 시간을 극대화할 기술 기반도 다졌다.

대규모 물량을 소화하기 위한 후방 인프라도 빠르게 자리를 잡고 있다. 애질리티 로보틱스는 미국 오리건주 세일럼에 연간 최대 1만 대의 로봇을 생산할 수 있는 7만 제곱피트 규모의 제조 시설 로보팹(RoboFab)을 구축했다. 클라우드 기반 로봇 군집 관리 및 작업 통합 플랫폼인 애질리티 아크(Agility Arc)를 결합해 현장 배치를 지원한다. 동부 해안 지역의 고객사들을 밀착 지원하기 위해 펜실베이니아주 피츠버그에 5만 제곱피트(약 1400평) 규모의 신규 거점을 열어 소프트웨어, 인공지능(AI), 배치 및 정비 인력을 통합 배치한다.

구글 딥마인드, 차세대 월드 모델 ‘지니 4’ 공개

2026년 10월 27일, 구글 딥마인드는 차세대 실시간 대화형 월드 모델 지니 4(Genie 4)를 발표하고 신뢰할 수 있는 테스터(Trusted Testers)를 대상으로 연구용 미리보기(리서치 프리뷰)용 배포를 시작했다. 정해진 길이의 영상 클립만 일방적으로 만들어내는 기존 비디오 생성 AI와 달리, 지니 4는 사용자의 키보드 조작과 자연어 지시에 반응해 가상 세계를 프레임 단위로 실시간 생성하고 물리적 상태를 유지하는 디지털 샌드박스라는 점에서 주목받는다.

지니 4의 변화는 네이티브 오디오(Native Audio) 생성과 실시간 장면 제어(Live Text Steering) 기능이다. 사용자가 가상 공간을 탐색하는 동안 발밑에서 낙엽이 바스락거리는 소리, 바람과 물이 흐르는 환경음, 군중의 환호성, 배경 음악이 화면 변화에 맞춰 실시간으로 합성된다. 가상 공간 속 캐릭터들이 사용자를 향해 말을 걸거나 서로 대화를 나누는 상호작용형 음성 대화도 즉석에서 만들어진다.

시뮬레이션이 돌아가는 도중에 사용자가 텍스트 프롬프트를 입력해 날씨를 바꾸거나 카메라 구도를 틀고 새로운 인물이나 사물을 현장에 추가할 수 있다. 생성된 모든 영상과 오디오에는 AI 생성물임을 식별하는 구글의 비가시성 워터마크 신스ID(SynthID)가 삽입된다.

물리 법칙 구현과 시뮬레이션 유지 시간도 개선됐다. 지니 4는 물체 간 충돌 역학, 유체의 흐름, 바람에 흔들리는 나무 등 공기역학적 효과와 캐릭터의 관절 움직임을 이전 세대보다 자연스럽게 묘사한다. 단일 시뮬레이션 세션에서 물체와 배경의 형태가 무너지지 않고 일관성을 유지하는 시간도 최대 2분까지 늘렸다. 2025년 8월 공개된 지니 3와 비교해 일관성 유지 시간이 약 두 배 길어진 셈이다.

피지컬 AI와 로보틱스 관점에서 주목할 대목은 지니 4가 구글의 제미나이(Gemini) 모델 제품군과 결합해 로봇 훈련용 하이브리드 루프를 구축했다는 점이다. 구글 딥마인드는 제미나이 옴니(Gemini Omni)에서 생성되는 가상 환경이 현실 세계의 외형 및 물리적 행동 양식과 어긋나지 않도록 시각적 기반을 잡아준다고 설명한다. 동시에 제미나이 4 아르곤(Gemini 4 Argon)과 제미나이 3.8 플래시(Gemini 3.8 Flash)가 시뮬레이션 순환 구조 내부의 안내 에이전트(Guiding Agent)로 작동한다. 이 모델들은 지니 4가 렌더링하는 장면을 실시간으로 관찰하면서 장기 목표를 세부 작업 단계로 나누고, 각 단계의 성공 여부를 판별한다. 외부 개입이나 환경 변화가 생겼을 때 즉각 작업 계획을 수정하기도 한다.

아직 해결해야 될 문제도 있다. 구글 딥마인드는 시뮬레이션 세션이 길어지거나 프롬프트 수정이 여러 차례 누적될 경우, 시각적 세부 묘사가 흐려지고 사물이 원래 위치를 이탈하는 표류(Visual Drift) 현상 및 객체 영속성(Object Permanence) 손실이 여전히 발생한다고 인정했다.

다단계 로봇 이동 조작 학습을 위한 단계 조건부 정책 최적화 기법

로봇에게 바닥에 놓인 상자를 들어 올려 옮기라고 지시하면 접근하기, 무릎 굽히기, 들어 올리기, 걷기라는 네 가지 세부 단계가 연속해서 일어난다. 각 단계마다 로봇이 취해야 할 자세와 물체에 접촉하는 물리적 방식이 완전히 달라진다. 기존 강화학습에서는 단계별로 별도의 제어 정책을 따로 훈련한 뒤 이를 이어 붙이는 방식을 주로 썼으나, 움직이는 로봇에서 정책이 전환될 때 자세가 불안정해지고 작업이 실패하는 문제가 빈발했다. 반대로 처음부터 끝까지 하나의 보상으로만 학습시키면, 로봇이 상자를 들어 올리는 대신 발로 차거나 바닥에 질질 끌고 가는 식의 편법(Reward Hacking)에 빠지기 일쑤였다.

스위스 취리히 연방공과대학교(ETH Zurich)의 마르코 후터(Marco Hutter) 교수를 비롯한 로보틱스 연구진은 로봇이 인간의 시연 데이터 없이도 환경과의 상호작용만으로 여러 단계가 이어지는 긴 호흡의 이동 조작 작업을 단일 정책으로 습득하는 방법을 제안했다.

연구진은 근접 정책 최적화(PPO) 알고리듬을 확장한 다단계 강화학습 프레임워크를 설계해 단일 통합 정책(Single Unified Policy) 안에서 문제를 풀고자 했다. 전체 제어 구조는 전신 균형과 보행을 담당하는 저수준 제어기와 작업 계획을 조율하는 고수준 정책의 2단계 구조로 나뉜다. 훈련 과정에서는 상태 기계(State Machine)가 작업 단계(Phase) 라벨을 부여하고, 가치 네트워크(Critic)는 단계별 잔차(Phase-Specific Residuals)를 활용해 현재 단계에 맞는 보상 가치를 정밀하게 추정한다.

행동 네트워크(Actor)에는 현재 자신이 어떤 작업 단계에 있는지 스스로 예측하게 만드는 보조 단계 예측 헤드(Auxiliary Phase-Prediction Head)를 달아 학습을 유도했다. 정작 학습이 끝난 뒤 실제 테스트와 현장 배치 단계에서는 외부의 단계 라벨이나 제약 조건을 모두 제거하며, 단일 정책이 스스로 상황을 판단해 전 과정을 매끄럽게 이어간다는 게 연구진의 설명이다.

휴머노이드 로봇(유니트리 G1)과 사족보행 로봇(보스턴 다이내믹스 스팟)에 적용하기 위한 엔지니어링 기법도 다뤘다. 연구진은 휴머노이드가 낮은 자세에서 엉거주춤하게 갇히는 탐색 함정을 피하기 위해 역기구학(IK) 기반의 키프레임(Keyframe)을 활용해 골반 높이와 상체 기울기 명령 범위를 물리적으로 가능한 영역(Convex Hull) 안으로 제한했다. 양손으로 상자를 꽉 쥐고 버티는 작업에서는 위치 이득을 기반으로 관절 위치 편차를 제한해 약 7뉴턴미터(Nm, 회전축 1m 지점에서 수직으로 1N의 힘을 가할 때 발생하는 회전력)수준의 암묵적 토크 제한(Implicit Torque Limit)을 걸었다. 그 결과 모터 과열을 막으면서도 최대 5분 동안 안정적으로 상자를 들고 버티는 데 성공했다.

연구진은 실험 결과 보조 단계 예측 학습을 적용했을 때 스팟 로봇의 타이어 굴리기 성공률은 44%에서 89%로 상승했고, G1 휴머노이드가 두 개의 상자를 미는 복합 작업 성공률은 14%에서 92%로 상승했다고 강조했다.

이번 연구가 거둔 성과는 로봇이 복잡한 연속 작업을 수행할 때 겪던 동작의 분절 현상을 단일 신경망 안에서 해소했다는 데 있다. 인간의 시연 데이터(Teleoperation Data)에 기대지 않고 오직 강화학습과 환경 상호작용만으로 긴 호흡의 이동 조작을 구현해 냈다는 점도 눈여겨볼 부분이다. 막대한 자본을 투입해 데이터 공장(데이터 팩토리)을 짓지 못하는 중소 로보틱스 기업이나 연구 조직에 비용 효율적인 대안을 제시한 셈이다.

IT동아 강형석 기자 (redbk@itdonga.com)