[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

애자일 로봇, 연구용 휴머노이드 '애자일 원 SN' 공개

2026년 10월 21일, 독일 피지컬 AI(현실 세계에서 몸을 움직여 일하는 AI) 기업 애자일 로봇(Agile Robots)이 연구용 휴머노이드 기준 플랫폼 '애자일 원 SN(Agile ONE SN)'을 공개했다. 엔비디아 그루트(GR00T) 기반 모델과 젯슨 토르 연산 장치를 로봇 본체에 묶은 패키지다. 아우디 잉골슈타트(Ingolstadt) 공장의 자동차 부품 물류 공정에서 제조 자동화 기술 실증(PoC, 현장 적용 가능성을 미리 따져보는 시험) 프로젝트도 진행한다. 업계의 시선이 쏠리는 대목이다.

본체는 키 1.4m, 무게 40kg이다. 관절 자유도(움직일 수 있는 축의 수)는 31개이며, 한쪽 팔로 3kg까지 들어 올린다. 손에는 우지 핸드 2(WUJI Hand 2)를 달았다. 손 하나에 자유도 20개, 1kHz(초당 1000회) 단위 힘 제어, 촉각 감지 기능을 갖춰 사람 손에 가까운 정교한 작업을 겨냥한다. 머리와 손목에는 카메라, 라이다(레이저로 거리를 재는 센서), 관성측정장치(기울기와 움직임을 읽는 센서)가 붙는다. 이 장치들이 읽어낸 주변 정보는 젯슨 토르가 처리한다.

휴머노이드 연구에 뛰어든 대학 연구소와 기업의 어려움은 파편화된 개발 환경이다. 본체를 구매해도 끝이 아니라, 카메라 센서를 연동하고 시뮬레이션 환경을 구축하고 AI 모델을 이식해야 초기 설정이 마무리된다. 이 과정에 짧게는 수주, 길게는 수개월이 들었다. 애자일 원 SN은 하드웨어와 AI 하드웨어, 시뮬레이션 자산을 처음부터 하나로 내놓는다. 준비 기간은 며칠 수준으로 단축된다.

애자일 로봇은 엔비디아의 피지컬 AI 안전 플랫폼인 ‘할로스(NVIDIA Halos)’를 휴머노이드 제어 체계에 통합하는 계획도 공개했다. 로봇이 보행 균형을 잃지 않으면서 자연스럽게 보폭을 줄이고 우회하는 능동형 안전 제어 기능이 주 기술로 꼽힌다. 의도적인 접촉이 필요한 상황에서는 로봇이 스스로 신체 부위와 상황에 맞춰 속도와 힘(토크)의 한계치를 실시간으로 조절하는 ‘내장형 접촉 한계(Contact limits)’ 기능도 도입한다.

미쓰비시전기, 자연어 기반 피지컬 AI 가공 시스템 개발

2026년 10월 21일, 일본 종합 전기·전자 기업 미쓰비시전기(Mitsubishi Electric)가 범용 휴머노이드 로봇과 컴퓨터 수치제어(CNC) 공작기계를 유기적으로 결합한 피지컬 AI 제조 시스템을 공개했다. 이 장비는 숙련공 부족에 직면한 일본 내 금속 가공 및 정밀 제조 현장의 문제를 해결할 대안으로 주목받는다.

제조 현장에서 CNC 공작기계에 금속 소재를 넣거나 가공이 끝난 부품을 꺼내는 작업(머신 텐딩)을 자동화하려면 비용과 공간이 필요했다. 거대한 산업용 로봇 팔을 바닥에 고정 설치해야 했고, 로봇과 공작기계가 서로 신호를 주고받을 수 있도록 전문 엔지니어가 일일이 전용 통신 기능과 복잡한 제어 코드를 작성해야 한다. 다품종 소량 생산을 하는 중소 규모 공장에서는 가공할 부품이 바뀔 때마다 복잡한 통합 작업을 매번 반복해야 하므로 자동화를 포기하는 기업이 많았다.

미쓰비시전기는 범용 휴머노이드 로봇을 투입하고, 자체 인공지능 브랜드인 마이삭트(Maisart) 기반 피지컬 AI 기술을 이식해 문제를 해결하고자 했다. 기존 설비를 뜯어고치지 않고도 사람이 서서 일하던 자리에 휴머노이드 로봇을 그대로 세워 작업하게 했기에 가능한 구조다.

이 시스템은 세 가지로 구성된다. 먼저 AI 가공 작업 플래너(AI machining task planner)다. 현장 작업자가 전문 프로그래밍 언어 대신 일상적인 자연어(사람의 말이나 글)로 기본 작업 지시를 내리면, 플래너가 이를 분석해 전체 가공 일정을 설계한다. 이어 피지컬 AI가 탑재된 CNC 공작기계로 가공 상태나 문 열림 시점 같은 운영 정보를 자연어 형태로 로봇과 실시간으로 주고받으며 작업을 조율한다. 범용 휴머노이드 로봇은 공작기계와 대화를 나누며 원재료를 장착하고 완성품을 꺼내는 노동 작업에 쓰인다.

미쓰비시전기가 개발한 피지컬 AI 시스템은 기계와 로봇 모두에게 인간의 언어와 물리적 상황 판단력을 부여해, 사람 관리자가 "오늘 오전에는 이 도면대로 부품 50개만 깎아 줘"라고 말하면 공작기계와 휴머노이드가 알아서 신호를 주고받으며 작업을 마무리한다. 미쓰비시전기는 이 기술로 현장 인력난을 해소하고 로봇별 개별 통합 작업에 들어가는 시간과 비용을 크게 줄일 수 있을 것으로 내다봤다. 상용화 예상 시점은 2030년경으로 완전 무인화 공장(자율 제조) 구축이 목표다.

보이지 않는 사각지대를 먼저 그려보고 움직이는 ‘AWAM’

시각·언어·행동(VLA) 모델과 확산 정책(Diffusion Policy)의 발전 덕분에 로봇은 사람의 언어 지시와 카메라 영상을 입력받아 다양한 물체를 조작할 수 있게 됐다. 하지만, 대부분 정형화된 환경에서 이루어진 것이어서 변수에 취약하다는 한계도 뒤따른다.

여느 월드 액션 모델(World Action Models), 예컨대 모투스(Motus)나 고속-WAM(Fast-WAM) 같은 모델들은 로봇이 앞으로 행동할 때 미래의 장면이 어떻게 변할지를 예측하는 데 초점을 맞췄다. 반면, 보이지 않는 곳을 확인하는 예측하는 것은 어렵다. 로봇 팔을 직접 이리저리 움직여 카메라 각도를 바꾸는 기존 능동 인식(Active Perception) 방식은 불필요한 물리적 이동으로 인해 작업 시간이 길어지고 주변 물체와 충돌할 위험을 키웠기 때문이다.

푸단대 연구팀은 이 문제를 해결하기 위해, 로봇이 몸을 실제로 움직이기 전, 가상의 시점 이동과 상상(View Imagination)을 먼저 수행하는 능동형 월드 액션 모델(AWAM, Active World Action Model)을 제안한다.

실제 물류 창고나 가정집 식탁 위는 다른 것처럼 피지컬 AI 환경은 예측이 어렵다. 로봇에게 "수프 통을 집어서 바구니에 넣어라"라고 지시했을 때, 고정된 로봇의 카메라나 손목 카메라 위치에서는 다른 잡동사니에 가려 수프 통 또는 바구니가 보이지 않는 경우가 허다하다. 결정적인 시각 정보가 인식되지 못하면, 아무리 뛰어난 행동 모델을 가진 로봇이라도 부정확한 행동을 취한다.

연구진은 로봇 조작의 실패 원인이 행동 제어 능력 부족이 아니라 '인식의 병목(Perceptual Bottleneck)'에 있다고 진단했다. 이에 AWAM은 인간의 공간 추론 과정을 구현하기 위한 수학적·구조적 파이프라인을 3단계로 나눠 수행하도록 설계됐다.

먼저 로봇은 고정된 외부 카메라와 로봇 손목에 달린 카메라를 통해 초기 색상 및 깊이 정보(RGB-D), 카메라 보정 값, 그리고 사용자의 언어 지시를 담은 초기 관측 데이터를 입력받는다. 이어 로봇 제어를 시작하기 전에 단 한 번만 3단계 과정을 거쳐 ‘공간 기억'을 구축한다.

처음 진행하는 과정은 작업 맞춤형 가상 카메라 궤적 예측이다. 모델은 초기 화면과 언어 지시, 초기 손목 위치를 분석해 가려진 목표물을 잘 볼 수 있는 '가상의 카메라 이동 경로를 설계한다. 학습 과정에서는 실제 숙련된 시연자의 손목 카메라 이동 경로를 지도 신호로 삼아 어디를 봐야 작업에 유리한지 따진다. 카메라 이동 경로는 어디까지나 머릿속으로만 그리는 가상 경로일 뿐, 로봇이 이 궤적을 따라 실제로 팔을 움직이지 않는다. 탐색(Perceptual exploration)과 실제 물리적 이동(Robot motion)을 완전히 분리한 구조다.

이후 기하학 기반 월드 모델링과 예측 메모리 압축 과정으로 이어진다. 설계한 가상 카메라 궤적을 따라 시점을 옮겼을 때 어떤 풍경이 보일지를 월드 모델이 상상한다. 눈에 보이는 3차원 점군 데이터를 각도만 틀어 다시 렌더링(Warping)하면, 원래 가려져 있던 뒷부분은 데이터가 없어 시커먼 구멍(Hole)으로 처리된다.

연구진은 이를 극복하기 위해 기하학적 조건이 부여된 최신 월드 모델인 '월드스테레오(WorldStereo)'를 조작 환경에 맞게 개조해 도입했다. 이 모델은 가려진 영역의 빈 공간을 생성해 채워 넣으며 다각도 잠재 특징(Latent features)을 추출한다.

AWAM은 무겁고 연산량이 많은 고화질 RGB 비디오를 끝까지 다 만들어내어 행동 모델에 넘기지 않는다. 대신 월드 모델 내부의 중간 기하학적 예측 특징(Intermediate predictive features)만 쏙 뽑아낸 뒤, 시점 간 어텐션(Inter-view attention) 기법을 통해 고정된 크기의 압축 토큰 세트인 '초기 예측 월드 메모리’로 저장한다.

초기 예측 월드 메모리는 작업이 끝날 때까지 캐시(예비공간) 형태로 보관되어 계속 재사용된다. 제어 순간마다 확산 기반 행동 정책은 실시간 카메라로 들어오는 생생한 현재 영상 및 로봇 관절 상태를 교차 어텐션(Cross-attention)을 통해 저장된 월드 메모리와 결합하여 다음 행동 묶음을 생성한다.

연구진은 AWAM의 시야 가림과 환경 변화가 극심한 3개의 시뮬레이션 벤치마크와 실제 로봇 환경에서 대규모 검증을 거쳤다고 강조한다. 4개의 세부 영역(공간, 물체, 목표, 장기 작업)에 걸쳐 총 2,000회의 롤아웃 평가를 진행하는 시야 가림 특화 벤치마크 '리베로-오클루전(LIBERO-Occ)'에서 평균 75.9%의 작업 성공률을 기록했다. 이 외에 카메라 시점이나 조명, 배경 등이 학습 때와 달라지는 분포 이동(Distribution shift) 환경인 '리베로-플러스(LIBERO-Plus)'에서 62.4%, 복잡한 장애물 환경인 'RLBench-OG Occlusion1'에서 76.5%의 성공률을 기록했다.

하지만 한계도 존재한다. AWAM이 에피소드 시작 시점에 딱 한 번만 공간 기억을 생성하고 작업 도중에는 이 기억을 새로 업데이트하지 않는다. 따라서 작업이 길어지며 주변 물체의 배치가 크게 바뀌는 상황에서는 초기 기억의 효용성이 떨어진다.

그럼에도 AWAM은 시각을 수동적으로 받아들이는 감각의 영역에 두지 않고, 무엇을 어떻게 볼지 먼저 설계하는 계획의 영역으로 전환했다는 점에서 주목받는다. 연산 비용이 많이 드는 상상 과정은 작업 초기에 단 한 번만 수행해 메모리에 올려두고, 실제 제어는 가볍고 빠르게 전환하기에 향후 엣지 연산 자원이 제한된 상용 휴머노이드나 물류 피킹 로봇 대상으로 적용될 가능성이 열렸다.

IT동아 강형석 기자 (redbk@itdonga.com)