[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

타우 로보틱스, 휴머노이드 활용한 청소 서비스 제공

집안일을 대신해 줄 로봇이 등장한다는 상상은 오랫동안 인류를 설레게 한 소재다. 기술 발전은 결국 상상 속 청소 로봇을 현실로 옮겨놓았다. 2026년 7월 28일, 타우 로보틱스가 휴머노이드 청소 서비스를 시작한다고 발표했다. 타우 로보틱스의 청소 로봇은 주방 조리대를 닦고, 바닥의 쓰레기를 치우며, 진공청소기를 돌리는 가사노동을 직접 도맡는다. 비용은 시간당 30달러(약 4만 2700원)다.

타우 로보틱스는 이 청소 로봇을 어떻게 만들었을까. 사실 이 휴머노이드는 스스로 모든 상황을 판단하고 움직이는 완벽한 자율형 인공지능을 탑재하지 않았다. 로봇의 머리와 손목에 장착된 카메라가 현장 상황을 촬영해 전송하면, 타우 로보틱스 원격 상황실에 상주하는 직원이 실시간으로 영상을 지켜보며 기계를 조종하는 구조다. 인공지능이 모든 돌발 변수를 통제 가능한 수준에 오르기 전까지, 인간의 판단력을 빌리는 이른바 '원격 조작(Teleoperation)' 방식을 도입한 셈이다.

로봇 출장 청소는 서비스 지역이 샌프란시스코로 제한된다. 예약 대상도 샌프란시스코 주민 전체가 아닌, 초청 코드를 받은 소수의 회원으로 한정된다. 고객은 로봇이 가동되는 시간 동안 외출하지 않고 반드시 집에 함께 머물러야 하는 안전 규정도 준수해야 한다.

타우 로보틱스가 이처럼 파격적인 서비스를 도입한 배경에는 데이터 확보라는 목적이 자리한다. 자동차 공장과 같은 산업 현장은 기계가 움직이는 동선과 부품의 위치가 일정한 정형화된 공간이다. 반면 가정집은 가구 배치, 바닥 재질, 조명 밝기가 저마다 다른 데다 반려동물이나 어린아이가 불쑥 튀어나오기도 하는 대표적인 비정형 환경으로 꼽힌다.

원격 조작 방식이라 하더라도, 로봇이 미숙하게나마 청소를 수행하는 동안 카메라와 센서는 집 안의 3차원 공간 데이터는 물론, 원격 조종사가 돌발 상황에서 움직임을 어떻게 보정했는지 보여주는 측정 데이터(Telemetry)까지 함께 축적한다. 미래 로봇 산업의 주도권을 거머쥐기 위해, 타우 로보틱스는 소비자의 안방을 훈련장으로 삼은 셈이다.

로봇 데이터, 경제 논리처럼 중요도 따져야

2026년 7월 27일, 베이징 대학교 연구원 엽일범(Yifan Ye)을 포함한 29명의 공동 연구진이 체화된 데이터 생태계(Embodied Data Ecosystem)를 하나의 피라미드 구조로 정의한 논문 ‘체화된 행동을 위한 데이터 피라미드(Data Pyramid for Embodied Manipulation)’를 공개했다. 이 논문은 로봇 조작 학습에 필요한 데이터를 단일 구조로 해결할 수 없기에, 현실 데이터와 간접 학습 데이터(프록시 데이터) 사이를 피라미드 형태로 분류해 다뤄야 한다고 제안한다.

현재 피지컬 AI 산업에서는 어느 기업이 로봇을 얼마나 보유했는가보다, 로봇 데이터를 어떻게 연결하고 가공하는지가 더 중요한 경쟁력으로 꼽힌다. 예를 들어 공장을 운영하는 기업은 실제 조업 현장에서 나오는 데이터를 비교적 빠르게 모으기 유리하고, 클라우드ㆍ디지털 트윈 기업은 물리 세계를 재현한 가상 학습 환경을 제공하는 데 강점을 지닌다.

연구진은 기계를 학습시키는 데 쓰일 데이터를 '확장성(Scalability)'과 '로봇 정렬(Robot Alignment)'이라는 두 가지 요소를 기준 삼아 5단계 피라미드 구조로 정립했다.

피라미드 기저에는 범용 시각ㆍ언어 데이터가 자리한다. 구하기 쉽고 데이터 규모를 확장하는 데 유리하지만, 기계의 움직임이나 물리 법칙과는 거리가 멀다. 피라미드의 중심을 차지하는 데이터는 가상 환경에서 끊임없이 생산되는 시뮬레이션 데이터, 인간의 시선과 몸짓을 담은 1인칭ㆍ3인칭 영상 데이터, 범용 조작 인터페이스(UMI)를 거쳐 확보한 데이터다. 가장 중요한 데이터는 로봇이 현실 세계에서 직접 부딪히며 얻어낸 실증 데이터다. 전체 분량은 턱없이 부족하고 수집 비용도 막대하지만, 모터 제어와 센서 값에 완벽하게 들어맞는 최상급 품질의 자원이다.

연구진은 데이터를 최신 비전ㆍ언어ㆍ행동 모델(VLA)이나 세계-행동 모델(WAM)에 무작정 많이 투입할 필요는 없다고 강조한다. 오히려 다양한 데이터를 효율적으로 최적화하는 일이 향후 로봇 생태계를 좌우할 주요 경쟁력이 될 것이라고 분석했다.

영상과 행동을 분리하면 학습 효율이 개선된다

2026년 7월 27일, 캘리포니아 대학교 연구원 장멍치(Mengqi Zhang)를 비롯해 조지아공대, 메타 등 소속 연구진이 논문 한 편을 공개했다. 로봇의 '시각적 상상력'과 '실제 행동 제어'를 억지로 묶지 않고 각자의 전문 영역으로 분리해 학습 효율을 끌어올리는 방법을 다룬 ‘로봇 정책 학습을 위한 물리적 가이드를 포함한 분리형 비디오-액션 모델(Decoupled Video-Action Model with physical guidance for robot policy learning)’이라는 연구다.

현행 비전ㆍ언어ㆍ행동 모델(VLA)이나 초기 비디오ㆍ행동 통합 모델은 하나의 거대한 신경망 덩어리가 영상 예측과 동작 제어를 동시에 처리하도록 설계됐다. 인간으로 치면 눈으로 미래 상황을 그려보는 뇌의 부위와, 팔다리 근육을 움직이는 부위를 무리하게 하나로 합쳐놓은 셈이다. 이런 통합형 구조는 모델 최적화가 까다롭고, 기계가 새로운 동작을 배우는 속도를 늦춘다. 시각 정보를 픽셀(점) 단위로 렌더링하는 과정에서 발생하는 방대한 연산량이, 정작 중요한 운동 신경의 발달을 방해한 셈이다.

연구진은 시각을 전담하는 '비디오 전문가(Video Expert)'와 움직임을 전담하는 '행동 전문가(Action Expert)' 트랜스포머 모듈을 완전히 분리하자고 제안한다. 두 영역을 떼어내 각자 가장 잘하는 일에 집중하게 만든 뒤, 다층적 특징 전송(Multi-level feature transfer)이라는 다리를 놓아 중간 정보를 교환하면 된다는 설명이다. 비디오 모듈이 상황이 어떻게 흘러갈지 다각도로 예측해 내면, 시공간 정보만 행동 모듈로 넘겨주는 게 핵심이다. 뇌의 시각 피질이 상황을 인지하자마자 운동 피질로 필요한 신호만 빠르고 정확하게 전달하는 과정과 닮았다.

'물리적 가이던스(Physical Guidance)'라는 개념도 제안했다. 기계가 렌즈를 통해 바라보는 2차원 평면 영상에 깊이감(Depth)과, 사물과 상호작용이 가능한 부위(Affordance)에 대한 공간적 이해를 강제로 주입한 구조다. 시각 모듈이 엉뚱하게 배경 화면이나 허공을 상상하는 낭비를 막고, 로봇 팔이 직접 맞부딪쳐야 할 3차원 공간의 물리적 제약과 기하학적 형태에만 온전히 집중하도록 시야를 좁혔다는 게 연구진의 설명이다.

DeVA는 제한적인 작업 데이터만 주어져도 기존 통합형 모델이나 확산 정책(Diffusion Policy)보다 빠른 학습 속도와 정교한 제어 능력을 구축한다고 강조한다. 연구는 앞으로 피지컬 AI 생태계가 각 기능의 전문성을 살린 '모듈화'와, 현실의 물리적 제약을 우선시하는 '효율화' 흐름으로 이어질 것임을 암시한다.

IT동아 강형석 기자 (redbk@itdonga.com)