[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

"휴먼, 나에게 로봇 학습 데이터를 줘!" 피규어 AI의 도전은 성공할까?

2026년 8월 25일(이하 미국 기준), 휴머노이드 로봇 제조사 피규어 AI(Figure AI)는 데이터 수집 앱 인덱스(Index)를 공개하며 피지컬 AI 학습용 데이터 확보에 나섰다. 제한된 환경이나 디지털 트윈(가상 공간)에서 얻는 데이터보다 실제 생활 공간에서 촬영한 영상을 바탕으로 피지컬 AI를 학습시키겠다는 구상이다. 피규어 AI는 앞으로 12개월간 데이터 확보와 컴퓨팅 인프라에 10억 달러(약 1조 3827억 원)를 투입할 계획이다.

인덱스는 구글 플레이스토어와 애플 앱스토어에서 내려받을 수 있다. 앱을 설치한 뒤 스마트폰이나 웨어러블 카메라를 착용하고 집안일이나 매장 업무를 수행하면, 피규어 AI가 그 영상을 사들여 로봇 학습용 데이터로 가공하는 방식이다. 회사 측은 비공개 테스트 기간 동안 108개국에서 앱 저장 건수 26만 4000건, 주간 활성 사용자 4만 4000명, 업로드 영상 1600만 건을 기록했다고 밝혔다. 앱을 정식 출시하면 데이터 수집 규모는 한층 빠르게 불어날 전망이다.

다만 촬영된 영상 전부가 구매 대상은 아니다. ▲필터링(중요도 검수) ▲부정행위 검수 ▲중복 제거 ▲재구성 ▲주석 작업 등의 내부 조건을 통과해야 실제 학습 데이터로 채택된다. 중복 데이터를 최대한 걸러내는 데 초점을 맞춘 절차다.

피규어 AI가 노리는 목표는 명확하다. 가정과 기업 현장에서 쏟아지는 데이터를 하나라도 놓치지 않고 로봇에게 학습시키겠다는 것이다. 모델 크기와 학습 데이터양, 연산 자원이 늘어날수록 성능이 향상된다는 스케일링 법칙을 정면으로 파고든 전략이다.

이번 시도가 눈길을 끄는 대목은 합성 데이터가 아닌, 사람이 직접 찍은 영상 위주로 학습 데이터를 구성한다는 점이다. 일례로 엔비디아는 88시간 분량의 텔레오퍼레이션(원격조종) 데이터를 시뮬레이션으로 확장해 6500시간짜리 코퍼스(대규모 데이터 집합체)를 만들었다. 피규어 AI는 정반대 노선을 택했다. 처음부터 끝까지 직접 수집한 영상만 학습에 쓴다는 점에서 차별화를 꾀한 셈이다.

"중저가 엣지 단말기 시장 놓치지 않는다" 엔비디아, 젯슨 오린 나노 2 공개

2026년 8월 25일, 엔비디아는 보급형 로봇용 엣지 장비 젯슨 오린 나노 2(Jetson Orin Nano 2)를 공개했다. 78 TOPS(초당 78조 회 AI 연산) 성능에 8GB 메모리, Arm 기반 8코어 중앙처리장치(CPU)를 갖췄다. 엔비디아는 전작과 동일한 폼팩터를 유지하면서 추론 성능은 두 배로 끌어 올리고, 같은 성능을 낼 때 소비전력은 40% 낮췄다고 설명했다. 배송 드론, 검사용 드론, 비전 AI 시스템처럼 고성능보다 효율이 우선시되는 환경에 맞춰 최적화됐다.

젯슨 오린 나노 2는 산업용 머신비전 기업 코그넥스(Cognex), 건설장비 제조사 두산밥캣(Doosan Bobcat), 가정용 로봇 스타트업 매틱(Matic) 등이 우선 도입하거나 평가 중인 것으로 알려졌다. 알파벳 산하 드론 배송 자회사 윙(Wing)도 이 장비의 실증을 진행 중이다.

고성능 실시간 추론이 필요한 로봇용 젯슨 토르(Jetson Thor)와 비교하면 젯슨 오린 나노 2의 성능은 초라한 편이다. 젯슨 토르의 2070 TOPS에 견줘 1/27 수준의 연산 성능에 그치기 때문이다. 다만 엔비디아 피지컬 AI 생태계 자원 대부분을 그대로 활용할 수 있어 접근성만큼은 높다. 자체 AI 모델 네모트론(Nemotron) 외에도 구글 젬마4(Gemma 4), 알리바바 큐원3(Qwen 3) 등 외부 오픈모델까지 지원한다.

엔비디아는 젯슨 오린 나노 2를 통해 피지컬 AI용 하드웨어 저변을 넓히는 데 주력할 전망이다. 휴머노이드와 달리 배송 로봇, 검사 드론, 홈 로봇 등 저가형 기기 시장에서는 신경망 처리장치(NPU)와 Arm 기반 소형 CPU 제조사 간 경쟁이 이미 치열하다. 피지컬 AI 시장 전체에서 가장 큰 비중을 차지하는 중소형 엣지 장비 영역에서도 영향력을 놓치지 않겠다는 포석이다.

하지만 변수는 반도체 공급난이다. 엔비디아는 젯슨 오린 나노 2 장비와 개발자 도구를 2027년 상반기 출시할 계획이며, 가격은 아직 공개하지 않았다. 전작인 젯슨 오린 나노 슈퍼가 249달러에 책정됐던 점을 감안하면, 이보다 비슷하거나 더 낮은 가격을 내놓지 않는 이상 시장의 주목을 받기는 쉽지 않아 보인다.

로봇은 기다리는 순간에도 행동을 배워야 한다

2026년 8월 24일, 지멘스(Siemens)와 서지 레빈(Sergey Levine) UC 버클리 교수, 마이크로소프트, 취리히연방공대(ETH Zurich) 소속 연구자들은 추론 지연을 극복하는 강화학습 기법을 제안해 눈길을 끌었다. 산업계와 학계가 손잡고 내놓은 결과물이라는 점에서도 의미가 남다르다.

연구진은 실전 배치 단계에 접어들수록 골칫거리로 떠오르는 강화학습 문제를 연구했다. 인식·언어·행동(VLA) 모델처럼 몸집이 큰 범용 로봇 정책은 배포 이후에도 강화학습으로 성능을 계속 끌어올릴 수 있다는 강점을 지닌다. 문제는 모델이 커질수록 한 번의 행동을 결정하는 데 걸리는 추론 시간, 즉 지연시간(레이턴시)도 함께 늘어난다는 점이다. 로봇이 다음 동작을 계산하는 동안 멈칫거리거나 뚝뚝 끊기는 움직임을 보이는 현상이 대표적인 부작용이다.

강화학습 알고리즘 대부분은 '마르코프 가정(Markov Assumption)'이라는 수학적 전제 위에서 돌아간다. 로봇이 지금 관측한 상태만 파악하면 다음 행동을 판단할 수 있다는 가정이다. 그런데 추론 지연이 생기면 로봇이 행동을 결정한 시점의 환경과 그 행동이 실제 실행되는 시점의 환경이 서로 어긋나 버린다. 계산이 끝나기를 기다리는 사이 세상은 이미 달라져 버린 셈이다.

연구진은 추론 지연이 발생하면 마르코프 가정 자체가 무너지고, 표준 강화학습 알고리즘은 학습에 실패한다고 지적한다. 모델이 크고 똑똑할수록 오히려 강화학습으로 개선하기가 더 까다로워지는 상황이 벌어지는 셈이다.

연구진이 제시한 해법은 중간 정보를 활용한 '비동기 강화학습(ARLI, Asynchronous RL with Intermediate Information)'이다. 출발점은 최근 VLA 모델 배포 현장에서 널리 쓰이는 '비동기 추론' 기법이다. 다음 행동을 계산하는 동안에도 로봇이 직전에 계산해 둔 행동을 계속 실행하게 해서, 계산 지연을 움직임 뒤로 감추는 방식이다.

문제는 비동기 추론 자체가 강화학습과 궁합이 나쁘다는 점이다. 연구진은 이 간극을 '상태 증강'과 '추론 중 관측치 삽입'이라는 두 가지 기술로 메울 수 있다고 봤다.

상태 증강은 강화학습 정책이 참고하는 상태 정보에, 로봇이 이미 실행하기로 확정한 행동 정보까지 함께 담는 방식이다. 지연 탓에 무너졌던 마르코프적 구조를 어느 정도 되살릴 수 있다는 논리다. 추론 중 관측치 삽입은 계산이 끝나기만 마냥 기다리는 대신, 추론 윈도 중간 시점의 관측 정보를 정책에 추가로 흘려보내 반응성을 최대한 끌어올리는 접근이다.

연구진은 시뮬레이션 환경과 실제 로봇 조작 과제 양쪽에서 ARLI를 검증했다. 그 결과 표준 강화학습 알고리즘이 추론 지연 탓에 학습에 실패하는 조건에서도 안정적인 성능 향상을 끌어냈다고 주장했다. 지연이 전혀 없는 이상적인 환경에서 이뤄진 표준 강화학습과 견줘도 ARLI는 뒤지지 않는 성능을 구현했다고 덧붙였다.

로봇 파운데이션 모델은 갈수록 몸집을 불리는 추세다. 반면 몸집이 커질수록 실시간성은 떨어지는 딜레마가 함께 따라붙는다. 업계는 그동안 이 문제를 주로 모델 경량화나 추론 가속화 같은 하드웨어·엔지니어링 관점에서 풀어왔다. 이번 논문은 강화학습 알고리즘 자체를 지연에 맞게 다시 설계했다는 점에서 새로운 접근으로 주목받는다.

IT동아 강형석 기자 (redbk@itdonga.com)