[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.
시마AI, 저전력 단일 칩에서 대형 AI 모델 돌리는 '팔레트 3.0' 공개
2026년 11월 17일(이하 미국 기준), 피지컬 AI 반도체 기업 시마AI(SiMa.ai)가 에이전틱 소프트웨어 플랫폼 '팔레트 3.0(Palette 3.0)'을 공개했다. 시마AI는 지난 6월 피지컬 AI 애플리케이션 개발 과정을 자동화하는 에이전틱 플랫폼 팔레트를 처음 선보인 바 있다. 이번에 공개한 팔레트 3.0은 다중 AI 모델 동시 실행 역량과 추론 효율을 대폭 끌어올리는 데 초점을 맞췄다.
눈여겨볼 기술은 추측 디코딩(Speculative Decoding) 알고리듬의 엣지 적용이다. 추측 디코딩은 가벼운 보조 모델이 다음 단어나 토큰 여러 개를 먼저 예측하고, 본 모델이 이를 한 번에 검증해 생성 속도를 높이는 기법이다. 시마AI는 이글(EAGLE)3, 디플래시(DFlash), 젬마(Gemma) 4 MTP 알고리듬을 팔레트 3.0에 통합했다. 이를 통해 전력 소모가 엄격히 제한된 엣지 환경에서도 초당 토큰 처리량(TPS)을 기존 대비 최대 3.5배까지 늘렸다는 게 시마AI 측 설명이다. 드론이나 이동형 로봇은 배터리 용량이 곧 작동 시간으로 직결된다. 연산 전력을 크게 쓰지 않고도 추론 속도를 높인 점은 경제성에 영향을 줄 전망이다.
대규모 언어·추론 모델의 엣지 수용 범위도 넓혔다. 시마AI의 자료에 따르면 팔레트 3.0은 오픈AI의 'GPT-OSS-20B'처럼 파라미터(매개변수) 규모가 큰 전문가 혼합(Mixture-of-Experts, MoE) 모델까지 자사 모달릭스(Modalix) MLSoC 기반 16GB 시스템 온 모듈(SoM) 단일 칩 위에서 구동한다. MoE 모델은 질문 성격에 맞춰 전체 신경망 중 필요한 일부 전문가 모듈만 깨워 연산하는 방식이다. 클라우드 서버로 데이터를 왕복시키지 않고 기기 내부의 16GB 메모리만으로 대형 파운데이션 모델을 처리하면 통신 지연과 보안 우려를 동시에 덜어낼 수 있다. 완전 자율형 드론과 로보틱스 시스템이 현장에서 스스로 판단하고 행동하는 기반을 마련한 셈이다
개발자 생태계 확장 행보도 눈에 띈다. 시마AI는 생성형 AI 기반 피지컬 AI 앱 개발을 돕는 개방형(오픈소스) 기능을 깃허브(GitHub)에 공개했다. 자사 웹사이트 내 '모델 브라우저(Model Browser)'를 통해 드론과 로보틱스 주요 모델의 실측 성능 지표도 투명하게 공개했다. 연구실 이론치가 아니라 실제 현장의 전력 제약 조건을 반영해 측정한 데이터라는 점이 차별점이다. 시마AI는 2026년 12월 2일과 12월 8일에 온라인 기술 세미나를 열어 팔레트 3.0 기반 자율 기기 개발 기법을 개발자들에게 직접 시연할 계획이다.
시마AI는 현장 요구에 맞춘 전용 소프트웨어와 실리콘을 함께 설계해 현재 하드웨어로 미래 기능을 구현하겠다는 전략이다. 엣지 AI 반도체 경쟁이 연산량 수치 대결에서 소프트웨어 최적화와 와트당 다중 모델 구동 능력으로 이동하고 있음을 보여주는 사례다.
오르벡, 1ms 동기화 멀티모달 데이터 수집 플랫폼 공개
로보틱스·AI 비전 전문 기업 오르벡(Orbbec)이 2026년 11월 17일 인도 벵갈루루에서 피지컬 AI 학습용 실세계 멀티모달 데이터 수집 솔루션을 공개했다. 오르벡은 인도 현지 파트너사 씽크로보틱스(ThinkRobotics)와 함께 11월 17일부터 19일까지 벵갈루루 국제전시센터(BIEC)에서 열린 '벵갈루루 테크 서밋 2026'에서 플랫폼을 알렸다.
피지컬 AI 개발 현장에서 가장 중요한 자원은 고품질 실세계 시연 데이터다. 시뮬레이션 가상 공간에서 아무리 많은 데이터를 만들어도 실제 물체의 마찰력, 조명 반사, 미세한 손끝의 힘 조절까지 완벽하게 재현하기는 어렵다. 게다가 로봇에게 시각 정보만 제공해서는 정교한 조립이나 가사 노동을 가르치지 못한다. 눈으로 보는 영상과 손목 각도, 물체에 닿는 촉각과 힘 데이터를 찰나의 오차 없이 한데 맞춰 기록해야 쓸모 있는 학습 데이터가 완성된다. 오르벡은 바로 이 데이터 수집 장비의 표준화를 노린다.
오르벡의 데이터 수집 플랫폼은 상호 보완하는 4개 하드웨어 라인업으로 짜였다. 첫째는 작업자가 머리에 착용해 1인칭 시점 시연을 촬영하는 '에고(EGO)' 카메라군이다. 용도에 따라 세 모델로 세분화했는데, 에고 듀얼(EGO Dual)은 63mm와 120mm 스테레오 베이스라인을 지원해 입체 거리감을 정교하게 담는다. 에고 쿼드(EGO Quad)는 200만 화소(2MP) 어안 RGB 카메라 4대를 탑재해 작업 공간 전체를 넓은 시야각으로 포착한다. 에고 뎁스(EGO Depth)는 RGB 영상과 깊이(Depth) 정보, 관성측정장치(IMU) 데이터를 통합 타임스탬프와 공간 정렬 기준으로 묶지 않고 단일 좌표계에 정밀 정렬해 결합한다.
둘째는 손목에 착용하는 '리스트캠(WristCam)'이다. 머리 위 시점 카메라만으로는 작업자의 손등이나 팔에 가려 놓치기 쉬운 근거리 손-물체 상호작용을 바로 옆에서 밀착 촬영한다. 셋째는 'UMI' 모듈이다. RGB 영상 촬영 기능에 촉각 센싱(Tactile sensing) 기술을 통합해 시각 정보와 물리적 접촉, 작용하는 힘 데이터를 동시에 기록한다. 넷째는 이들 장비를 하나로 제어하는 '허브(Hub)'다.
오르벡 플랫폼의 차별점은 하드웨어 수준의 다중 기기 시간 동기화 기술이다. 허브가 연결된 모든 센서의 시간 오차를 1밀리초(1ms, 1000분의 1초) 미만으로 맞춘다. 영상 프레임과 깊이 지도, 관성 센서 값, 손끝 촉각과 힘 데이터가 시공간 축에서 한 치의 어긋남 없이 정렬된다. 로봇 동작 정책을 학습시킬 때 센서 간 시간차가 크면 AI가 원인과 결과를 잘못 학습해 오작동을 일으킨다. 서브밀리초 동기화는 데이터 품질을 좌우하는 결정적 요소다. 장시간 데이터를 모으는 작업자의 피로도를 줄이려 경량 인체공학 설계를 적용한 점도 주목받는다.
오르벡은 완제품 공급에 그치지 않고 고객사의 작업 특성과 예산 규모에 맞춘 위탁생산(CM), 공동설계생산(JDM), 브랜드 맞춤형 서비스를 제공한다. 벵갈루루 행사에 참여한 건 중국과 미국 외에도 급성장하는 인도 로보틱스·피지컬 AI 생태계에 데이터 인프라 공급망을 넓히려는 전략적 포석으로 읽힌다.
예측 입력 선행 탐색과 선택적 KV 캐시 복구로 로봇의 행동을 개선하다
VLA 모델을 실제 로봇에 탑재하면 동작이 매끄럽게 이어지지 않고 주기적으로 뚝뚝 끊기는 '스톨(Stall, 멈칫거림)' 현상이 발생한다. 로봇이 한 묶음의 행동 청크(Action Chunk)를 마친 뒤 다음 행동을 결정하기 위해 방대한 VLA 신경망을 구동하는 과정에서 팔을 멈추고 기다려야 하기 때문이다. 기존 동기식(Synchronous) 실행 방식은 이 추론 지연 시간을 동작 정지로 구현한다. 이를 피하려고 동작 도중에 미리 다음 추론을 돌리는 비동기식(Asynchronous) 스케줄링도 등장했지만, 정작 추론을 시작할 때의 오래된 과거 카메라 이미지를 입력으로 쓰는 한계를 지닌다. 그사이 목표 물체가 조금이라도 움직이거나 로봇 팔이 미세하게 밀리면 엉뚱한 허공을 잡는 실패로 이어진다.
타오 장(Tao Zhang) 베이징대학교 집적회로 연구원을 포함한 7인의 연구진은 VLA 모델의 상용화를 가로막는 고질적 추론 지연 문제 해결을 위해 ‘예측 입력 선행 탐색과 선택적 KV 캐시 복구를 통한 스톨 저감 VLA 실행(SR-VLA)’ 기법을 제안한다.
SR-VLA는 미래 관측을 미리 그려 계산을 숨기는 '예측 입력 선행 탐색(Predicted-Input Lookahead)'과 실제 입력이 도착했을 때 어긋난 부분만 콕 집어 고치는 '선택적 KV 캐시 복구(Selective KV Cache Repair)'의 2단계 구조로 문제를 해결하고자 했다.
1단계에서는 로봇이 현재 확정된 행동 청크를 수행하는 동안, 별도로 학습시킨 경량 예측기(Predictor)가 현재 카메라 영상, 로봇의 고유수용성 상태(관절 각도 등), 실행 중인 행동 정보를 받아 다음 의사결정 경계 시점의 미래 영상과 로봇 상태를 예측한다. 이어 가중치를 그대로 동결(Frozen)한 기본 VLA 모델에 이 예측값을 집어넣는다.
VLA 모델은 실제 센서 데이터가 도착하기도 전에 투기적(Speculative) 키-밸류(KV) 캐시와 다음 행동 청크를 미리 계산해 둔다. KV 캐시는 트랜스포머 모델이 이전 계산 결과를 임시 기억해 두는 작업 메모리다. 로봇이 물리적으로 움직이는 시간 뒤에 무거운 AI 추론 시간을 숨겨버리는 전략이다.
2단계는 실제 경계 시점의 진짜 카메라 영상과 로봇 상태가 도착한 직후에 진행되는데, 예측 모델이 실제 현장과 거의 일치하면 미리 만들어 둔 행동을 즉시 실행해 대기 시간을 최소화한다. 반대로 외부 충격이나 물체 이동으로 예측과 현실이 어긋나면 게이팅(Gating) 모듈이 작동한다. 이때 모델 전체를 백지상태에서 다시 연산하지 않는다.
추가로 작업 관련성과 보호 조건을 따져 변화가 생긴 영역의 KV 캐시만 선택적으로 수리하고 행동을 재생성한다. 연구진은 실험에서 동일한 게이팅 정책 아래 전체 재계산 대신 선택적 KV 복구를 적용하자 경계 스톨 시간이 54.78밀리초(ms)로 떨어졌다고 강조했다.
기본 VLA 모델인 피지컬 인텔리전스의 '파이0.5(행동 청크 K=5)'와 'OpenVLA-OFT(행동 청크 K=8)'의 가중치를 일절 재학습하지 않고 그대로 동결한 채 예측기만 추가 학습한 결과, 기존 모델 생태계에 플러그인처럼 덧붙일 수 있음을 입증했다는 게 연구진의 설명이다. 로봇 조작 벤치마크 LIBERO 테스트 자료에 따르면, SR-VLA는 동기식 파이0.5 대비 2.67배, 동기식 OpenVLA-OFT 대비 1.27배의 쿼리 속도 향상을 달성하면서도 대등한 평균 작업 성공률을 보였다.
캐시 최적화를 적용한 동기식 OpenVLA-OFT와 비교해도 1.15배 빨랐고, 선택적 KV 복구가 없는 기존 미래 상태 인지 비동기 방식보다도 1.25배 높은 속도를 기록했다. 4개 평가 모음에서 행동 복구가 발동한 비율은 평균 35.98%, 전체 쿼리 대비 실제 KV 캐시 업데이트 비율은 20.48% 수준이었다.
연구진이 추론 지연 시간 40ms를 인위적으로 주입했을 때 비교 모델인 VLASH는 평균 스톨이 100.25ms까지 상승했지만, SR-VLA는 추가 지연 중 26.41ms만 노출하며 평균 스톨 74.36ms를 구현한 점이 돋보인다. 작업 도중 목표 물체를 강제로 이동시키는 외란(Perturbation) 실험에서도 1cm 이동 시 1.93배, 5cm 이동 시 1.52배의 속도 우위를 유지하며 동기식 모델 수준의 성공률을 기록했다.
SR-VLA 기법은 대형 VLA 모델 성능에 영향을 최소화하면서도 공장 컨베이어 벨트나 동적 작업 환경에서 매끄러운 실시간 제어를 실현할 실용적 해법을 제시한 연구라는 점에서 주목받는다.
IT동아 강형석 기자 (redbk@itdonga.com)




에