[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

‘로봇 대신 노동력을 팝니다’ 뉴클리어스 로보틱스의 파격 행보

독일 로보틱스 스타트업 뉴클리어스 로보틱스(Nucleus Robotics)의 행보가 눈길을 끌었다. 2026년 8월 5일, 독일의 한 제조업체 공장에 휴머노이드 로봇을 실전 투입했다. 로봇 기업이 현장에 제품을 공급하는 일 자체는 특별할 게 없다. 시장이 주목한 대목은 창업 90일 만에 이뤄진 실전 투입 속도, 그리고 독특한 사업 방식이었다.

뉴클리어스 로보틱스는 로봇을 판매하지 않는다. 대신 노동 시간 단위로 요금을 매기는 서비스형 모델을 택했다. 배치와 감독, 운영 전 과정을 뉴클리어스가 책임지는 구조다. 고객사가 복잡한 로봇 시스템 운영을 직접 떠안기보다 결과물만 원한다는 판단에서 비롯된 선택이다. 완전 자율화를 기다리며 대규모 배치를 미루는 업계 다수와 달리, 사람의 감독 아래서라도 당장 쓸모 있는 노동을 제공하겠다는 실용주의 노선을 택한 셈이다. 유럽이 겪고 있는 산업 인력 부족 문제에 나름의 해법을 제시한 것이기도 하다.

배치 방식도 눈여겨볼 대목이다. 공정은 고객사 시설과 작업대를 정밀하게 3D 스캔하는 데서 출발한다. 이를 바탕으로 디지털 시뮬레이션 환경을 구축해 병목 구간과 최적 로봇 구성을 미리 검토한다. 현장 투입 초기 3주 동안은 사람이 원격으로 로봇을 조작하며 실제 생산 작업을 수행하는 동시에 훈련 데이터를 쌓는 구조다. 현실 세계에서만 얻을 수 있는 데이터가 피지컬 AI 소프트웨어의 경쟁력을 좌우할 자산이 되리라는 확신에서 비롯된 결정인 셈이다. 뉴클리어스 로보틱스는 이 접근이 테슬라와 웨이모가 시뮬레이션 대신 실제 도로 주행 데이터로 자율주행 모델을 키워온 방식과 닮았다고 설명했다.

뉴클리어스 로보틱스는 자체 로봇을 개발하지 않았다. 유니트리 G1 휴머노이드에 검은색 보호 슈트를 씌운 형태다. 손과 발을 모두 자유롭게 다루는 휴머노이드지만, 특정 작업에서는 손끝 정교함이 부족하다고 봤는지 선반에서 상자를 손끝으로만 꺼내는 것과 같은 미세 동작을 구현하기 위한 맞춤형 엔드 이펙터를 자체 설계했다. 하드웨어에 정체성을 걸지 않는 이런 태도는 특정 하드웨어에 종속되지 않고 여러 로봇 플랫폼을 넘나들려는 기업들에 적지 않은 시사점을 던질 전망이다.

뉴클리어스 로보틱스는 이미 존재하는 하드웨어와 소프트웨어를 가져다 특정 작업 환경에 맞게 통합하고 운영해주는 ‘배치 및 서비스’ 기업에 가깝다. 로봇을 만들지도, 두뇌를 만들지도 않으면서 로봇을 현장에서 실질적으로 움직이게 하는 사업 모델이 앞으로 피지컬 AI 산업에 어떤 영향을 줄지 궁금해진다.

엔비디아, ‘코스모스 3’로 개방형 월드모델 영토를 확장하다

2026년 8월 6일 엔비디아는 피지컬 AI 파운데이션 모델 코스모스(Cosmos) 3의 생태계 확장에 나섰다. 이번 모델의 차별점은 개방형이라는 데 있다. 코스모스 월드 파운데이션 모델은 리눅스 파운데이션의 OpenMDW 1.1 라이선스로 공개돼, 각 팀이 자체 데이터와 하드웨어로 모델을 후속 학습(Post Training)할 수 있게 했다.

코스모스 3는 세 가지 형태로 공개됐다. 고정밀 월드 모델링을 담당하는 640억 파라미터급 슈퍼(Super), 효율적 추론과 후속 학습에 특화된 160억 파라미터급 나노(Nano), 엣지 디바이스 구동을 겨냥한 40억 파라미터급 에지(Edge)다.

엔비디아는 기업 생태계 구축에도 힘을 쏟았다. 로보틱스 분야에서는 두산로보틱스, LG전자, 삼성전자, 스킬드 AI가 이름을 올렸다. 자율주행 분야에서는 리오토, 샤오미, 아파리 등이, 비전 AI 분야에서는 센티픽, 폭스피어, 링커비전, 마일스톤시스템즈, 위안 등이 코스모스 3 생태계에 합류한 상태다. 엔비디아가 주도하는 코스모스 연합(Cosmos Coalition)이 일본으로 확대되면서 공장과 물류, 농업, 건설, 의료, 교통 전 분야를 아우르는 오픈 월드모델 개발에 속도가 붙을 전망이다.

코스모스 3 공개 전략은 엔비디아가 생성형 AI 시대에 주도권을 잡을 때 썼던 생태계 구축 방식과 닮았다. 생성형 AI 시대에 쿠다(CUDA)가 컴퓨팅 언어 표준으로 자리 잡았듯, 피지컬 AI 시대에도 개별 로봇 제조사가 아닌 ‘모두가 쓰는 표준’의 자리를 노린 셈이다. 이 전략이 이번에도 통할지는 지켜볼 일이다.

시각·언어·행동 정책을 더 정교하게, ‘JEPA-WAM’

최근 피지컬 AI 업계는 ‘세상이 다음에 어떻게 변할지’ 예측하는 월드 액션 모델(World Action Model, WAM)에 집중한다. 다만 영상을 실제로 생성해가며 미래를 예측하는 기존 방식은 계산 비용이 커서 현장 배치에 부담이 크다. 압축된 잠재 공간에서 미래를 예측하는 대안적 시도도 있었지만, 예측 표현을 지나치게 압축하거나 예측 모델링과 행동 생성에 쓰이는 표현을 서로 분리해버리는 한계가 있었다.

2026년 8월 10일 공개된 JEPA-WAM은 컴퓨터과학자 얀 르쿤(Yann LeCun)이 제안한 ‘조인트 임베딩 예측 아키텍처(JEPA)’ 개념을 로봇 제어에 접목한 시도다. 연구팀은 사전학습된 V-JEPA 잠재 공간 위에서 동작하는 잠재 월드 액션 모델을 구축해, 잠재 상태 전이 예측과 연속적인 행동 생성을 하나의 공유 예측기로 결합했다.

구체적으로는 현재와 미래 관측 사이에 공유되는 시각·시간 구조를 포착하도록 공간적으로 구조화한 결합 타깃을 예측하면서, 패치 단위의 조밀한 대응 관계는 그대로 보존하는 방식이다. 이 공유 예측기 안에서 전이 예측에 대한 지도학습 신호가 백본 자체를 형성하고, 여기서 행동 예측 전용 표현이 추출되는 구조다. 연구팀은 이렇게 얻은 표현을 기존에 사전학습된 시각-언어-행동(VLA) 정책에도, 원래의 인지·행동 경로를 훼손하지 않은 채 이식할 수 있다고 설명했다.

JEPA-WAM은 영상을 통째로 생성하는 방식 대신 잠재 공간에서 압축된 예측을 하되, 압축 과정에서 성능 저하를 최소화하도록 세밀하게 설계했다. 이 접근은 계산 비용과 표현력 사이의 줄다리기에서 균형점을 찾으려는 시도로 읽힌다. 엔비디아 코스모스 3가 영상을 직접 생성하는 무거운 월드모델 전략으로 시장을 넓히고 있다면, JEPA-WAM 같은 최적화 연구는 더 가벼운 월드모델도 충분히 강력할 수 있음을 증명하려는 시도로 보인다.

타임스탬프만으로 확장하는 로봇 가치 파운데이션 모델 ‘RynnValue’

로봇에게 잘하고 있는지 알려주는 보상 신호, 즉 가치 함수를 학습시키는 일은 오래도록 로봇 강화학습의 병목 중 하나로 꼽혔다. 사람이 일일이 어떤 행동이 더 나은지 선호도를 매기거나, 목표 달성까지 얼마나 진행됐는지 진행률을 라벨링해야 했기 때문이다. 이 방식은 로봇 종류나 데이터 출처가 바뀌면 잘 옮겨가지 않는다는 한계도 지녔다.

2026년 8월 10일 공개된 린밸류(RynnValue) 논문은 이 문제를 우회할 아이디어를 제안한다. 연구팀은 선호도나 진행률 같은 과제 내부 기준 대신, 관측 시점에서 언어로 지정된 목표까지의 방향성 있는 비용, 즉 시간 거리(temporal distance)를 지도학습 신호로 삼는 오픈소스 가치 파운데이션 모델을 제시했다.

RynnValue의 차별점은 라벨을 확보하는 방식이다. 시간 거리는 영상 속 타임스탬프만으로 자동 계산되기 때문에 사람이 손으로 선호도나 진행률을 매길 필요가 없다. 그 덕분에 RynnValue는 별도의 선호도·진행률 주석 없이도 명령어와 짝지어진 약 300만 개 클립 규모로, 학습 데이터를 7000시간가량까지 확장할 수 있었다.

시간만으로 학습시키면 모델이 ‘지름길’을 찾아내는 부작용이 생기기 쉽다. 예컨대 로봇이 실패하거나 뒷걸음질을 쳐도 시간이 흘렀다는 이유만으로 가치가 오른 것처럼 착각할 위험이 따른다. 연구팀은 이를 막기 위해 무작위 시간 샘플링과 시간 순서 셔플링, 가치 격리 어텐션이라는 세 가지 장치를 조합해, 실패나 퇴보에 둔감해지는 지름길 학습을 억제했다.

그 결과 선호도 라벨 없이 학습했음에도, RynnValue는 분포 외 평가 도구인 RBM-EVAL-OOD에서 평균 켄달 타우(로봇이 수행한 비디오 순서와 남은 작업량의 상관관계를 측정하는 지표) 0.675를 기록해, 선호도로 완전히 지도학습된 기존 최고 성능 모델의 0.655를 앞질렀다. 진행률만 사용한 모델의 결과값인 0.292와 비교하면 두 배 넘는 수치다.

연구팀은 로봇이 매 순간 목표에 얼마나 다가갔는지 실시간으로 촘촘하게 평가하기 위해, 가치 함수를 기반으로 한 밀집 보상(Dense Reward) 체계를 구축했다. 이때 로봇이 제자리걸음을 반복하며 점수만 챙기는 꼼수를 부리지 못하도록 ‘포텐셜 기반 보상 성형(Potential-based Shaping)’이라는 수학적 기법을 적용해 보상을 안전하게 가공했다. 로봇이 최종 목적지까지 남은 거리를 정확히 파악하며 올바른 방향으로 학습하도록 유도한 결과, 전체 작업 성공률을 대폭 끌어올릴 수 있었다. 자료에 따르면 실제 로봇 환경에서 정책 성공률은 온라인 학습 기준 52.5%에서 72.5%로, 오프라인 학습 기준 63.8%에서 82.5%로 높아졌다.

이 논문이 주목받는 이유는, 가치 함수 학습의 병목이 결국 라벨링 비용이라는 업계 통념에 맞서 타임스탬프라는 공짜 신호만으로도 충분하다는 반증을 내놓았다는 점이다.

IT동아 강형석 기자 (redbk@itdonga.com)