[IT동아 강형석 기자] 얼마 전까지만 해도 인간형 로봇은 전시장 무대 위에서 춤을 추거나 손을 흔드는 수준에 머물렀지만, 요즘은 물류창고에서 상자를 나르고 자동차 조립 라인에 실제로 투입되는 노동력으로 탈바꿈하는 중이다. 최근 로봇 산업 변화의 중심에는 피지컬 AI(실물 인공지능)가 자리 잡았다.

피지컬 AI 산업은 빠르게 성장하는 추세다. 시장조사업체 카이소 리서치는 전 세계 피지컬 AI 시장 규모가 2025년 814억 달러에서 2035년 1조 1450억 달러로 커질 것이라고 내다봤다. 대형언어모델이 챗GPT 등장 이후 폭발적으로 확산됐듯, 로봇도 정해진 작업만 되풀이하는 산업기계에서 벗어나 스스로 상황을 판단하고 대응하는 장비로 진화하리라는 전망이 그 배경으로 꼽힌다.

관건은 로봇의 상호작용에 필요한 AI 하드웨어·소프트웨어 기술이다. 인간형 로봇이라고 하면 자연스럽게 걷고 손가락을 정교하게 움직이는 몸체부터 떠올리기 쉽다. 다만 로봇 하드웨어 자체는 이미 상당 부분 상품화 단계에 들어섰다. 오히려 사람의 지시를 로봇이 직관적이고 정확하게 수행하도록 만드는 영상(Vision)·언어(Language)·행동(Action) 모델, 다시 말해 로봇의 '두뇌'가 중요해졌다.

로봇에게 필요하다는 VLA 모델은 무엇인가?

VLA는 '영상(Vision)·언어(Language)·행동(Action)'을 의미한다. 로봇이 보고 말을 이해해 곧바로 몸을 움직이게 하는 인공지능 모델을 가리킨다. 카메라로 들어온 영상 정보와 사람이 건넨 자연어 지시를 한꺼번에 입력받아 로봇 팔이나 다리를 움직이는 구체적인 모터 명령까지 뽑아내는 하나의 통합 모델이라는 점이 핵심이다.

이 개념이 등장하기 전 로봇은 저마다 다른 방식으로 움직였다. 전통적인 산업용 로봇은 정해진 좌표를 반복적으로 오가도록 사람이 일일이 코드를 짜 넣는 구조였다. 컨베이어 벨트 위 부품 위치가 몇 센티미터만 달라져도 오작동하기 일쑤였고, 새로운 작업을 맡기려면 처음부터 다시 프로그래밍해야 했다. 정해진 틀 안에서는 정교하게 움직이지만, 틀을 벗어나는 순간 무력해지는 구조였던 셈이다.

그러던 중 대형언어모델(LLM)의 발전에 힘입어 영상·언어 모델(VLM)이 등장했다. 그런데 LLM과 VLM 모두 '이해'에는 강했지만 '행동'으로는 이어지지 못했다. LLM은 대화에는 능숙해도 로봇 팔을 움직일 방법은 몰랐고, VLM은 사물을 알아봐도 이를 어떻게 집어야 하는지는 알려주지 못한 탓이다.

VLA라는 개념은 구글 딥마인드의 RT-1(로보틱스 트랜스포머)에서 비롯됐다. RT-1은 대규모 실제 로봇 데이터로 학습한 트랜스포머 기반 로봇 정책 모델 가운데 하나다. 13만 건에 이르는 시연 데이터를 학습해 익숙한 작업에서는 97%, 처음 보는 작업에서도 76%의 성공률을 기록하며 데이터 다양성이 일반화로 이어진다는 점을 증명했다. 다만 RT-1은 온라인에서 사전 학습한 광범위한 지식까지는 끌어오지 못하는 한계를 안았다.

2023년 등장한 RT-2는 이 한계를 극복하는 데 집중했다. 온라인과 로봇 데이터 양쪽에서 학습한 지식을 로봇 제어를 위한 일반화된 지시로 옮겨주는 새로운 VLA 모델을 적용한 것이다. 로봇의 동작을 마치 문장 속 단어처럼 토큰 형태로 표현해, 언어모델이 다음 단어를 예측하듯 다음 동작을 예측하도록 설계했다. 처음 보는 사물의 범주를 유추하거나 낯선 지시문을 해석하고, 여러 단계로 이뤄진 작업을 순차적으로 계획하는 초보적인 사고의 흐름까지 보여줬다.

RT-2 이후 오픈VLA와 옥토(Octo) 등 오픈소스(개방형) 진영은 물론, 엔비디아의 그루트(GR00T), 피지컬 인텔리전스의 파이제로, 피규어AI의 헬릭스에 이르기까지 80가지 넘는 VLA 모델이 공개될 만큼 기술 고도화가 급물살을 탔다.

피지컬 AI에서 VLA 모델이 중요한 이유는?

VLA 모델은 ▲인식 영역(비전 인코더) ▲이해하고 계획하는 영역(언어·비전 백본) ▲움직임을 제어하는 영역(액션 디코더) 등 세 가지로 구성된다.

인식 영역은 카메라로 들어온 원본 이미지를 신경망이 다룰 수 있는 벡터, 즉 '토큰' 형태로 바꾸는 역할을 맡는다. 일부 비전 인코더는 수억에서 수십억 장에 이르는 이미지·텍스트 쌍으로 미리 학습을 마쳤으며, 로봇이 처음 접하는 사물이라도 의미를 파악하도록 돕는다. 처음부터 로봇 데이터로만 학습하지 않고, 인터넷에 존재하는 방대한 이미지 지식을 재활용하는 구조다.

이렇게 만들어진 시각 토큰은 언어 지시와 함께 트랜스포머(인공신경망) 영역으로 이어진다. 영상과 센서 데이터, 사람의 명령 등 여러 형태의 입력 사이에 놓인 의미적 간극을 이어주며, 시각·텍스트·상태 인코더를 거친 각각의 임베딩을 하나의 언어모델이 융합해 수행할 작업의 의미론적 표현을 만들어낸다.

중요한 것은 행동 영역이다. 로봇 관절 각도나 그리퍼(로봇 손) 개폐 상태 같은 '고유수용성 감각(proprioception)' 정보를 별도의 상태 토큰으로 함께 입력받는다. 이 상태 토큰은 로봇 스스로 감지한 자세와 위치 정보를 표현하는 단일 토큰으로 취급된다. 눈으로 본 것과 말로 들은 것만으로는 부족하고, 자기 몸이 지금 어떤 자세인지까지 알아야 정교한 다음 동작을 계산해낼 수 있어서다.

VLA 모델은 정해진 규칙과 특정 작업에 맞춘 프로그래밍에 의존하던 기존 로봇 시스템과는 근본적으로 다른 접근을 취한다. 기존 VLM이 이미지 속 사물을 알아보는 데 뛰어나고 LLM이 정교한 추론을 펼친다면, VLA 모델은 디지털 지능과 현실 사이를 잇는 역할을 한다. 세상을 이해하는 데서 그치지 않고, 고차원 지시를 정밀한 모터 명령으로 옮겨 실제 결과를 만들어낸다는 의미다.

데이터 효율성 측면에서도 VLA는 기존 방식과 차별화된다. 특정 작업 하나를 익히려고 수천, 수만 건의 데이터를 새로 모을 필요 없이, 사전학습된 VLA 모델은 수십에서 수백 건 정도의 시연만으로 미세조정해 새로운 작업에 접목 가능하다. 하드웨어가 아무리 정교해도 제어할 두뇌가 특정 작업 하나에만 특화됐다면 활용 범위는 좁아질 수밖에 없다. 반대로 하나의 VLA 모델이 여러 로봇 형태와 다양한 작업에 두루 재사용된다면, 로봇 산업 전체의 개발 비용과 시간을 동시에 줄이는 효과를 낸다. 피지컬 AI 산업에서 VLA가 표준 플랫폼 경쟁으로 번지는 이유이기도 하다.

치열한 VLA 기술 경쟁, 어디까지 왔나?

피지컬 AI 산업이 확대되면서 VLA 모델 경쟁도 한층 뜨거워졌다. 구글 딥마인드는 2025년 7월 '제미나이 로보틱스 2'를 공개하며 시장 공략에 속도를 냈다. 발이나 손끝까지 인간형 로봇 전신을 통제하는 VLA 모델 '제미나이 로보틱스 2', 여러 단계 작업을 계획하고 로봇 여러 대의 협업까지 이끌어내는 임바디드 추론 모델 '제미나이 로보틱스 ER 2', 새로운 로봇 몸체에도 단 몇 시간 분량의 데이터만으로 빠르게 적응하는 온디바이스 VLA '제미나이 로보틱스 온디바이스 2' 등으로 라인업을 세분화한 것이 특징이다. 대규모 로보틱스 산업부터 소형 장비까지 폭넓게 아우르겠다는 전략이다.

엔비디아는 VLA를 로봇 개발자 생태계 전체로 개방했다. 개방형·맞춤형 인간형 로봇 파운데이션 모델인 그루트(GR00T)를 앞세워 산업 현장의 노동력 부족을 자동화로 풀어내겠다는 계획이다. 그루트 N1 공개 이후로도 꾸준히 후속 모델을 내놓으며 개방형 환경에서의 일반화 능력을 끌어올리는 중이다.

피지컬 인텔리전스는 2024년 10월 첫 VLA 모델 파이제로(Pi-0)를 공개한 데 이어, 2025년 4월에는 낯선 가정집 부엌이나 침실을 청소하는 등 학습 데이터에 없던 완전히 새로운 환경에서도 의미 있는 일반화 능력을 보여준 파이0.5(Pi-0.5)를 발표했다. 이후로도 경험으로부터 학습하는 파이0.6, 조종 가능한 범용 로봇 파운데이션 모델 파이0.7까지 잇달아 내놓으며 VLA 모델의 영향력을 넓혀가는 중이다.

피규어AI는 VLA를 하드웨어와 함께 상용화 단계로 이끈 기업 중 하나다. 2025년 2월 공개한 헬릭스는 손목과 몸통, 머리, 손가락 하나하나까지 인간형 로봇 상체 전체를 실시간으로 연속 제어한다. 2026년 1월 공개한 헬릭스 02는 보행과 균형, 조작을 별도 모듈이 아닌 하나의 학습된 시스템으로 통제하도록 발전했으며, 주방 환경에서 로봇이 스스로 식기세척기를 비우고 다시 채워 넣는 모습을 시연했다.

중국 진영의 움직임도 만만치 않다. 애자일봇은 2025년 11월 중국 전자제품 제조업체 현장에서 원격조작과 강화학습을 결합해 로봇 작업 전환 시간을 평균 10분까지 줄이는 시스템을 시연했다. 앞으로는 원가 경쟁력을 앞세운 중국과 시스템 고도화 능력을 앞세운 미국 간 경쟁이 VLA 경쟁의 또 다른 변수로 떠오를 전망이다.

IT동아 강형석 기자 (redbk@itdonga.com)