미국 로봇 스타트업 리워드 AI가 로봇 파운데이션 모델 OM-1을 공개했다. 현지 시각 9월 14일 회사 공식 블로그의 발표다. 파운데이션 모델은 방대한 데이터로 미리 학습해 여러 작업에 두루 적용하는 대형 모델을 말한다. 리워드 AI는 첸 왕과 카렌 리우, 페이페이 리 등이 스탠퍼드대에서 개발한 휴대형 동작 기록 시스템 덱스캡을 앞선 연구로 제시했다.

리워드 AI는 OM-1의 사전 학습 데이터에 원격조작 기록과 로봇에서 직접 얻은 데이터가 전혀 포함되지 않았다고 밝혔다. 원격조작은 사람이 조종 장치로 로봇을 움직여 시범 데이터를 생성하는 방식이다. 회사는 조종 장치를 거치면 사람의 동작이 느리고 부자연스러워져, 물건을 다룰 때 무의식적으로 하는 미세한 힘 조절과 미끄러짐 보정이 데이터에서 빠진다고 주장했다.

대신 회사가 제작한 것은 ‘옴니바디 핸드’라는 착용형 장갑이다. 사람 손가락 관절을 그대로 본뜨는 대신 자유도 7개로 구성했다. 자유도는 독립적으로 움직일 수 있는 관절 축의 개수를 말한다. 엄지와 검지는 따로 움직여 정밀하게 집고, 중지와 약지, 새끼손가락은 함께 움직여 물건을 감싼다. 닿는 힘을 재는 촉각 센서와 물체와의 거리를 재는 근접 센서, 손바닥 카메라가 각각 원래 정해진 기록 주기 그대로 동시에 저장된다.

시각과 관성 정보만으로 위치를 추적하면 방향을 빠르게 바꿀 때 오차가 생기므로, 회사는 전자기 방식 추적을 함께 적용했다. 두 추적 장치를 같은 구조물에 고정하고 일정 거리의 기계식 정지점 사이를 초당 3cm에서 67cm까지 8가지 속도로 왕복시켜 각 속도마다 10회씩 측정했다. 가장 빠른 속도에서 시각·관성 추적의 평균 초과 이동 오차는 24.9mm, 전자기 추적은 9.5mm였다. 회사는 고속에서 평균 오차를 60% 줄였다고 밝혔다.

회사는 OM-1이 탁상용 로봇 팔부터 대형 산업용 매니퓰레이터, 이족보행 휴머노이드까지 별도 미세조정 없이 적용된다고 주장했다. 미세조정은 이미 학습한 모델을 특정 로봇이나 작업에 맞춰 추가로 다듬는 단계다. 처음 보는 긴 작업도 30분 미만의 사람 시연 데이터만으로 학습한다는 설명이다. 모든 시연이 같은 형식으로 들어오기 때문에 사전 학습과 사후 학습을 나누지 않고 한 단계로 훈련한다.

시연으로는 랜선 잠금 걸쇠를 눌러 빼는 작업, 양손 빨래 개기, 음료 제조, 전자제품 포장을 30초 이내 주기로 수행하는 장면을 공개했다. 물건을 일부러 흔들거나 빼앗았을 때 한쪽 팔이 미끄러지면 다른 팔이 보완하는 동작도 함께 보여줬다.

OM-1은 상위 판단과 하위 제어를 분리했다. 트랜스포머 기반 정책이 시각·촉각 기록을 보고 동작 묶음을 예측하는 동안, 별도의 고주파 제어 계층이 시뮬레이션 강화학습으로 학습한 방식에 따라 지연과 속도에 따른 동역학, 외부 교란을 처리한다. 이 계층은 조작뿐 아니라 이동형 로봇의 주행 동작도 함께 담당한다. 강화학습은 시행착오에 보상을 주며 행동을 다듬는 학습 방법이다.

로봇 학습 데이터를 무엇으로 채울지를 두고 업계는 서로 다른 방법을 제시하고 있다. 다이나 로보틱스의 다이나-2처럼 인터넷 영상만으로 사전 학습하는 방식, 스킬드 AI의 S1처럼 시연 영상을 즉시 참고하게 하는 방식이 이미 나와 있다.

자세한 내용은 리워드 AI에서 확인할 수 있다.

이미지 출처: 리워드 AI