로봇 파운데이션 모델 기업 제너럴리스트 AI가 사람의 작업 시연 영상을 로봇 학습의 주된 재료로 쓰고 있다. 파운데이션 모델은 대량의 데이터로 미리 학습해 여러 작업에 두루 쓰는 대형 모델을 가리킨다.

이 방법은 토요타연구소와 컬럼비아대, 스탠퍼드대가 공동 발표한 논문 ‘범용 조작 인터페이스: 야외 로봇 없이 야외에서 로봇 가르치기(UMI)’에 기반한다. 인형처럼 손에 쥐는 집게형 장치에 고프로 카메라를 달아 설거지나 물건 집기 같은 실제 작업 장면을 그대로 기록한다. 이렇게 모은 시연이 로봇 파운데이션 모델의 학습 데이터가 된다.

학습은 두 단계로 진행된다. 먼저 사람 데이터만으로 모델을 학습시킨 뒤, 해당 모델을 실제 로봇에서 구동하며 로봇 데이터를 추가로 수집한다. 사만다 카스테야노스 제너럴리스트 AI 창립 기계 엔지니어에 따르면 1단계는 작업당 2시간에서 80시간, 2단계는 4분에서 80분이면 충분했다.

대표적인 예로 테이프 디스펜서 작업을 들 수 있다. 1회 수행에 1초가량 소요되는 짧은 작업이어서 4분 동안 완전한 에피소드 50건을 수집했고, 이 데이터로 최대 10회 연속 성공하는 모델을 확보했다. 에피소드는 작업 시도 한 번을 가리킨다. 필러는 2시간 수집으로 충분했으며, 드라이버는 초기에 작동하지 않다가 학습 단계를 늘리자 정상 작동했다.

하드웨어는 단순한 설계를 택했다. 그리퍼는 자유도 1로 구성했는데, 자유도는 관절이 독립적으로 움직일 수 있는 방향의 수를 말한다. 카스테야노스는 그리퍼 하나 때문에 생산 라인이 5분마다 정지해서는 안 되므로, 손가락 하나를 2분 만에 교체할 수 있으면 라인 정지도 2분에 그친다고 설명했다.

학습하지 않은 동작이 나타나기도 했다. 긁고 쓸어 담는 작업에서 로봇은 학습 데이터에 없던 형태로 다른 손에 솔을 옮겨 쥐었다. 카스테야노스는 방대한 데이터에서 회복 방법을 습득한 결과라며, 물건을 떨어뜨리는 등 라인에 문제가 발생했을 때 실시간 복구에 도움이 된다고 말했다.

6월 미국 자동화 전시회 오토메이트(Automate)에서는 유니버설 로봇(Universal Robots)의 로봇 팔이 골판지 상자를 접고 조립했고, 반대편에서는 플렉시브(Flexiv)의 로봇 팔이 로봇청소기를 수리했다. 회사는 관람객이 주목한 지점이 작업 수행보다 문제가 생겼을 때의 실시간 복구였다고 자사 소셜 계정에 업로드했다.

회사 블로그 글 ‘천 개의 손을 가진 기계를 향하여’는 그리퍼에 얽매이지 않는 도구 사용을 다뤘고, 이 작업에 쓴 데이터는 보스턴과 캘리포니아 사무실에서 모았다. 제너럴리스트 AI의 모델은 아직 휴머노이드에서 돌아간 적이 없다. 자체 컴퓨터에서 모델을 구동하고 있어 이동형 로봇에 적용하려면 통합 작업이 필요하다는 것이 회사 설명이다.

제너럴리스트 AI는 20억 달러(약 2조 8360억 원) 규모 유니콘으로 평가받는다. 경쟁사로는 스킬드 AI가 20억 달러, 피지컬 인텔리전스가 10억 달러, 필드 AI(Field AI)가 3억 달러, RLWRLD가 4100만 달러를 조달했고 이 분야 누적 조달액은 40억 달러를 넘는다. UMI 논문 공저자 러스 테드레이크와 벤 버치필은 월든 로보틱스를 세워 산업 현장의 이동형 매니퓰레이터에 대형 행동 모델을 적용하고 있다.

자세한 내용은 더 로봇 리포트에서 확인할 수 있다.

이미지 출처: 나노바나나 생성