피규어가 현지 시각 9월 17일 새 신경망 헬릭스 2.5를 공개하고, 로봇이 한 번도 가 본 적 없는 미국 베이 에어리어 가정 30곳에서 거실 정리와 수건 개기, 침대 정리를 수행한 결과를 함께 발표했다. 평가 대상 가정에서는 학습 데이터를 전혀 수집하지 않았고, 조작 대상 물건도 학습 자료에 없던 것을 썼다.

제로샷은 모델이 학습 과정에서 보지 못한 환경이나 대상을 별도 조정 없이 처리하는 방식을 말한다. 피규어는 성공 기준을 부분 점수 없이 전량 완수로 잡았다. 거실 정리는 흩어진 장난감 13~15개를 모두 바구니에 담아야 하고, 수건 개기는 수건 전부를 개어 바구니에 넣어야 하며, 침대 정리는 양쪽 베개와 이불 모서리를 침대 위쪽에 배치하고 이불을 펴야 통과다.

같은 과제 데이터로 학습하되 무작위 가중치에서 출발한 정책은 30곳 평가에서 9%를 기록했고, 인덱스로 사전학습한 헬릭스 2.5는 56%를 기록했다. 인덱스는 피규어가 구축한 사람 행동 데이터셋으로, 회사는 현재 초당 35분 분량의 새 데이터가 축적되고 있다고 밝혔다. 사전학습은 본격적인 과제 학습에 앞서 넓은 범위의 데이터로 모델의 기초 능력을 먼저 갖추는 단계다.

헬릭스 2.5는 이전 버전인 헬릭스 02가 쓴 과제 데이터의 절반으로 같은 성공률에 도달했고, 헬릭스 02가 평가 장소에서 직접 모은 데이터로 학습한 것과 달리 처음 보는 가정 30곳으로 범위를 확대했다.

피규어는 사람 데이터에서 로봇 동작으로 이어지는 학습 규모 법칙도 측정했다고 밝혔다. 규모 법칙은 학습 데이터를 늘릴 때 성능이 얼마나 개선되는지를 수치로 나타낸 관계를 말한다. 인덱스 데이터를 8배 범위에서 나눠 모델 4종을 학습한 결과 데이터를 두 배로 늘릴 때마다 손실이 일정하게 감소했고, 작은 실험만으로 가장 큰 실험의 손실을 소수점 네 자리까지 예측했다. 예측 오차는 전체 변동 폭의 0.54%였다. 회사는 헬릭스 학습에 35억 달러(약 4조 8,300억 원) 규모의 컴퓨트를 약정한 상태다.

다만 피규어는 범용 휴머노이드 문제가 아직 해결 단계는 아니라고 적었다.

자세한 내용은 피규어에서 확인할 수 있다.

이미지 출처: 피규어