로봇 AI 기업 스킬드 AI(Skild AI)가 단일 영상 시연만으로 새로운 작업을 학습하는 로봇 파운데이션 모델 S1을 공개했다. 가중치 업데이트 없이 영상을 입력으로 받아 작업을 수행하는 인컨텍스트 러닝(in-context learning) 방식을 쓴다. 엔비디아가 현지 시각 9월 10일 공식 블로그를 통해 소개했다.

운영자는 원하는 작업을 촬영한 영상을 모델에 프롬프트로 제공한다. 모델은 시연된 의도와 사물, 순서를 해석해 로봇의 동작으로 변환한다. 재학습이 필요 없고, 사전 학습 데이터에 없는 작업도 처리할 수 있다. 화분 옮겨 심기, 팬케이크 만들기, 핸드드립 커피 내리기, 키트 조립 같은 작업이 가능하다.

스킬드 AI에 따르면 S1은 최대 10분 길이의 익숙하지 않은 작업을 수행할 수 있다. 화분 옮겨 심기 테스트에서는 시연 영상 촬영부터 로봇의 자율 실행까지 11분이 소요됐다. 사물이 움직여도 대응하고, 오류를 복구하며, 명시적으로 프로그래밍되지 않은 순서로 기술을 조합한다.

스킬드 AI는 새롭고 여러 단계로 이뤄진 작업 테스트에서 S1이 각 단계에서 약 66%의 성공률을 기록했다고 밝혔다. 비교 대상 AI 시스템은 9%였다. 짧은 영상 하나가 손으로 수집한 학습 예시 약 380개와 맞먹는 효과를 낸다는 추정도 제시했다. 수작업 수집에는 50~100시간이 걸린다는 설명이다.

S1은 엔비디아 AI 인프라에서 개발됐다. 합성 데이터 생성과 모델 훈련, 시뮬레이션, 실전 배포 전반에 엔비디아 기술이 쓰였다. 아이작 랩(Isaac Lab)과 코스모스(Cosmos), 옴니버스(Omniverse)가 대표적이다. 스킬드 AI는 첫 상용 배포 10개월 만에 연매출 1억 달러(약 1,339억 원) 규모에 도달했다고 밝혔다.

스킬드 AI와 엔비디아, 폭스콘(Foxconn)은 엔비디아 블랙웰(Blackwell) 시스템 조립에 스킬드 브레인을 투입하고 있다. 이중 팔 매니퓰레이터가 버스바와 리미트 블록 설치, 나사 16개 체결 작업을 수행한다. 공장 현장 적용이 본격화하고 있다.

딥팍 파탁(Deepak Pathak) 스킬드 AI 최고경영자(CEO)는 사전 프로그래밍이 아닌 경험을 통한 학습이 로봇 공학의 변화라고 말했다. 아이작 랩과 코스모스 기술이 로봇이 다양한 시나리오를 학습하는 데 필요한 경험을 제공한다고 덧붙였다.

자세한 내용은 엔비디아 블로그에서 확인할 수 있다.

이미지 출처: 엔비디아