AI 연구소 오디세이가 로봇과 휴머노이드, 자율주행차, 드론, 게임 캐릭터를 하나의 모델로 제어하는 오디세이-3를 9월 15일 공개했다.

오디세이는 2023년 올리버 캐머런과 제프 호크가 설립했다. 테크타임스에 따르면 캐머런은 자율주행 스타트업 보이지를 공동 창업했고 크루즈 인수 뒤 제품 부사장을 지냈으며, 호크는 영국 자율주행 스타트업 웨이브의 창립 연구원이었다.

오디세이-3는 방대한 영상 관찰 데이터로 물리 법칙과 인과 관계, 사람의 행동을 학습한다. 구조는 자기회귀 디퓨전 트랜스포머다. 핵심 설계는 학습을 끝낸 뒤 더 바꾸지 않는 기반 모델 위에 가벼운 동작 디코더를 올리는 것이다. 동작 디코더는 모델 내부의 표현을 실제 기기의 동작으로 번역하는 부품으로, 기기마다 수 시간에서 수십 시간의 시연 데이터만으로 학습시키면 된다.

가장 구체적인 성과는 자율주행에서 확인됐다. 시뮬레이션 주행 데이터 20시간만으로 학습한 정책이 인도의 복잡한 도로에서 폐루프 자율주행을 수행하며 주행 경로를 실시간으로 생성했다. 폐루프는 모델이 내린 판단이 다음 상황에 그대로 반영되는 조건을 말한다. 시뮬레이션만으로 학습한 정책은 실제 주행 영상으로 학습한 정책과 비교해 안전요원이 개입하기까지의 주행 거리가 약 77%였다. 다만 오디세이 자체 평가라는 한계가 있고, 공개 벤치마크에서 다른 연구소 시스템과 직접 비교한 결과는 아직 없다.

게임에서도 옮겨 쓰기 실험 결과를 공개했다. GTA V 영상 약 2시간으로 학습한 이동 정책이 레드 데드 리뎀션 2에서 말 타기를 수행했다. 스퀘어에닉스의 슬리핑 독스에서는 추가 학습 없이 오토바이 주행을 재현했다. 게임은 서로 다른 몸체와 조작 방식 사이의 이전 가능성을 적은 비용으로 시험하는 환경이다.

스위스 취리히의 로보틱스 스타트업 플렉시온 로보틱스는 오디세이-3를 기반으로 휴머노이드 제어 정책을 개발했다. 수십 시간의 원격 조작 데이터로 학습한 시스템이 파란 통을 열고 상자를 꺼내는 작업을 실시간으로 수행했다. 로봇 데이터와 정책 분석을 다루는 포크 앤 위글과는 여러 로봇 몸체와 카메라 시점, 제어 방식에 걸쳐 오디세이-3를 평가하고 있다. 드론 제어는 아직 실내 시뮬레이션에서만 확인됐다.

오디세이는 수 주 안에 오디세이-3를 공개할 계획이다. 외부 개발자가 직접 시험하면 자체 평가에 의존한 성과가 독립 검증을 받게 된다. 월드 모델이 언어 모델보다 규모가 약 100분의 1 수준이라는 점도 오디세이가 인정한 한계다.

자세한 내용은 오디세이에서 확인할 수 있다.

이미지 출처: 오디세이