구글 딥마인드가 로봇의 전신을 제어하는 AI 모델 제미나이 로보틱스 2를 공개했다. 현지 시각 7월 30일 구글 딥마인드의 발표다. 기존 모델이 상체만 제어해 탁자 위 작업에 머물렀다면, 이번 모델은 걷기와 웅크리기, 팔 뻗기를 함께 다룬다.

구성은 세 가지다. 제미나이 로보틱스 2는 시각과 언어 입력을 모터 제어 신호로 바꾸는 모델이고, 제미나이 로보틱스 ER 2는 여러 단계 계획과 로봇 간 협업을 담당하는 상위 추론 모델이다. 제미나이 로보틱스 온디바이스 2는 로봇 하드웨어에서 직접 구동하는 경량 모델이다.

앱트로닉 아폴로 2에 인스파이어 핸드를 붙인 조합에서 물건을 집는 성공률은 탁자 위 68.4%, 선반 76.3%, 바닥 45.7%다. 프랑카 듀오에 그리퍼를 붙인 조합에서는 정밀 삽입 89.6%, 공구 정리 78.9%를 기록했다.

손가락을 따로 움직이는 작업에서는 편차가 컸다. 샤파웨이브의 5손가락 22자유도 손을 쓴 시험에서 전구를 푸는 작업은 92%였지만 조이는 작업은 36%, 쓰레받기 사용은 32%에 그쳤다. 구글 딥마인드는 여러 손가락을 쓰는 조작이 여전히 어려운 과제로 남아 있고 이동 속도도 개선이 필요하다고 스스로 밝혔다.

ER 2는 정지 화면 대신 연속 영상을 보고 작업 진행도를 추적한다. 진행도를 다섯 단계로 분류하는 정확도는 57.4%, 특정 순간을 찾아내는 정확도는 91.3%이며 평균 오차는 0.96초다. 계기 판독 대상도 원형 다이얼에서 디지털 표시장치와 자, 액체 온도계 등 10종으로 늘었다.

온디바이스 2는 새로운 양팔 로봇 형태에 예시 200개 미만, 몇 시간 만에 적응한다. 덱스메이트와 SO101, 트로센 플랫폼에서 시연이 이뤄졌다.

제공 범위는 모델마다 다르다. ER 2는 제미나이 API와 구글 AI 스튜디오에서 개발자에게 공개됐고 모델 아이디는 gemini-robotics-er-2-preview다. 반면 전신 제어 모델과 온디바이스 2는 얼리액세스 파트너에게만 제공된다.

안전 평가용으로는 아시모프-에이전틱 벤치마크를 새로 공개했다. 에이전트가 위험한 도구 호출을 거부하는지 측정하며 데이터셋은 허깅페이스에 공개됐다. 협력 파트너로는 앱트로닉과 보스턴 다이내믹스, 애자일 로보틱스가 참여했다.

자세한 내용은 Google DeepMind에서 확인할 수 있다.

이미지 출처: 구글 딥마인드