구글이 현실 환경을 이해하고 스스로 행동하는 차세대 로봇용 인공지능(AI) 모델군 ‘제미나이 로보틱스 2(Gemini Robotics 2)’를 공개했다.

이번 모델군은 로봇이 사람의 지시를 이해한 뒤 움직임을 계획하고 실행하도록 지원한다. 휴머노이드 로봇의 전신 제어와 손을 이용한 정밀 작업은 물론, 장시간 이어지는 다단계 작업과 서로 다른 로봇 간 협업까지 수행할 수 있도록 설계됐다.

제미나이 로보틱스 2(Gemini Robotics 2)

구글은 제미나이 로보틱스 2를 ▲시각·언어 정보를 행동으로 변환하는 ‘제미나이 로보틱스 2’ ▲상위 의사결정과 작업 계획을 담당하는 ‘제미나이 로보틱스 ER 2’ ▲로봇 기기에서 직접 구동되는 ‘제미나이 로보틱스 온디바이스 2’ 등 3개 모델로 구성했다.

상체 넘어 전신 제어…휴머노이드가 걷고 굽혀 물건 배치

제미나이 로보틱스 2는 구글이 개발한 시각-언어-행동(VLA, Vision-Language-Action) 모델이다. 시각과 언어 입력을 로봇의 모터 제어 신호로 변환해 휴머노이드의 발끝부터 손끝까지 제어한다. 양팔 로봇과 손, 그리퍼 등 다양한 형태의 장치도 지원한다.

이전 모델이 탁자 위 작업을 중심으로 휴머노이드의 상체를 제어했다면, 이번 모델은 제어 범위를 전신으로 넓혔다. 로봇이 좁고 복잡한 공간에서 걷거나 앉고, 몸을 굽히고 뻗으며 균형을 유지하는 작업까지 수행할 수 있다.

구글이 공개한 시연에서는 앱트로닉(Apptronik)의 휴머노이드 로봇 ‘아폴로 2(Apollo 2)’가 “물뿌리개를 맨 아래 선반의 초록색 통에 넣어 달라”는 자연어 지시를 이해했다. 아폴로 2는 탁자로 이동해 물뿌리개를 집은 뒤 선반까지 걸어가 지정된 장소에 물건을 놓았다.

구글은 이동 속도와 같은 일부 영역은 추가 개선이 필요하지만, 전신 움직임이 필요한 현실 세계의 복잡한 작업을 수행했다는 점에서 중요한 진전으로 평가했다.

매듭 묶고 지퍼백 잠그는 정밀 조작

손과 그리퍼를 이용한 정밀 조작 능력도 강화됐다. 제미나이 로보틱스 2는 아폴로 2에 장착된 샤파웨이브(SharpaWave)의 5지 22자유도 손을 제어해 매듭을 묶거나 지퍼백을 잠그는 작업을 수행한다.

프랑카 F3 듀오(Franka F3 Duo)에 장착된 표준 2지 평행 그리퍼를 이용해서는 물품을 빈틈없이 배치하는 포장 작업 등 복잡하고 정교한 동작을 구현한다. 구글은 손과 그리퍼를 비롯한 다양한 말단 장치의 제어 정밀도와 속도를 계속 높인다는 방침이다.

몇 분간 작업 계획하는 ‘제미나이 로보틱스 ER 2’

제미나이 로보틱스 ER 2(Gemini Robotics ER 2)는 로봇의 상위 의사결정을 담당하는 체화 추론(ER, Embodied Reasoning) 모델이다. 에이전트 역할을 수행하는 시각-언어 모델(VLM)로서 사람과 대화하고 주변 환경을 이해하며, 몇 분간 지속되는 복잡한 다단계 작업을 계획한다.

제미나이 로보틱스 ER 2

ER 2가 이용자의 지시를 해석하고 작업 순서를 결정하면, 하위 단계의 VLA 모델이 실제 동작을 수행한다. ER 2는 구글 검색과 개발자가 정의한 기능을 도구로 호출할 수 있으며, 현재 동작을 수행하는 동안 다음 단계를 미리 계획할 수 있다.

개발자는 VLA 모델이나 내비게이션 API 등 하위 제어 인터페이스를 도구로 등록하고 비디오와 오디오, 텍스트를 모델에 실시간으로 전송할 수 있다. ER 2는 시뮬레이션과 실제 로봇 제어뿐 아니라 사람이 원격 조작하는 환경에서도 활용할 수 있다.

제미나이 라이브 API와 연계되는 양방향 스트리밍 엔드포인트도 지원한다. 이를 통해 로봇이 동작을 멈추고 별도로 추론하는 과정 없이 여러 단계의 작업을 이어갈 수 있도록 지연 시간을 줄였다.

구글은 보스턴 다이내믹스(Boston Dynamics)의 사족보행 로봇 ‘스팟(Spot)’을 활용한 시연도 공개했다. ER 2가 스팟의 내비게이션과 매니퓰레이터 제어 API를 조율해 자연어 명령에 따라 필요한 물건을 가져오도록 구현했다.

진행률 파악하고 실패한 단계만 다시 수행

ER 2에는 로봇이 작업의 시작과 종료 시점, 중간에 발생한 주요 사건을 파악하는 시간적 지능이 적용됐다. 전구를 조이거나 쓰레기봉투를 묶는 작업이 기준에 맞게 끝났는지 확인한 뒤 다음 단계로 넘어갈 수 있다.

핵심 기능은 ‘진행 상황 분류’와 ‘구간 탐색’이다. 진행 상황 분류는 비디오의 각 프레임을 0~20%, 20~40%, 40~60%, 60~80%, 80~100% 등 5단계로 나눠 전체 작업의 진행도를 파악한다.

작업 중 문제가 발생하면 전체 과정을 처음부터 반복하지 않고 동작을 수정하거나 실패한 단계만 다시 시도할 수 있다. 구간 탐색은 컵에 커피를 따르다 멈춰야 하는 순간과 같이 주요 사건이 발생하는 정확한 시점을 찾아 작업 전환과 완료 여부 검증을 돕는다.

서로 다른 로봇이 작업 인계…협업 기능 추가

다중 로봇 협업도 새롭게 지원한다. 서로 다른 형태와 능력을 지닌 로봇이 공통된 의미 이해를 바탕으로 소통하고 작업을 인계할 수 있다.

바퀴형 로봇이 실내 이동을 맡고 휴머노이드가 울퉁불퉁한 지형에서 작업하는 방식으로 각 로봇의 장점을 결합할 수 있다. 구글은 아폴로 2와 프랑카 F3 듀오가 ER 2를 기반으로 협업하는 사례를 공개했다.

공간 추론 능력도 확대됐다. ER 2는 정지된 이미지가 아닌 연속된 비디오를 분석해 액체가 흘렀거나 물체가 미끄러지고 정렬이 어긋나는 등의 오류를 감지한다.

원형 다이얼과 사이트 글라스뿐 아니라 디지털 디스플레이, 선형 눈금, 자, 액체 온도계 등 총 10개 유형의 계측기를 판독할 수 있다. 제미나이의 멀티모달 이해 능력을 바탕으로 공간적 시각 질의응답(VQA) 성능도 개선했다.

200개 미만 예시로 새로운 로봇에 적응

제미나이 로보틱스 온디바이스 2(Gemini Robotics On-Device 2)는 인터넷 연결이나 클라우드 통신 없이 로봇 기기에서 직접 실행되도록 최적화한 VLA 모델이다. 네트워크 지연에 민감하거나 연결이 제한된 작업 환경에서 활용할 수 있다.

이 모델은 제미나이 로보틱스 1.5의 ‘동작 이전’ 기술을 계승했다. 일반적으로 200개 미만의 작업 예시와 수시간의 학습만으로 새로운 양팔 로봇 형태에 적응할 수 있다.

구글은 덱스메이트(Dexmate), SO101, 트로센(Trossen) 등 센서 구성과 자유도가 서로 다른 로봇에 모델을 적용해 다양한 작업을 수행하도록 했다.

사람 가까이 오면 멈춘다…안전 벤치마크도 공개

구글은 로봇의 물리적 능력 확대에 대응해 안전 체계도 강화했다. ER 2는 물리적 안전 제약 준수 능력을 평가하는 ‘안전 지침 준수’와 사람의 위치를 인식하는 ‘인간 근접성’ 벤치마크에서 기존 구글 로봇 모델보다 향상된 성능을 기록했다.

사람이 로봇 가까이 접근하면 동작을 안전하게 멈추고, 주변이 안전해진 뒤에만 작업을 재개한다. 작업 수행 가능성을 판단하기 어렵거나 확신이 부족하면 사람에게 추가 확인을 요청할 수도 있다.

새로운 안전성 평가 벤치마크 ‘아시모프-에이전틱(ASIMOV-Agentic)’도 선보였다. 체화 추론 에이전트가 VLA 모델의 안전하지 않은 도구 호출을 거부하는지, 작업 수행 가능성을 예측하고 필요한 경우 사람의 개입을 요청하는지 등을 측정한다.

제미나이 로보틱스 ER 2는 제미나이 API와 구글 AI 스튜디오를 통해 개발자에게 제공되며, 제미나이 엔터프라이즈 에이전트 플랫폼에서는 프라이빗 프리뷰로 이용할 수 있다. VLA 모델과 온디바이스 모델은 얼리 액세스 파트너를 대상으로 제공된다.

구글은 제미나이 로보틱스 2를 단일 작업 자동화에서 범용 피지컬 AI로 나아가는 과정의 이정표로 규정했다. 현실 세계에서 상황을 판단하고 사람 및 다른 로봇과 협력하는 AI를 통해 일상과 산업 현장에서 실질적인 도움을 제공하는 로봇 개발을 이어갈 계획이다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지