RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

웹 규모 데이터로 훈련된 비전-언어 모델, 로봇 제어에 혁신적 변화 가져와

구글 딥마인드(Google DeepMind) 연구팀이 개발한 'RT-2'는 인터넷 규모의 데이터로 훈련된 비전-언어 모델(Vision-Language Model, VLM)을 로봇 제어에 직접 통합하는 혁신적인 방법을 제시했다. 웹에서 학습한 시맨틱 이해 능력과 추론 능력을 로봇 제어에 전이시킴으로써, RT-2는 일반화 성능을 크게 향상시키고 이전에 볼 수 없었던 다양한 능력을 보여주고 있다.

RT-2는 비전-언어-액션 모델(Vision-Language-Action Model, VLA)의 한 예로, 로봇 행동을 텍스트 토큰으로 표현하고 이를 자연어 토큰과 동일한 방식으로 처리한다는 점이 핵심이다. 연구팀은 인터넷 규모의 시각적 질의응답 작업과 로봇 데이터 세트를 함께 활용하여 모델을 공동 미세 조정했으며, 이를 통해 웹에서 얻은 지식을 로봇 제어에 효과적으로 전이시켰다.

6,000회 이상 평가에서 기존 방식 대비 2배 향상된 일반화 성능

RT-2는 로봇 훈련 데이터에 없던 새로운 물체, 배경, 환경에 대한 적응력이 기존 방식에 비해 월등히 뛰어났다. 연구팀은 6,000회 이상의 로봇 평가를 통해 RT-2의 성능을 검증했으며, 결과적으로 이전의 최첨단 방식들보다 약 2배 이상의 성능 향상을 보였다.

특히 주목할 만한 점은 RT-2가 로봇 훈련 데이터에서는 전혀 접하지 못했던 새로운 물체나 복잡한 상황에서도 뛰어난 성능을 보인다는 것이다. 이러한 능력은 웹 규모의 데이터에서 학습한 풍부한 시맨틱 지식과 시각적 개념이 로봇 제어에 성공적으로 전이되었음을 의미한다.

예를 들어, RT-2는 "딸기를 올바른 그릇에 넣어라"라는 명령을 받았을 때, 단순히 그릇을 식별하는 것을 넘어 어떤 그릇이 '올바른' 그릇인지 판단할 수 있었다. 이 과정에서 로봇은 장면의 맥락을 파악하여 다른 과일들이 담겨 있는 그릇이 딸기에게 적합하다는 것을 스스로 추론했으며, 이는 고수준의 시각적 인식과 의미론적 맥락 이해 능력이 결합된 결과다.

또 다른 인상적인 예로, RT-2는 "테이블에서 떨어질 것 같은 가방을 집어라"라는 지시를 수행할 수 있었다. 이 경우 로봇은 여러 가방 중에서 테이블 가장자리에 불안정하게 놓여 있어 떨어질 위험이 있는 가방을 정확히 식별했다. 이는 물체의 공간적 위치뿐만 아니라 물리적 상태와 잠재적 위험까지 이해하는 능력을 보여주는 사례다. 로봇 훈련 데이터에는 이와 같은 물리적 불안정성에 대한 명시적인 훈련 예제가 포함되지 않았음에도 불구하고, RT-2는 웹에서 학습한 일반적인 물리적 개념을 실제 상황에 적용할 수 있었다.

"2 더하기 1 근처로 바나나를 옮겨라" - RT-2가 보여주는 고급 추론 능력

RT-2의 가장 인상적인 측면 중 하나는 모델이 보여주는 '창발적 능력(emergent capabilities)'이다. 이는 로봇 훈련 데이터에서 직접 학습하지 않았지만, 웹 규모의 데이터에서 얻은 지식을 활용해 나타나는 능력을 말한다.

연구팀은 이러한 창발적 능력을 세 가지 범주로 나누어 평가했다. 첫째, 상징 이해 능력으로 로봇이 "사과를 3으로 옮겨라" 또는 "콜라 캔을 하트 위에 놓아라"와 같은 명령을 이해하고 수행할 수 있다. 둘째, 추론 능력으로 "같은 색상의 컵에 사과를 옮겨라"나 "2 더하기 1의 합계 근처로 바나나를 옮겨라"와 같은 수학적 연산이나 시각적 추론이 필요한 작업을 수행할 수 있다. 셋째, 인간 인식 능력으로 "안경을 쓴 사람에게 콜라 캔을 가져다 주어라"와 같은 명령도 이해하고 실행할 수 있다.

생각의 연쇄 추론으로 "피곤할 때 필요한 음료"를 에너지 드링크로 판단하는 RT-2

연구팀은 더 나아가 '생각의 연쇄(Chain-of-Thought)' 프롬프팅 방식을 적용한 RT-2 변형을 개발했다. 이 모델은 행동을 취하기 전에 먼저 자연어로 계획을 세우는 단계를 추가함으로써 더 복잡한 명령도 수행할 수 있게 되었다.

예를 들어, "못을 박아야 하는데, 장면에서 유용할 만한 물건이 있을까?"라는 질문에 모델은 "돌"이라고 답하고 돌을 집어 든다. 또한 "피곤한데 음료수 좀 가져다 줘"라는 요청에는 에너지 드링크(레드불 캔)를 선택해서 가져온다. 이처럼 RT-2는 단순한 물체 식별을 넘어 상황에 맞는 적절한 도구나 물건을 추론하고 선택할 수 있는 능력을 보여주었다.

모델 규모와 학습 방식: 55B 파라미터 크기와 공동 미세 조정이 성능 극대화

연구팀은 모델 크기와 학습 방법이 성능에 미치는 영향도 분석했다. 5B와 55B 파라미터를 가진 모델을 비교한 결과, 모델 크기가 클수록 일반화 성능이 향상되는 것으로 나타났다. 또한 학습 방법에 있어서는 로봇 데이터만 사용한 미세 조정보다 웹 데이터와 로봇 데이터를 함께 사용한 공동 미세 조정(co-fine-tuning)이 더 효과적이었다. 공동 미세 조정 방식은 모델이 웹에서 학습한 개념을 잊지 않게 하면서 로봇 제어 능력을 키울 수 있게 했다.

FAQ

Q: RT-2는 기존의 로봇 제어 시스템과 어떤 점이 다른가요?

A: RT-2는 웹 규모의 비전-언어 모델을 로봇 제어에 직접 통합한 시스템입니다. 기존 시스템과 달리 로봇 행동을 텍스트 토큰으로 표현하여 언어 모델이 직접 로봇을 제어할 수 있게 했으며, 인터넷에서 학습한 지식을 활용해 새로운 상황에 더 잘 적응할 수 있습니다.

Q: RT-2가 보여주는 '창발적 능력'이란 무엇인가요?

A: 창발적 능력은 로봇 훈련 데이터에서 직접 학습하지 않았지만, 웹에서 학습한 지식을 바탕으로 나타나는 새로운 능력입니다. 예를 들어, RT-2는 수학적 계산, 상징 이해, 인간 인식 등 로봇 데이터에서는 볼 수 없었던 다양한 복잡한 작업을 수행할 수 있습니다.

Q: RT-2가 가진 한계점은 무엇인가요?

A: RT-2는 웹에서 학습한 시맨틱 지식과 시각적 개념에 대한 일반화 능력이 뛰어나지만, 새로운 동작 자체를 학습하는 능력은 제한적입니다. 모델의 물리적 기술은 여전히 로봇 훈련 데이터에서 본 기술 분포에 한정되어 있으며, 대형 모델의 실시간 추론을 위한 계산 비용도 주요 한계점입니다.

해당 기사에 인용된 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT-4o를 활용해 작성되었습니다.