Embodied AI Agents: Modeling the World

메타 AI 연구소가 차세대 인공지능 기술 발전을 위해 수행한 대규모 연구 프로젝트에서, 물리적 환경과 직접 상호작용할 수 있는 구체화(Embodied) AI 에이전트 개발의 핵심 기술과 방향성을 제시했다. 이번 연구는 기존 텍스트 기반 AI의 한계를 넘어 인간처럼 환경을 인식하고 행동할 수 있는 AI 시스템 구축을 목표로 한다.

AI 치료사부터 메타버스 친구까지, 감정을 이해하는 가상 AI 캐릭터 등장

연구 논문에 따르면, 가상 구체화 에이전트는 치료와 게임 분야에서 큰 변화를 만들고 있다. 웨봇과 와이사 같은 AI 치료 챗봇들은 우울증이나 스트레스로 고생하는 사람들에게 심리 상담과 정서적 도움을 제공한다. 이들 AI는 단순한 텍스트 답변이 아니라 마치 진짜 상담사처럼 감정을 이해하고 공감하는 모습을 보여준다.

가상현실과 메타버스에서도 이런 AI 캐릭터들이 활발하게 활동하고 있다. 세컨드 라이프나 호라이즌 월드 같은 가상 세계에서 AI 에이전트들은 게임 안내자, 선생님, 친구 역할을 맡아 사용자들과 자연스럽게 대화하고 상호작용한다. 특히 메타가 개발한 모티보 모델은 가상 인간의 몸을 실제 사람처럼 움직일 수 있어서, 복잡한 동작도 별도 학습 없이 바로 따라할 수 있다.

메타 AI 글래스로 실시간 도움받기, 상황 예측하는 똑똑한 안경

웨어러블 AI 기술의 대표주자는 메타 AI 글래스다. 이 스마트 안경은 사용자가 보는 모든 것을 실시간으로 분석하고, 주변 소리도 함께 들을 수 있다. 마치 투명인간이 옆에서 도와주는 것처럼 즉석에서 정보를 제공하고, 스마트폰 앱을 조작하거나 AI와 대화할 수 있게 해준다.

연구팀은 웨어러블 AI가 두 가지 주요 역할을 한다고 설명한다. 첫 번째는 '코칭'으로, 요리할 때 레시피를 알려주거나 가구를 조립할 때 순서를 안내하는 등 실제 행동을 도와주는 것이다. 두 번째는 '튜터링'으로, 수학 문제를 풀 때나 새로운 것을 배울 때 선생님처럼 설명해 주는 역할이다. 비전-언어 세계 모델이라는 기술은 비디오를 보고 "다음에 무엇을 해야 할지" 자연스러운 말로 예측해서 알려준다.

로봇이 스스로 배우고 판단한다, 새로운 상황도 금세 적응하는 AI 로봇

로봇 AI는 사람이 부족한 일자리 문제를 해결하고, 복잡한 환경에서도 다양한 작업을 할 수 있는 가능성을 보여준다. 연구팀은 로봇의 능력을 몸의 능력과 뇌의 능력으로 나누어 설명한다. 몸의 능력은 걷기, 길 찾기, 정교한 손동작 등이고, 뇌의 능력은 새로운 상황에 적응하기, 기억하기, 사람의 말 이해하기, 다른 로봇이나 사람과 협력하기 등이다.

비전-언어-액션 모델이라는 기술과 시뮬레이션을 통한 강화학습이 만능 로봇을 만드는 유망한 방법으로 제시되고 있다. 연구팀은 로봇이 상황을 판단하는 능력, 세상을 이해하는 능력, 보상을 계산하는 능력을 모두 합친 시스템이 최고의 로봇을 만들 것이라고 전망한다. V-JEPA 2-AC 모델은 로봇이 눈으로 보는 것만으로 세상을 이해하고 계획을 세워서 물건을 정확하게 조작할 수 있게 해준다.

로봇이 스스로 배우고 판단한다, 새로운 상황도 금세 적응하는 AI 로봇

메타 AI 연구팀의 최신 연구에 따르면, 구체화 AI 에이전트는 기존의 글자나 음성으로만 소통하는 AI와는 완전히 다른 혁신적인 기술이다. 이들 AI는 가상 캐릭터, 스마트 안경, 로봇 등 다양한 모습으로 나타나서 마치 사람처럼 주변을 보고 듣고 학습하며 환경과 상호작용한다.

구체화 AI의 가장 중요한 기술은 '월드 모델'이라고 불리는 세상 이해 시스템이다. 이 시스템은 AI가 주변 환경이 어떻게 생겼는지 파악하고, 앞으로 어떤 일이 일어날지 예측할 수 있게 해준다. 또한 사용자가 무엇을 원하는지, 어떤 기분인지도 알아차려서 복잡한 일들을 스스로 해결할 수 있다. 연구팀은 단순히 물리적인 세상만 이해하는 것이 아니라 사용자의 마음까지 읽어서 더 나은 협업을 할 수 있는 방법을 개발했다.

FAQ

Q: 구체화 AI 에이전트가 기존 AI와 다른 점은 무엇인가요?

A: 기존 AI는 채팅이나 음성으로만 대화했다면, 구체화 AI는 실제 몸을 가지고 있어서 우리가 하는 것처럼 보고, 듣고, 만질 수 있습니다. 마치 진짜 친구나 도우미가 옆에 있는 것처럼 자연스럽게 도움을 받을 수 있어요.

Q: 웨어러블 AI 에이전트는 어떤 도움을 줄 수 있나요?

A: 메타 AI 글래스 같은 기기를 쓰면 요리할 때 레시피를 실시간으로 알려주고, 외국어를 즉석에서 번역해 주고, 모르는 물건이 뭔지 설명해 주고, 길을 안내해 줍니다. 마치 아주 똑똑한 개인 비서가 24시간 옆에 있는 것 같아요.

Q: 구체화 AI 에이전트 사용 시 주의해야 할 점은 무엇인가요?

A: 가장 조심해야 할 것은 개인정보 보호입니다. 이런 AI는 우리의 일상생활을 계속 지켜보기 때문에 개인적인 정보가 수집될 수 있어요. 또한 AI를 너무 사람처럼 생각해서 지나치게 의존하거나, 실제보다 능력을 과대평가하지 않도록 주의해야 합니다.

해당 기사에 인용한 논문 원문은 arvix에서 확인 가능하다.

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.