크래프톤, 사람의 말과 몸짓 이해하는 로봇 AI ‘루디 0.2’ 공개

2026.11.03. 10:40:25

크래프톤이 사람의 의도를 이해하고 상황 변화에 맞춰 행동하는 로봇 인공지능(AI) 기술을 공개하며 로보틱스 연구를 본격화하고 있다. 대화와 추론, 물체 조작에 이어 사람의 몸짓과 피드백까지 이해하는 기술을 고도화하고, 궁극적으로는 환경 인식부터 물리적 행동까지 하나의 AI 모델로 통합한다는 구상이다.

㈜크래프톤(대표 김창한)의 로보틱스 연구법인 루도 로보틱스(Ludo Robotics)는 사람과 소통하며 협력하는 로봇용 AI 시스템 ‘루디 0.2(Ludi 0.2)’를 공개했다고 2일 밝혔다.

(오른쪽부터) 김창한 크래프톤 대표 겸 루도 로보틱스 CEO, 이강욱 크래프톤 CAIO 겸 루도 로보틱스 CTO가 미국 팔로알토 루도 로보틱스 본사 연구소에서 기념 촬영을 하고 있다.

루도 로보틱스는 지난 10월 30일(현지시간) 미국 UC 버클리에서 열린 로보틱스 학술 행사 ‘2026 베이지역 로보틱스 심포지엄(Bay Area Robotics Symposium, BARS)’에서 루디 0.2를 처음 선보였다. 발표는 이강욱 크래프톤 최고AI책임자(CAIO) 겸 루도 로보틱스 최고기술책임자(CTO)가 맡았다.

루디 0.2는 지난 8월 공개된 ‘루디 0.1(Ludi 0.1)’의 후속 버전이다. 기존 시스템이 갖춘 대화와 추론, 이동 및 물체 조작 기능을 바탕으로 사람의 의도를 파악하고 주변 상황 변화에 대응하는 능력을 강화한 것이 특징이다.

사람의 의도부터 제스처까지 이해…사회적 지능 고도화

루도 로보틱스가 중점적으로 연구하는 분야는 로봇의 ‘사회적 지능(Social Intelligence)’이다. 사람이 내리는 명령을 단순히 수행하는 수준을 넘어 상대방의 의도와 피드백을 이해하고, 변화하는 환경에 적응하면서 자연스럽게 협력할 수 있는 AI 기술 개발에 초점을 맞추고 있다.

앞서 공개한 루디 0.1은 대화와 추론을 담당하는 비전언어 모델(VLM)에 이동 및 물체 조작에 특화된 기능을 결합한 AI 시스템이다. 음성 지시를 이해하고 이전 대화의 맥락을 유지하며, 지시가 명확하지 않을 때는 추가 질문을 통해 사용자의 의도를 확인할 수 있도록 설계됐다.

작업 도중 명령이 변경되는 상황에도 유연하게 대응한다. 예를 들어 로봇이 특정 음료를 가져다 달라는 요청을 받아 이동하던 중 사용자가 다른 음료로 바꿔 달라고 지시하면, 기존 동작을 중단하고 변경된 음료를 집어 전달하는 방식이다.

이번에 공개한 루디 0.2는 이러한 기능을 확장해 사람과 로봇 사이의 상호작용을 한층 정교하게 구현하는 데 중점을 뒀다.

주요 개선 영역은 사람의 의도와 피드백, 사회적 신호에 반응하는 ‘사회적 지능’, 변화하는 작업과 상황에서도 맥락을 유지하고 판단하는 ‘기억 및 추론’, 이동과 물체 조작, 상호작용 기능을 유기적으로 연결하는 ‘도구 조작의 연계’ 등이다.

여기에 사람의 제스처를 인식하고 이에 적절하게 반응하는 ‘제스처 이해’ 능력을 강화했으며, 정해진 환경에서 로봇이 부드럽고 유연하게 움직일 수 있도록 ‘물리적 움직임’ 기능도 고도화했다.

이를 통해 음성 명령뿐 아니라 사람의 행동과 주변 환경의 변화까지 고려해 로봇이 작업을 수행할 수 있도록 기술적 기반을 확장했다.

차세대 ‘루디 1.0’ 개발 추진…인식·대화·행동 하나로 통합

루도 로보틱스는 루디 0.2에 이어 차세대 파운데이션 모델 ‘루디 1.0(Ludi 1.0)’ 개발도 추진하고 있다.

루디 1.0은 환경 인식과 대화, 물리적 행동을 하나의 모델로 통합하는 것을 목표로 한다. 로봇이 주변 상황을 인식하고 사람과 작업에 대한 이해를 공유하면서 실시간으로 소통하고 행동할 수 있도록 하는 것이 핵심 개발 방향이다.

현재 루디 0.2가 사람과의 상호작용을 위한 개별 기능의 고도화와 유기적인 연계에 중점을 둔다면, 향후 루디 1.0은 이러한 능력을 통합된 AI 모델로 구현하는 데 초점을 맞춘다.

김창한 크래프톤 대표 겸 루도 로보틱스 CEO는 “크래프톤은 20년 가까이 게임을 통해 실시간으로 상호작용하는 가상 세계를 구현해 왔다”며 “이 경험을 바탕으로 현실에서 사람과 자연스럽게 소통하고 협력하는 로봇을 위한 AI를 만들어 가겠다”고 밝혔다.

한편, 루도 로보틱스는 미국 캘리포니아주 팔로알토에 연구소를 공식 개소하고 글로벌 연구 기반도 확대했다.

팔로알토 연구소는 루도 로보틱스의 본사 연구 거점으로 운영되며, 서울 오피스와 함께 AI 및 로보틱스 연구를 수행한다. 루도 로보틱스는 앞으로 실리콘밸리의 인재 및 기술 생태계와 교류를 확대하면서 사람과 자연스럽게 협력하는 로봇 AI 기술 개발을 이어갈 계획이다.

이준문 기자/jun@newstap.co.kr

[뉴스탭 인기 기사]
· 쿠디, 숯불구이부터 훈제 요리까지 가능한 접이식 화로대 ‘파이어모프’ 출시
· 아이더, 발 움직임 따라 유연하게… 기능성 하이킹화 ‘플로션’ 출시
· 삼성전자, 42만원대 ‘갤럭시 A18 LTE’ 출시…AI에 5,000만 화소 카메라까지
· “세탁해도 남는 냄새·누런 얼룩 잡는다”…퍼실, 차세대 캡슐세제 출시
· 알리익스프레스 광군제 11월 1일 개막…최대 80% 할인에 테슬라 모델 Y까지