PARTNR: Planning and Reasoning for Robot-Human Partnerships

AI 로봇의 첫 실증 평가: 10만 건 테스트 중 30% 성공

메타(Meta)가 인공지능(AI) 로봇과 인간이 협업해 집안일을 처리할 경우, 전체 작업의 60%가량을 로봇이 도울 수 있다는 실험 결과를 발표했다. 이번 연구를 통해 가까운 미래에는 실제 가정에서 로봇이 상당한 수준으로 가사 업무를 지원할 가능성이 있다는 점이 확인됐다.

메타가 공개한 새로운 벤치마크 ‘PARTNR(Planning and Reasoning for Robot-Human Partnerships)’는 인간과 로봇이 공동으로 작업할 때 얼마나 효율적으로 협력할 수 있는지를 평가한다. 연구팀은 이 벤치마크를 활용해 60개의 가상 주택과 5,819개의 고유 객체를 대상으로 10만 건에 달하는 자연어 작업 지시를 시험했으며, 공간적·시간적 제약부터 로봇과 인간의 능력 차이까지 다각도로 검토했다.

이번 연구에서 확인된 로봇의 단독 성공률은 10만 건 중 약 30%로, 아직 인간 수준에 못 미치는 것으로 나타났다. 그러나 이를 통해 AI 로봇이 어디에서 성과를 내고, 어떤 부분에서 약점을 보이는지 구체적으로 파악할 수 있었다는 점이 의의로 꼽힌다.

4대 작업유형 평가한 PARTNR: 최대 93% 정확도 달성

PARTNR 벤치마크는 크게 네 가지 작업 유형을 평가한다. ▲제약이 없는 작업, ▲공간 제약이 있는 작업, ▲순서가 필요한 시간적 작업, ▲단일 주체로는 수행이 불가능한 이종(異種) 작업이다. 실험 결과, 작업을 생성해내는 정확도는 87-93%를 기록했고, 이를 평가하는 정확도도 85-93%로 매우 높았다. 특히 연구팀은 “PrediViz”라는 시각화·주석 시스템을 통해 생성된 지시와 평가 함수, 그리고 실제 장면 상태를 일일이 비교하여 정확도를 검증했다.

평가 시스템의 정확도: 인간 검증으로 50%에서 92%로 향상

연구 초기에 사용된 거대 언어 모델(LLM)이 자동 생성한 평가 기능은 정확도가 50%에 그쳤다. 하지만 사람의 주석이 달린 1,000개의 지시를 바탕으로 교정 작업을 진행하자, 정확도가 무려 92%까지 상승했다. 또한 연구진은 같은 작업을 6번 시도해도 해결되지 않으면 ‘불가능’으로 간주해 데이터셋에서 제외하는 등 엄격한 기준을 적용했다. 이런 과정을 통해 최종적으로 90%와 92%의 정확도가 결합된 평가 시스템을 완성했다.

PARTNR 데이터셋의 방대한 규모와 다양성

PARTNR 데이터셋은 155종의 고유 물체, 20종의 가구, 13종의 방 유형을 망라한다. 예를 들어 “테이블을 옮겨라”라는 명령이 있을 때, 사무실 구성이나 테이블 위치가 매번 달라지도록 설계해 실제 환경에서도 로봇이 적응력을 갖출 수 있도록 했다. 실험에는 Habitat 3.0 시뮬레이터가 활용됐으며, 로봇과 인간이 각각의 능력을 최대한 발휘할 수 있도록 2층 계층적 제어 아키텍처가 도입됐다.

로봇 기술 구현: 문 열기부터 물건 집기까지

연구진은 로봇에게 OpenFurniture, CloseFurniture, PickObject 등 기본 동작 스킬을 구현했다. 특히 네비게이션 기술은 목표 물체에 대한 관찰 공간과 로봇이 이동하는 행동 공간을 모두 고려해 설계됐으며, ‘DD-PPO’ 훈련을 통해 최적의 경로를 찾도록 했다. 로봇은 방·가구·물건 등에 대한 정보를 포함하는 ‘세계 그래프’를 참조하며, 이를 실시간으로 업데이트해 상황에 맞는 행동을 결정한다.

인간 대비 30% 성공률… 여전히 개선 여지 많아

사람이 수행했을 때 과제 성공률은 93%였으나, AI 로봇은 30% 수준에 머물렀다. 이는 협업 과정에서 필요한 조율과 실수 복구 능력이 부족했기 때문으로 분석된다. 시간 순서가 중요한 작업에서는 성공률이 27% 감소했고, 이기종 작업(로봇과 인간이 모두 필요한 복잡한 작업)에서도 20% 하락했다. 그럼에도 작은 모델(Llama3.1-8B)이 9배 큰 모델과 유사한 성능을 보이면서도 처리 속도는 크게 앞선 점은 주목할 만한 성과다.

인간-AI 협업 결과, 작업 부담 ‘60%’ 경감 가능성

비전문가 129명이 참여한 대규모 평가 결과, 단일 사용자 환경에서의 성공률은 0.93, 평균 3,046.99단계가 필요했다. AI 로봇과 협업할 때는 성공률이 0.92로 비슷하지만, 단계 수가 3,443.33으로 늘어나는 양상을 보였다. 여러 에이전트(인간·로봇)가 동시에 움직이는 ‘분산 다중 에이전트’ 환경에서는 1.3배 더 많은 단계가 필요했지만, 로봇이 전체 작업 중 60% 이상의 부담을 덜어줄 수 있다는 가능성이 확인됐다.

여전히 해결해야 할 과제 많아... "사람만큼 유연한 대처 어려워"

한편, 분산 다중 에이전트 환경에서 불필요한 작업이 300% 증가하는 등 AI 모델의 한계도 분명히 드러났다. AI는 에이전트별 능력을 고려해 작업 순서를 배분하거나 실수 복구 과정을 완벽히 처리하는 데 어려움을 겪었다. 실제로 사람 두 명이 협력하는 것보다 1.5배 많은 단계가 필요했고, 혼자 할 때보다도 1.1배 더 많은 단계를 소모했다. AI 로봇이 실수를 알아채고 복구하는 능력이 낮기 때문에, 사람만큼 유연한 대처가 어렵다는 지적이다.

“가사 도우미 로봇, 현실화 머지않았다”

이번 연구는 AI 로봇이 가사 도우미 역할을 할 수 있는 가능성을 구체적으로 입증했다는 점에서 의미가 깊다. 연구진은 부족한 점들 역시 모델 개선과 기술 발전의 기회로 삼겠다는 계획이다. 특히 PARTNR 벤치마크가 향후 인간-로봇 협력 연구의 기초 자료로 활용될 전망이며, 소형 AI 모델을 파인튜닝해 얻은 효율성은 실제 가정용 로봇 개발에도 긍정적인 영향을 미칠 것으로 기대된다.

해당 기사에 인용된 리포트 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.