사람이 로봇을 원격으로 조종해 모은 데이터 없이, 컴퓨터 속 가상 방 1,000개에서만 훈련한 휴머노이드가 처음 들어간 실제 실내 공간에서 의자에 앉고 책상 밑을 기어 지나갔다. 애플 연구진은 11월 4일 논문 공개 사이트 아카이브(arXiv)에 휴머노이드 제어 시스템 ‘HALO’ 논문을 게재했다. HALO는 ‘시뮬레이션에서 학습하고 로봇 안에서 실행하는 휴머노이드 자율 제어’를 뜻하는 영문 머리글자로, 유니트리의 휴머노이드 G1이 등에 멘 맥 미니 한 대가 상황 판단과 동작 계획을 처리한다. 연구진이 한 번도 학습에 쓰지 않은 실제 실내 6곳에서 360회 시험한 결과, 성공률은 91%였다.

가상 방 1,000개에서 생성한 학습 데이터 296시간

애플 HALO 연구진은 휴머노이드 개발의 걸림돌로 데이터 부족을 꼽았다. 카메라 영상과 말로 된 지시를 로봇 관절 명령과 짝지은 데이터는 대량으로 존재하지 않는다. 사람이 로봇을 원격으로 조종하거나 몸에 장비를 착용해 동작을 기록하는 방식으로는 데이터 1시간을 얻는 데 최소 1시간의 사람 노동이 필요하다고 연구진은 설명했다.

연구진은 사람 대신 컴퓨터로 데이터를 생성했다. 실내 공간 자동 생성 도구 인피니젠(Infinigen)으로 거실(45%), 사무실(30%), 침실(25%) 등 방 1,200개를 생성했고, 완성된 1,178개 가운데 1,000개를 학습에, 178개를 평가용으로 남겼다. 방마다 가구와 물건이 20~80개 배치됐다. 연구진은 가상 방 안에서 로봇의 동작 장면 16만 2,698건, 총 296.3시간 분량을 확보했다.

데이터 생성에는 엔비디아 H100 GPU 250개로 48시간이 소요됐고, 사람의 개입은 없었다. 사람 손으로 모으는 방식은 데이터를 늘리려면 사람을 더 투입해야 하지만, HALO 방식은 컴퓨터 자원을 늘리면 데이터도 함께 늘어난다고 연구진은 강조했다.

맥 미니와 젯슨, 3단계로 나눈 제어 구조

HALO는 판단, 동작 계획, 동작 실행의 3단계로 이뤄져 있다. 맨 위 단계는 약 2초마다 사람의 말과 로봇 머리 카메라 영상을 보고 다음 할 일을 정한다. 연구진은 판단 단계에 시각 언어 모델인 알리바바의 큐원 3.6(35B-A3B)을 용량을 줄여 맥 미니에서 실행했다. 시각 언어 모델은 이미지와 글을 함께 이해하는 AI 모델을 말한다.

두 번째 단계는 1초에 약 세 번, 카메라 영상과 할 일을 받아 앞으로 5초 동안의 관절 29개 움직임을 계획한다. 큐원 3.5(2B) 기반 이해 모듈 위에 4,930만 개 매개변수의 동작 생성 모듈을 더한 구조로, 무작위 잡음에서 출발해 점차 정답 동작에 가깝게 다듬는 확산 방식을 썼다. 매개변수는 AI 모델이 학습으로 조정하는 값으로, 매개변수 수가 많을수록 모델 규모가 크다.

HALO는 마지막 단계에서 1초에 50번 깊이 카메라와 로봇 몸 상태를 읽어 실제 관절 명령을 내린다. 실행 단계는 G1에 원래 들어 있는 엔비디아 젯슨 오린 NX에서 구동된다. 맥 미니는 M4 프로 칩과 메모리 64GB를 갖춘 모델이며, 모든 계산이 로봇 안에서 이뤄져 인터넷 연결 없이도 작동한다.

단일 과제 성공률 91%, 연속 과제는 70%

연구진은 HALO에 목표 물건까지 걸어가기, 의자에 앉기, 반쯤 열린 문 옆으로 통과하기, 높은 탁자 밑을 숙여 지나가기, 낮은 탁자 밑을 기어 지나가기, 상자 밀기 등 과제 6개를 학습시켰다. 실제 실내 6곳에서 과제마다 10회씩 시험한 결과, 숙여 지나가기는 100%, 문 통과는 93%, 걸어가기는 92%, 기어 지나가기는 90%, 상자 밀기는 88%, 의자에 앉기는 85%를 기록했다. 평균은 시뮬레이션과 실제 모두 91%였다.

연구진은 여러 과제를 이어서 수행하는 시험을 실제 공간 1곳에서 따로 진행했다. 문을 통과한 뒤 목표 물건까지 걸어가는 시험은 실제 공간 시험에서 100%를 기록했지만, 탁자 밑을 숙여 지나간 뒤 의자에 앉는 시험은 60%, 숙여 지나가기와 걸어가기, 상자 밀기를 연달아 수행하는 시험은 50%에 그쳤다. 실제 연속 과제 평균은 70%였다. 연구진은 과제 3개를 연달아 수행한 시험의 실패 5건 가운데 3건이 탁자 밑을 지난 뒤 로봇 머리가 상자 반대편을 보고 있던 경우였다고 분석했다.

학습용 방 1개에서 1,000개로 늘리자 43%에서 84%

학습에 쓴 가상 방의 수가 많을수록 처음 보는 방에서의 성공률도 상승했다. 연구진이 평가용 가상 방 100곳에서 의자에 앉기 과제를 시험한 결과, 방 1개로 학습한 경우 성공률은 43%였고, 10개는 64%, 100개는 81%, 1,000개는 84%였다.

연구진은 구성 요소를 하나씩 빼는 시험도 진행했다. 깊이 카메라 정보를 빼면 같은 과제 성공률이 84%에서 74%로 하락했다. 동작 생성 모듈을 확산 방식 대신 정답을 바로 예측하는 방식으로 바꾸면 성공률은 19%로 떨어졌다.

연구진이 밝힌 한계

연구진은 논문에서 한계도 함께 밝혔다. 데이터 수집에서는 사람을 제외했지만, 새 과제를 추가하려면 여전히 사람이 지시문과 핵심 동작을 직접 설계하는 과정이 필요하다. 로봇이 카메라에만 의존해 물체와의 접촉을 직접 감지하지 못하므로, 가려지거나 시야 밖에 있는 물체를 놓치고 접촉이 많은 작업에서는 성능이 떨어진다. 연구진은 해결책으로 촉각 센서를 제시했다.

동작 계획 단계와 실행 단계 사이에 주고받는 정보가 적어, 실행 단계는 계획의 목적을 알지 못한다. 맨 위 판단 단계의 구조도 단순해, 과제가 복잡해지면 더 발전된 AI 에이전트 방식이 필요할 수 있다고 연구진은 설명했다. 논문은 코드와 시연 영상을 애플이 운영하는 프로젝트 페이지에서 확인할 수 있다고 안내했다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 애플 HALO는 애플이 휴머노이드를 판매한다는 뜻인가요?
아닙니다. HALO는 애플 연구진이 발표한 연구 논문의 제어 시스템이며, 시험에는 중국 유니트리의 휴머노이드 G1을 사용했습니다. 논문에는 제품 출시 계획이 담겨 있지 않습니다.

Q2. 가상 방에서만 학습했는데 실제 공간에서 작동한 이유는 무엇인가요?
연구진은 방 1,000개에 가구와 물건을 다양하게 배치하고 조명과 질감을 바꿔 가며 장면을 생성했습니다. 학습한 방의 수를 1개에서 1,000개로 늘리자 처음 보는 가상 방에서의 의자 앉기 성공률이 43%에서 84%로 상승했습니다.

Q3. 로봇을 움직이는 데 인터넷이 필요한가요?
필요하지 않습니다. 판단과 동작 계획은 로봇이 등에 멘 맥 미니에서, 관절 제어는 로봇 안의 엔비디아 젯슨 오린 NX에서 처리합니다. 필요하면 외부 AI 모델을 선택적으로 호출할 수 있습니다.

기사에 인용된 논문 원문은 아카이브(arXiv)에서 확인할 수 있다.
리포트명: Perceptive Humanoid Motion from Simulation (애플, 2026년 11월)
이미지 출처: 유니트리 로보틱스
해당 기사는 클로드를 활용해 작성되었습니다.