로봇에게 “네모 좀 찾아줘”라고 말했더니, 로봇이 사무실 전체를 뒤지는 대신 곧장 주방으로 향했다. 네모가 이 시간대에 주로 주방에 있다는 걸 며칠간의 관찰로 이미 알고 있었기 때문이다. 독일 킬대학교(Kiel University)와 미국 조지메이슨대학교(George Mason University) 연구진이 2026년 6월 발표한 로봇 시스템 ‘휴멤버(HUMEMBR)’는 사람의 일상 습관을 며칠에 걸쳐 학습해 “그 사람이 지금 어디 있을지”를 예측하는 로봇 기억 기술이다. 청소 로봇이나 배달 로봇이 단순히 길만 아는 수준을 넘어, 함께 일하는 사람의 리듬까지 파악하기 시작했다는 점에서 우리 일상과 직결된 이야기다.

사람의 하루 루틴을 기억하는 로봇 휴멤버의 등장

휴멤버(HUMEMBR)란 로봇이 특정 사람이 언제 출근하고 어디에 머무는지 같은 ‘사람 중심의 일상 패턴’을 며칠에 걸쳐 기억하고, 그 기억을 바탕으로 사람의 위치를 예측해 이동하는 로봇 시스템을 말한다. 이름은 ‘체화된 로봇을 위한 사람 중심 기억(Human-Centered Memory for Embodied Robots)’의 줄임말이다. 킬대학교와 조지메이슨대학교 연구진은 이 시스템을 보스턴 다이내믹스(Boston Dynamics)의 4족 보행 로봇 ‘스팟(Spot)’에 실제로 탑재해 사무실에서 테스트했다.

기존 로봇은 벽이 어디 있고 책상이 어디 있는지 같은 ‘공간 지도’는 잘 그렸지만, “김 대리는 보통 오전 9시 반에 도착한다” 같은 사람의 습관은 전혀 기억하지 못했다. 로봇에게 사무실은 그저 장애물이 배치된 방일 뿐, 그 안에서 사람들이 매일 반복하는 리듬은 보이지 않는 정보였다. 휴멤버는 바로 이 빈틈을 메운다. 로봇이 돌아다니며 본 장면을 계속 저장하고, 그 안에 등장한 사람이 누구인지 알아본 뒤, 며칠치 기록을 쌓아 그 사람의 하루를 재구성한다.

20일간 1만 장 넘게 관찰한 로봇, 하지만 다 저장하진 않는다

연구진이 로봇으로 실제 사무실을 20일간 관찰한 결과, 31시간 동안 1만 3,000장 넘는 이미지가 136개 장소에서 수집됐고 20명의 사람이 등장했다. 로봇은 초당 2장씩 사진을 찍지만, 찍은 걸 전부 저장하지는 않는다. 방금 저장한 장면과 거의 똑같은 새 장면이 들어오면 버리고, 눈에 띄게 달라진 장면만 남긴다. 사람으로 치면 “아까 본 거랑 똑같네” 싶은 순간은 굳이 기억하지 않고, 새로운 장면만 머릿속에 담아두는 것과 같다. 덕분에 기억 용량이 폭발적으로 늘어나지 않으면서도 중요한 변화는 놓치지 않는다.

여기서 핵심은 ‘같은 사람을 계속 같은 사람으로 알아보는 일’이다. 오늘은 초록 후드티를 입고 내일은 정장을 입어도, 로봇은 그가 어제 봤던 그 사람이라는 걸 알아야 한다. 휴멤버는 두 가지 단서를 함께 쓴다. 얼굴이 보이면 얼굴을 주된 기준으로 삼고, 옆모습이나 뒷모습이라 얼굴이 안 보이면 몸 전체의 생김새와 자세 특징으로 사람을 추적한다. 실제 실험에서 이 몸 특징 인식(ReID) 기능을 뺐더니 전체 정확도가 66%에서 60.5%로 떨어졌다. 5.5%포인트의 차이가 작아 보일 수 있지만, 하루에 수십 번씩 사람을 알아봐야 하는 상황에서 이만큼 자주 사람을 놓친다면 로봇은 결국 엉뚱한 사람을 찾아 헤매게 된다.

631,651 대 106,347, 다 읽는 로봇이 오히려 헤매는 이유

휴멤버의 가장 반직관적인 발견은 ‘기록을 전부 다 보는 로봇이 필요한 것만 골라 보는 로봇보다 못하다’는 점이다. 연구진은 두 방식을 비교했다. 하나는 그동안 쌓인 모든 기록을 통째로 읽고 답하는 ‘전체 문맥’ 방식이고, 다른 하나가 질문에 필요한 부분만 골라 읽는 휴멤버 방식이다. 상식적으로는 다 읽는 쪽이 더 정확할 것 같지만 결과는 반대였다.

특히 “그 사람은 주로 어디에 있나” 같은 공간 관련 질문에서 격차가 컸다. 전부 다 읽은 방식의 정확도는 34.6%에 그친 반면, 휴멤버(제미나이 3 플래시 사용)는 92.3%를 기록했다. 세 배 가까운 차이다. 이유는 이렇다. 모든 기록에는 장소 정보가 붙어 있는데, 로봇이 수천 개의 비슷비슷한 장소 이름을 한꺼번에 들여다보면 정작 중요한 장소가 소음에 묻혀버린다. 사람이 100쪽짜리 문서를 처음부터 끝까지 읽는 것보다, 필요한 한 문단만 찾아 읽는 게 답을 더 정확히 찾는 것과 같은 원리다. 이렇게 필요한 부분만 골라 읽은 덕분에 휴멤버는 질문당 처리한 정보량(토큰)이 전체를 다 읽는 방식의 6분의 1 수준(약 63만 대 10만)이면서도 정확도는 더 높았다. 값싼 공개 모델을 쓸 경우에는 단 2%의 정보량만으로 비슷한 성적을 냈다.

그림 1. 방식별 질문당 토큰 사용량 대비 정확도 비교 (출처: HUMEMBR 논문 Fig.10)

실전 배치에서 드러난 성공과 한계, 그리고 프라이버시 문제

실제 사무실에 배치된 휴멤버는 대부분의 임무를 능숙하게 해냈지만, 특정 조건에서는 뚜렷한 한계를 보였다. 연구진이 로봇에게 여섯 종류의 실전 임무를 각각 열 번씩 시킨 결과, “도리의 자리에 가서 소포를 받아 돌아와라” 같은 임무는 100%, “방문객을 데려와 주방을 안내하라”는 임무도 100% 성공했다. 로봇은 사람의 평소 위치를 예측해 곧장 그곳으로 향했기 때문에, 사무실 전체를 뒤지지 않고 서너 곳만 들러 임무를 마쳤다.

반면 사람이 의자에 가려 있거나 뒷모습만 보이거나 역광·어두운 조명 아래 있을 때는 성공률이 50%까지 떨어졌다. 이런 상황에서는 얼굴 인식과 몸 특징 인식이 모두 흔들려, 로봇이 대상을 못 알아보거나 심지어 있지도 않은 사람을 봤다고 착각하는 일까지 생겼다. 결국 로봇이 사람을 얼마나 잘 알아보느냐가 전체 성능을 좌우하는 마지막 관문인 셈이다. 연구진은 이 기술이 사람의 일상 습관을 지속적으로 추적하는 만큼 사생활 침해 위험이 있다는 점도 분명히 했다. 데이터는 참가자 동의 아래 연구에 필요한 최소 기간만 수집했고, 실명 대신 가명 ID로 저장했으며, 동의 없는 감시나 추적 용도로는 쓰지 않는다고 밝혔다.

편리함과 감시 사이, 우리가 지켜봐야 할 지점

로봇이 사람의 루틴을 기억한다는 것은 양날의 검이다. 몸이 불편한 사람을 돌보는 로봇이 “이 시간엔 보통 거실에 계시니 먼저 가서 확인하자”라고 판단한다면 큰 도움이 될 수 있다. 하지만 같은 기술이 동의 없이 쓰이면, 누가 언제 출근하고 어디에 얼마나 머무는지를 로봇이 낱낱이 기록하는 감시 도구가 될 가능성도 있다. 연구진 스스로 “이 시스템의 출력은 확률적이므로 중요한 의사결정에 사용해서는 안 된다”고 못 박은 대목은 곱씹어 볼 만하다. 아직은 통제된 사무실 환경의 실험 단계인 만큼, 이 기술이 가정과 공공장소로 확산될 때 편리함과 프라이버시의 경계가 어디에 그어질지는 두고 볼 필요가 있다. 로봇이 우리를 얼마나 기억하도록 허락할 것인가는, 기술이 아니라 결국 사회가 정해야 할 질문이다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 휴멤버(HUMEMBR)는 어떤 로봇인가요?
휴멤버는 사무실 같은 공간에서 사람들의 하루 습관을 며칠에 걸쳐 기억하고, 그 기억을 바탕으로 특정 사람이 지금 어디에 있을지 예측해 찾아가는 로봇 시스템입니다. 독일 킬대학교와 미국 조지메이슨대학교 연구진이 개발했고, 보스턴 다이내믹스의 4족 보행 로봇 스팟에 실제로 탑재해 테스트했습니다.

Q. 로봇이 옷을 갈아입은 사람도 알아볼 수 있나요?
네, 알아볼 수 있습니다. 휴멤버는 얼굴이 보일 때는 얼굴을, 뒷모습이라 얼굴이 안 보일 때는 몸 전체의 생김새와 자세 특징을 함께 사용해 같은 사람을 추적합니다. 다만 사람이 물건에 가려 있거나 조명이 너무 어두우면 알아보는 정확도가 떨어진다는 한계도 있습니다.

Q. 이 기술이 사생활을 침해하지는 않나요?
연구진도 사생활 침해 위험을 인정하고 여러 안전장치를 뒀습니다. 참가자 동의를 받아 연구에 필요한 최소 기간만 데이터를 수집했고, 실명 대신 가명 ID로 저장했으며, 동의 없는 감시나 추적 용도로는 사용하지 않는다고 밝혔습니다. 다만 이 기술이 앞으로 널리 퍼질 경우 편리함과 프라이버시 사이의 균형을 어떻게 잡을지는 사회적 논의가 필요한 과제로 남아 있습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: HUMEMBR: Learning Human Routines for Predictive Embodied Navigation
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.