로봇이 처음 보는 집에서 길을 더 잘 찾게 하려면 두뇌를 키우면 될 것 같다. 그런데 결과는 반대였다. 칭화대학교와 샤오미 등이 참여한 연구진이 2026년 6월 발표한 퓨처내브(FutureNav)는 40억 파라미터짜리 작은 모델에 다음에 무엇을 보게 될지 미리 그려 보는 훈련을 더했더니, 크기가 두 배 가까운 70억, 80억 파라미터 모델을 제쳤다. 시각 언어 내비게이션(Vision-and-Language Navigation)이란 로봇이 “계단 위로 올라가 문을 지나 싱크대 앞에서 멈춰” 같은 일상 언어 지시를 듣고 처음 보는 공간을 스스로 찾아가는 기술을 말한다. 집안일 로봇과 배송 로봇이 현실로 들어오는 길목에 놓인 기술이라, 작은 모델이 거둔 이 승리는 눈여겨볼 만하다.

40억 모델이 80억을 앞선 이변

퓨처내브의 가장 큰 성과는 절반 크기 모델로 더 큰 모델을 이겼다는 점이다. 40억 파라미터 모델 퓨처내브는 표준 평가 무대인 R2R-CE에서 성공률 65.4%를 기록해, 70억 파라미터 모델 야누스브이엘엔(JanusVLN)보다 상대적으로 8.1% 높은 성적을 냈다. 성공률이란 로봇이 지시받은 목적지 근처, 보통 3미터 안쪽에서 실제로 멈춘 비율을 말한다. 성공률 65.4%는 같은 지시를 100번 주면 65번 남짓은 목적지에 제대로 도착한다는 뜻이다. 열 번에 서너 번은 여전히 엉뚱한 곳에서 멈춘다는 의미이기도 하지만, 처음 보는 집을 사람 말만 듣고 찾아가는 과제임을 생각하면 결코 낮은 수치가 아니다.

그림1. 두 평가 모두에서 최고 성능을 기록한 퓨처내브 (출처: FutureNav 논문, Figure 1)

지시가 훨씬 길고 복잡한 RxR-CE 평가에서는 격차가 더 벌어졌다. 여기서는 80억 파라미터 모델 퓨처내브가 항법 오차를 야누스브이엘엔보다 29.7% 줄였다. 항법 오차란 로봇이 멈춘 지점과 실제 목적지 사이의 거리를 미터로 잰 값으로, 작을수록 정확하게 도착했다는 뜻이다. 오차가 30% 가까이 줄었다는 것은, 예전 모델이 목적지에서 여섯 걸음 떨어진 곳에 섰다면 이번 모델은 네 걸음 안쪽에 선다는 이야기다. 목적지가 방 하나 크기라면 이 차이가 성공과 실패를 가른다. 눈여겨볼 점은 경쟁 모델 상당수가 깊이 카메라나 여러 방향 카메라를 함께 쓰는 것과 달리, 퓨처내브는 평범한 카메라 한 대만으로 이 성적을 냈다는 것이다. 우니내비드(Uni-NaVid), 스트림브이엘엔(StreamVLN), 나빌라(NaVILA)처럼 덩치가 더 큰 70억 모델들도 퓨처내브 4B에 밀렸다.

명령을 외우는 AI와 다음 장면을 그리는 AI

퓨처내브가 작은 몸집으로 이길 수 있었던 비결은 로봇에게 세상을 상상하는 법을 가르친 데 있다. 기존 내비게이션 AI는 대부분 지금 보이는 화면과 지시를 받으면 곧바로 다음 동작 하나를 뱉는 방식으로 훈련한다. 화면을 보고 “앞으로”나 “왼쪽으로”를 고르는 일만 반복해서 배우는 것이다. 이 방식은 눈앞의 상황에는 잘 반응하지만, 내가 이 동작을 하면 다음에 무엇을 보게 될지, 방금 지나온 곳이 어떤 모습이었는지를 스스로 그려 보지는 못한다.

퓨처내브 연구진은 여기에 월드 모델이라는 개념을 얹었다. 월드 모델(world model)이란 어떤 행동을 하면 주변 환경이 어떻게 바뀔지 미리 예측하는 능력을 말한다. 길을 통째로 외워 따라가는 사람과, 머릿속으로 방의 구조를 그리며 걷는 사람의 차이라고 보면 된다. 앞사람은 예상과 조금만 달라도 당황하지만, 뒷사람은 모퉁이를 돌면 무엇이 나올지 짐작하며 걷기 때문에 낯선 길에서도 덜 흔들린다. 실제 시뮬레이터 실험에서 이 차이가 그대로 드러났다. “큰 시계 오른쪽 복도를 지나 바닥의 원형 타일로 간 뒤 식탁으로 가라”는 지시를 줬을 때, 기존 모델은 그럴듯하게 움직이다 중간에 방향을 잃고 실패한 반면, 퓨처내브는 시계와 타일이라는 눈에 보이는 표시물을 기준으로 방향을 잡아 식탁 앞에 정확히 멈췄다.

그림2. 같은 지시에서 기존 모델은 실패하고 퓨처내브만 목적지에 도달 (출처: FutureNav 논문, Figure 5)

네 가지 훈련을 시키고 셋은 실전에서 꺼버린다

퓨처내브의 영리한 점은 상상 능력을 학습할 때만 켜고 실제 주행에서는 꺼버린다는 데 있다. 이 모델은 훈련 과정에서 네 가지 목표를 동시에 배운다. 첫째는 화면과 지시를 보고 다음 동작을 고르는 행동 정책이다. 동작은 멈춤, 전진, 좌회전, 우회전 네 가지뿐이다. 둘째는 순방향 동역학으로, 지금 상태에서 어떤 동작을 하면 다음에 무엇을 보게 될지 예측하는 훈련이다. 셋째는 역방향 동역학으로, 앞뒤 두 장면을 나란히 보고 그 사이에 어떤 동작을 했는지 거꾸로 알아맞히는 훈련이다. 넷째는 미래 생성으로, 동작 정보 없이도 잠시 뒤의 공간이 어떤 모습일지 그려 보는 훈련이다.

핵심은 이 네 가지 중 실제 로봇이 움직일 때 작동하는 것은 첫 번째 행동 정책 하나뿐이라는 점이다. 나머지 세 가지 상상 훈련은 모델의 감각을 다듬는 역할만 하고, 주행 순간에는 완전히 꺼진다. 미래를 예측하려면 계산이 늘어 로봇이 굼떠질 것 같지만, 퓨처내브는 그 부담을 훈련 단계로 미뤄 두었기 때문에 속도 손해 없이 정확도만 챙겼다. 다른 세계 모델 기반 로봇들이 매 걸음마다 미래를 계산하느라 느려지는 것과 대비되는 설계다. 상상은 학습으로 몸에 익히되, 실전에서는 직관처럼 빠르게 움직이는 셈이다.

63%만 배우고도 따라잡는 학습 효율

상상 훈련은 최종 성적뿐 아니라 배우는 속도까지 끌어올렸다. 연구진이 상상 훈련을 뺀 모델과 나란히 비교하자, 퓨처내브는 같은 분량을 배웠을 때 언제나 더 높은 성공률을 보였고, 전체 훈련의 63%만 마친 시점에 이미 상대 모델이 끝까지 배워야 도달하는 성적을 따라잡았다. 학습 효율로 따지면 약 1.58배 빠른 셈이다. 데이터를 모으고 모델을 훈련하는 데 큰 비용이 드는 로봇 분야에서, 같은 성적을 3분의 2 분량으로 낸다는 것은 시간과 돈을 그만큼 아낀다는 뜻이다.

어떤 상상 훈련이 가장 효과가 컸는지도 확인됐다. 네 가지 목표를 하나씩 떼어 본 실험에서, 동작을 하면 다음에 무엇을 보게 될지 예측하는 순방향 동역학이 단독으로 가장 큰 성능 향상을 가져왔다. 여기에 나머지 상상 훈련을 모두 더하자 성공률은 홀로 배운 경우의 50.1%에서 55.1%로 올랐다. 로봇이 자기 행동의 결과를 미리 그려 보는 훈련이 길 찾기 실력의 핵심이라는 점을 보여 주는 대목이다.

시뮬레이터를 넘어 실제 네발 로봇으로

퓨처내브는 컴퓨터 속 실험에 머물지 않고 실제 로봇에서도 작동했다. 연구진은 이 모델을 유니트리 고2(Unitree Go2) 네발 로봇에 얹어 실내와 실외에서 시험했다. 로봇에 달린 카메라가 눈앞 풍경을 서버로 보내면, 퓨처내브가 지시와 화면을 읽어 다음 동작을 되돌려 주고 로봇이 그대로 움직이는 방식이다. 여기서 중요한 것은 이 로봇이 현실 데이터로 따로 훈련받지 않았다는 점이다. 오직 시뮬레이터에서 배운 실력만으로 실제 세계에 곧바로 투입하는 방식을 제로샷이라 부른다.

시뮬레이터와 현실은 조명, 질감, 사물 배치가 전혀 달라서 이 간극을 넘는 일이 로봇 연구의 오랜 난제였다. 그럼에도 퓨처내브는 “노란 도로 차단봉이 보일 때까지 좌회전한 뒤 커피숍 입구에서 멈춰라” 같은 지시를 실외에서 따라 목적지 앞에 정확히 섰고, 실내에서도 의자와 자판기 같은 표시물을 기준으로 길을 찾아 멈췄다. 시뮬레이터에서 익힌 상상 능력이 현실의 공간 감각으로도 어느 정도 옮겨 갔다는 신호다.

크기 경쟁 바깥의 또 다른 길

이번 결과를 작은 모델이 큰 모델을 이겼다는 문장으로만 읽으면 절반만 본 것이다. 더 정확히는, 모델에게 세상이 어떻게 바뀌는지를 함께 가르치면 크기의 열세를 상당 부분 메울 수 있다는 사례에 가깝다. 지금까지 AI 발전은 모델을 키우는 경쟁으로 흘러왔지만, 퓨처내브는 무엇을 어떻게 배우게 하느냐가 크기 못지않게 중요할 수 있음을 보여 준다. 이 방향이 자리 잡는다면, 값비싼 대형 모델 없이도 쓸 만한 로봇을 만들 여지가 넓어질 가능성이 있다.

다만 아직 유보해서 볼 지점도 있다. 수치로 확인된 성적 대부분은 시뮬레이터 안에서 나온 것이고, 실제 로봇 시험은 정확한 성공률보다는 몇몇 장면을 보여 주는 방식으로 제시됐다. 조명과 사람의 움직임이 뒤섞이는 진짜 집과 거리에서 이 상상 능력이 얼마나 안정적으로 통할지는 더 두고 볼 필요가 있다. 그럼에도 로봇이 다음에 벌어질 일을 스스로 그려 보며 움직이기 시작했다는 점은, 명령을 받아 반응만 하던 기계가 조금씩 상황을 짐작하는 쪽으로 나아가고 있음을 시사한다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 시각 언어 내비게이션이 기존 로봇 길 안내와 무엇이 다른가요?
기존 로봇은 대부분 미리 그려 둔 지도와 좌표를 따라 움직입니다. 시각 언어 내비게이션은 지도 없이 카메라로 보이는 화면과 사람의 말만으로 처음 보는 공간을 찾아갑니다. “계단 위로 올라가 문을 지나 싱크대 앞에서 멈춰”처럼 일상 언어로 지시하면 로봇이 알아듣고 이동한다는 점이 가장 큰 차이입니다.

Q. 다음 장면을 미리 상상한다는 것이 실제로 어떻게 작동하나요?
훈련 과정에서 로봇에게 지금 화면을 보여 주고 특정 동작을 하면 다음에 어떤 화면이 나올지 맞혀 보게 시킵니다. 이 예측 연습을 수없이 반복하면서 로봇은 공간이 자기 행동에 따라 어떻게 바뀌는지 감을 익힙니다. 실제로 길을 갈 때는 이 상상 기능을 끄고, 훈련으로 다져진 감각만 이용해 빠르게 움직입니다.

Q. 이 기술로 만든 로봇을 지금 집에서 쓸 수 있나요?
아직은 연구 단계입니다. 실외와 실내에서 실제 네발 로봇으로 작동하는 것까지는 확인됐지만, 사람이 많고 상황이 복잡한 실제 생활 공간에서의 안정성은 더 검증이 필요합니다. 연구진이 코드와 모델을 공개할 예정이라고 밝힌 만큼, 후속 연구와 상용화 소식을 지켜볼 필요가 있습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation (Lingfeng Zhang 외, 2026)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.