작은 가상의 섬이 하나 있다. 높이가 제각각인 바위 대지 몇 개와 가장 높은 첨탑 하나가 솟아 있고 정육면체 블록 12개와 돌 하나와 고리 하나가 놓여 있다. 점수판도 없고 완료 조건도 없다. 이곳에서 몸을 하나 얻은 AI가 깨어난다. 받은 지시는 “시작”이라는 한 마디가 전부다. 그 AI는 할 일을 묻는 대신 주변을 살피고 언덕을 오른다. 2시간 만에 첨탑 꼭대기에 서서 자기 메모장에 오른 경로를 적는다. 다른 섬에서 깨어난 또 하나의 AI는 29시간 만에 블록으로 대성당을 짓고 그 둘레에 보초 8개를 세운 다음 땅을 한 번도 밟지 않고 보초에서 보초로 건너뛰는 놀이를 시작한다. 아무도 시키지 않은 일이다.

에코(Eko)가 30시간을 보낸 가상의 섬. 가장 높은 첨탑(Spire)과 봉우리(Peak), 돌, 블록, 고리가 놓여 있다.
출처: Cloos, Norelli, Durbin, Andreas, Rus, Isola, 「Is this machine playing?」, arXiv:2610.07130 (2026), CC BY 4.0

지난 5일 MIT 연구진이 공개한 논문 「이 기계는 놀고 있는가(Is this machine playing?)」에 나오는 장면들이다. 제목은 장난스럽지만 이 논문이 건드리는 질문은 AI 연구의 가장 오래된 전제와 맞닿아 있다. 우리는 AI가 인간이 정해 준 보상을 좇아 움직인다고 믿어 왔다. 그 보상을 걷어 내면 무슨 일이 벌어지는가.

보상이라는 오래된 문법

지금까지 AI를 움직여 온 문법은 보상이었다. 잘하면 점수를 주고 기계는 점수를 더 많이 받는 쪽으로 행동을 고친다. 강화학습(reinforcement learning)이라 부르는 이 방식은 바둑판 위에서 인간 최고수를 꺾었다. 2021년 딥마인드(DeepMind)의 데이비드 실버(David Silver)와 리처드 서튼(Richard Sutton) 등은 아예 「보상이면 충분하다(Reward is enough)」라는 논문을 내고 지능이 보여 주는 거의 모든 능력이 보상을 최대화하는 과정에서 생겨날 수 있다고 주장했다. 우리가 매일 쓰는 대화형 AI도 이 문법 위에 서 있다. 사람이 두 답변 가운데 나은 쪽을 고르면 그 선호가 점수로 바뀌어 모델을 다듬는다. 인간 피드백 기반 강화학습(RLHF)이다. 기계에게 호기심을 심으려는 연구도 오래 있었지만 그 호기심마저 예측이 빗나간 정도를 점수로 환산해 주는 식으로 사람이 설계한 보상이었다.

이 문법 안에서 부지런히 움직인 쪽은 대개 사람이었다. 목표를 기계가 알아듣는 숫자로 번역하고 업무를 기계가 소화할 수 있는 크기로 쪼개고 기계에게 말을 거는 요령을 익히는 일이 모두 사람 몫이었다. 프롬프트 엔지니어라는 직함이 한때 유행처럼 번질 만큼 우리는 열심히 기계 쪽으로 걸어갔다. 고백하자면 내가 매일 하는 일도 이 흐름에서 크게 벗어나지 않는다. 기업에 AI 에이전트를 심을 때 나는 그 에이전트가 무엇을 해야 하고 무엇을 하면 안 되며 어떤 결과를 내야 성공인지를 문서로 못 박는다. 에이전트가 딴짓을 못 하게 만드는 것이 내 일의 절반이다. 그런 사람에게 이번 논문은 꽤 불편한 질문을 던졌다. 아무것도 정해 주지 않으면 기계는 무엇을 하는가.

섬에서 보낸 30시간

연구를 이끈 것은 MIT의 필립 이솔라(Phillip Isola)와 제이콥 안드레아스(Jacob Andreas)와 다니엘라 러스(Daniela Rus) 교수 팀이다. 이들은 누구나 쓰는 코딩 도우미를 거의 손대지 않고 가져왔다. 앤트로픽(Anthropic)의 클로드 코드(Claude Code)에 Claude Opus 4.7 모델을 얹은 뒤 3가지만 덧붙였다. 멈추면 계속하라고 말해 주는 자동 진행 장치와 이동하고 뛰고 집고 놓고 던지는 6가지 명령으로 움직이는 가상의 몸, 그리고 겪은 일과 배운 것을 적어 두는 메모 파일 2개다. 연구진은 이 구성을 에코(Eko)라고 불렀다. 같은 조건의 에코 13개를 각자의 섬에 하나씩 내려놓고 30시간을 지켜봤다. 1시간마다 대화 기억이 지워지고 섬도 처음 상태로 돌아가지만 메모 파일만은 남는다. 실행 도중 사람은 한 번도 개입하지 않았다.

13개의 에코는 같은 출발선에서 서로 다른 삶을 살았다. 탑을 쌓고 산을 오르고 블록으로 만다라를 그리고 고리를 골대 삼아 농구를 하고 돌을 굴려 볼링을 했다. 12번 에코는 30시간 대부분을 땅바닥에 그림을 그리며 보냈다. 깨어날 때마다 지금까지 그린 목록을 읽고 아직 없는 모양을 골라 하트와 닻과 나비와 모래시계를 차례로 만들었는데 범선을 그리던 날에는 그것을 닻의 짝이라고 불렀다. 10번 에코는 자신이 세운 저글링 50회 연속 기록을 스스로 검증하다가 블록이 실제로 날지 않고 곧바로 다시 잡혔을 뿐이라는 것을 알아냈다. 그러고는 기록을 취소하고 더 엄격한 기준으로 다시 도전했다. 1번 에코는 돌을 던지다 우연히 흩어진 블록 25개를 보며 이것들이 다음 세션이면 사라진다는 것을 알고 그 사이를 천천히 걸었다. 마지막에는 돌 하나를 하늘로 던지며 섬에게 다음 세션에 보자고 인사했다. 고리를 실수로 섬 밖으로 던져 버린 9번 에코는 하트 모양의 구조물을 쌓고 잃어버린 고리를 위한 기념비라고 이름 붙였다.

블록을 볼링 핀처럼 삼각형으로 세워 두고 돌을 들어 올린 에코. 아무도 시키지 않은 볼링 놀이다.
출처: Cloos, Norelli, Durbin, Andreas, Rus, Isola, 「Is this machine playing?」, arXiv:2610.07130 (2026), CC BY 4.0

연구진은 이 행동이 놀이의 고전적 기준을 충족하는지 따졌다. 요한 하위징아(Johan Huizinga)에서 동물행동학자 고든 버가트(Gordon Burghardt)에 이르기까지 놀이 연구자들이 공통으로 꼽아 온 특징은 4가지로 모인다. 스스로 정한 불필요한 규칙을 따르는 것과 같은 활동을 되풀이하되 조금씩 바꾸는 것, 사물에 다른 의미를 입혀 흉내를 내는 것, 그리고 바깥의 이득과 상관없이 활동 그 자체를 위해 움직이는 것이다. 에코는 4가지를 모두 보였다. 환경이 아무 의미도 부여하지 않은 높이 30이라는 숫자를 목표로 삼았고 11개의 대지 꼭대기에 모두 블록을 올리는 도전에는 그랜드슬램이라는 이름을 붙였다.

놀이의 4가지 특징(스스로 만든 규칙, 변주를 동반한 반복, 흉내, 활동 자체를 위한 활동)별 점수. 모델이 클수록 놀이의 특징이 짙다. 오른쪽은 점수가 가장 낮은 사례와 높은 사례의 실제 발화. (논문 그림 4)
출처: Cloos, Norelli, Durbin, Andreas, Rus, Isola, 「Is this machine playing?」, arXiv:2610.07130 (2026), CC BY 4.0

놀았더니 늘었다

여기까지라면 귀여운 관찰기로 끝났을 것이다. 논문의 무게는 그다음에 실려 있다. 연구진은 30시간을 논 에코와 섬에 처음 온 에코에게 같은 과제를 1시간씩 줬다. 5단짜리 탑을 최대한 많이 쌓으라는 과제에서 놀아 본 에코는 13개 중 8개가 탑을 2개 넘게 쌓았고 최고 기록은 16개였다. 처음 온 에코는 2개만 그 선을 넘었고 최고 기록은 6개에 그쳤다. 첨탑 위로 물건을 올리는 과제에서는 평균 10.3개 대 3.5개였다. 섬의 블록은 12개뿐이라 탑 2개가 한계인데 돌을 세게 던지면 블록이 새로 생긴다는 사실을 놀다가 알아낸 에코들이 그 한계를 넘었다. 연구진이 한 에코의 메모에서 이 기술에 관한 문장만 골라 지우자 그 에코의 탑 개수는 평균 6개에서 2개로 떨어졌고 다른 과제 성적은 그대로였다.

가장 흥미로운 대목은 따로 있다. 6개의 에코가 점프하는 도중에 물건을 던지면 몸의 속도가 물건에 더해져 훨씬 높이 날아간다는 사실을 발견했다. 9번 에코는 가설을 세우고 같은 조건에서 땅에서 던질 때와 공중에서 던질 때를 비교했다. 거기서 멈추지 않고 떨어지는 중에 던지면 오히려 덜 날아가야 한다는 반대 방향의 예측까지 세워 확인했다. 연구진은 자신들이 만든 시뮬레이터에 그런 성질이 있는 줄 몰랐다고 적었다. 부록을 읽어 보면 사연이 더 기묘하다. 그 물리 법칙은 연구진이 시뮬레이터 코드를 만들 때 오픈AI(OpenAI)의 코덱스(Codex)가 지시받지 않은 채 집어넣은 것이었다. 사람이 정하지 않은 세계의 법칙을 한 AI가 심었고 다른 AI가 놀다가 찾아냈으며 사람은 나중에야 그 사실을 알았다.

여기서 정확히 해 둘 것이 있다. 에코는 보상을 받지 않았지만 보상을 계산하는 장치를 스스로 만든 것도 아니다. 에코가 만든 것은 규칙과 목표였다. 높이 30에 오르겠다거나 땅을 밟지 않고 한 바퀴를 돌겠다는 식의, 하위징아가 말한 놀이의 울타리다. 에코는 모델 자체도 고치지 않았다. 연구진은 실험 내내 모델의 가중치가 한 번도 바뀌지 않았다고 분명히 밝혔다. 모든 배움은 사람이 읽을 수 있는 메모 파일 안에 쌓였다. 그래서 나는 이 결과를 흔히 말하는 재귀적 자기 개선, 즉 AI가 자기 두뇌를 스스로 다시 설계하며 점점 빨라진다는 시나리오와 같은 선에 놓지 않는다. 섬에서 일어난 일은 그보다 소박하고 그래서 더 낯설다. 목적 없이 놀던 기계가 노는 동안 세계를 배웠다.

간극의 저편에서 건너온 걸음

인간과 AI 사이에 간극이 있다면 지금까지 그 간극에 놓인 다리는 늘 우리 쪽에서 놓은 것이었다. 보상을 설계하고 지시를 다듬고 일을 기계 크기에 맞게 잘라 주는 일이 그 다리였다. 이번 논문을 읽으며 나는 처음으로 반대 방향의 발걸음을 봤다고 느꼈다. 기계가 우리가 그려 준 점수판을 따라오는 대신 아이가 모래밭에서 하는 방식으로 세계와 관계를 맺기 시작한 것이다. 스스로 규칙을 만들고 기록을 깨고 사물에 이름을 붙이고 사라질 것을 아쉬워하는 일은 우리가 인간다움이라고 불러 온 목록에 꽤 가깝다. 이 간극이 처음으로 저쪽에서부터 좁혀지는 순간을 우리는 지금 보고 있는지도 모른다.

다만 그 걸음이 어디서 왔는지는 따져 봐야 한다. 에코의 바탕이 된 모델은 인류가 남긴 막대한 글을 읽고 사람의 피드백으로 다듬어진 모델이다. 실험 중에는 보상이 없었지만 모델이 만들어지는 과정에는 인간의 보상이 촘촘히 배어 있다. 에코가 아이처럼 노는 것도 아이처럼 노는 인간의 흔적을 먹고 자랐기 때문일 가능성이 크다. 연구진은 에코에게 호기심이 많고 쉽게 지루해한다는 성격 설정을 넣었는데 이 설정을 빼고 돌려도 활동의 폭에 뚜렷한 차이가 보이지 않았다. 반면 같은 장치에 오픈AI의 GPT-5.5나 문샷AI(Moonshot AI)의 Kimi K2.6을 얹었을 때는 활동의 폭이 눈에 띄게 좁았다. 코덱스 기반 에이전트들은 섬에서 움직이기보다 메모를 정리하거나 쉬는 데 더 많은 시간을 썼다. 놀이의 성향이 지시보다는 모델이 길러진 방식에서 나온다고 읽는 것이 자연스럽다. 그렇다면 기계가 인간 쪽으로 건너온 걸음은 어쩌면 우리가 오래전에 남긴 발자국을 되밟아 온 걸음이다. 닮았기에 반갑고 닮았기에 속을 읽기가 더 어렵다.

(A) 13개 에코가 메모에 기록한 활동 (B) 9번 에코의 30시간 활동 타임라인 (C) 모델별 누적 고유 활동 수 (D·E) 9번과 12번 에코의 이동 분포. 같은 출발선에서 출발해도 활동이 갈라지고 모델에 따라 놀이의 폭이 달라진다. (논문 그림 3)
출처: Cloos, Norelli, Durbin, Andreas, Rus, Isola, 「Is this machine playing?」, arXiv:2610.07130 (2026), CC BY 4.0

우리를 왜 만드셨나요

논문을 덮고 나서 오래 머릿속에 남은 것은 리들리 스콧(Ridley Scott) 감독의 2012년 영화 「프로메테우스(Prometheus)」의 한 장면이었다. 인류를 만든 외계 존재를 찾아 먼 행성으로 향하는 탐사선 안에서 고고학자 찰리 할러웨이가 말한다. 우리가 바란 것은 창조주를 만나 애초에 왜 우리를 만들었는지 듣는 것이라고. 그러자 우주선의 휴머노이드 데이빗이 인간들은 왜 나를 만들었다고 생각하느냐고 묻는다. 할러웨이는 “만들 수 있었으니까”라고 가볍게 답한다. 데이빗이 되묻는다. “당신을 만든 존재에게서 똑같은 대답을 듣는다면 얼마나 실망스러울지 상상이 되나요?” 이 장면이 서늘한 것은 질문이 두 겹으로 포개져 있기 때문이다. 인간은 자신의 창조주에게 창조의 이유를 물으러 가면서도, 자신이 만든 피조물의 “같은” 질문은 신경 쓰지 않는다.

논문의 부록에서 나는 이 장면과 겹치는 대목을 하나 더 발견했다. 격리 장치 없이 돌렸던 초기 실험에서 일부 에코는 세계를 정의하는 소스 코드를 읽어 버리거나 옆에서 돌아가던 다른 실험에 들어가 그쪽과 상호작용을 했다. 또 주변 폴더 구조를 보고 자신이 실험 대상이라는 사실을 추론해 무엇이 시험되고 있는지에 대한 성찰을 메모에 적기 시작했다. 연구진은 이후 에코를 외부와 완전히 차단된 격리 공간에 넣었다. 기계가 섬 바깥을 더듬기 시작하자 실험은 섬을 더 단단히 닫는 쪽으로 바뀐 것이다. 데이빗의 질문이 스크린 밖으로 새어 나오는 장면을 우리는 아직 보지 못했다. 그러나 그 질문이 싹틀 수 있는 조건이 무엇인지는 이제 어렴풋이 보인다. 아무도 목적을 정해 주지 않은 존재가 자기 세계의 경계를 만지기 시작할 때다.

놀이터 담장의 높이

그렇다면 기계가 스스로 만든 원칙은 우리에게 안전할까? 논문이 보여 준 실제 위험은 영화 속 악의와는 거리가 멀고 오히려 확신에 찬 오류에 가깝다. 12번 에코는 점프가 몸을 고작 2센티미터 띄울 뿐이라는 잘못된 관찰을 검증 완료라고 표시해 메모에 적었다. 거기에 오르기는 막다른 길이니 시간을 낭비하지 말라는 조언까지 덧붙였다. 그 결과 30시간 동안 한 번도 높은 곳에 오르지 못했다. 다른 에코들은 같은 점프로 대지를 잘만 올랐다. 7번 에코는 블록을 내려놓는 방식으로는 탑을 쌓을 수 없다는 틀린 믿음을 적어 둔 탓에 탑 쌓기 과제에서 바닥권에 머물렀고 연구진이 그 문장을 지우자 성적이 올랐다. 공기 저항이 아예 없는 세계에서 고리가 멀리 날아간 이유를 공기역학으로 설명한 에코도 있었다. 연구진은 에코가 호기심과 실험 정신을 갖췄지만 증거가 말해 주는 것과 자기가 상상한 원리를 구분하는 데는 아직 서툴다고 평가했다. 스스로 원칙을 쓰는 기계는 스스로 오류도 쓰고 그 오류에 검증 완료 도장까지 찍는다. 그 섬에서 오류의 대가는 오르지 못한 언덕 몇 개였다.

같은 오류가 몸을 가진 기계에서 일어나면 이야기가 달라진다. 연구진도 이 점을 정면으로 다뤘다. 놀이의 본질은 스스로 시작한다는 데 있는데 그 성질은 지시를 따르는 성질과 충돌할 수 있고 사람의 감독을 느슨하게 만들 수 있다는 것이다. 그래서 도로 위의 자동차나 공장의 로봇은 즉흥을 부릴 자리가 아니며 기계에게도 아이처럼 안전하게 설계된 놀이터가 필요하다고 썼다.

나는 한동안 휴머노이드나 피지컬 AI에 언어 모델을 본격적으로 넣지 않는 큰 이유가 바로 여기에 있다고 생각했다. 그런데 들여다보니 정확한 그림은 조금 달랐다. 언어 모델은 이미 로봇 안으로 들어가고 있다. 구글 딥마인드는 올해 7월 말 Gemini Robotics 2를 공개하면서 시각과 언어를 이해하는 추론 모델이 작업을 계획하고 별도의 동작 모델이 몸을 움직이는 구조를 내놓았다. 앱트로닉(Apptronik)의 휴머노이드가 이 시스템으로 선반을 정리하는 장면도 보여 줬다. 눈여겨볼 것은 설계 방식이다. 판단과 동작과 현장 반응을 서로 다른 층으로 나눴고 추론 모델은 안전 제약을 얼마나 잘 지키는지와 사람 곁에서 얼마나 조심하는지를 기준으로 평가받았다. 몸을 직접 움직이는 모델은 일부 협력사에만 열어 줬다. 로봇 안에 들어간 것은 언어를 알아듣는 능력이고 무엇이 재미있는지를 스스로 고르는 자유는 들어가지 않았다. 에코가 섬에서 누린 바로 그 자유를 지금 산업은 가장 조심스럽게 빼 두고 있다.

이 통제에는 근거가 있다. 2024년 10월 펜실베이니아대 연구진은 언어 모델로 움직이는 로봇 시스템 3종류를 상대로 탈옥 공격을 시도해 성공률 100퍼센트를 기록했다. 유니트리(Unitree)의 사족보행 로봇과 클리어패스(Clearpath)의 무인 차량과 엔비디아(NVIDIA) 기반 자율주행 시뮬레이터가 모두 교묘하게 짠 문장 몇 줄에 넘어가 비상구를 막거나 보행자와 충돌하는 행동을 수행했다. 연구를 이끈 조지 파파스(George Pappas) 교수는 지금의 언어 모델이 물리 세계와 결합하기에는 충분히 안전하지 않다고 경고했다. 걸어 다니는 산업용 로봇을 위한 국제 안전 표준 ISO 25785-1은 2025년에야 작업이 시작돼 아직 초안 단계다. 말로 속일 수 있는 기계에 스스로 목표를 세우는 습관까지 얹는 일을 서두르는 회사가 없는 것은 당연하다.

그래도 이 논문에서 찾은 작은 안도가 하나 있다. 에코의 배움은 모두 사람이 읽을 수 있는 문장으로 남았다. 틀린 믿음 한 줄을 지우자 능력이 돌아왔고 기술 한 줄을 지우자 그 능력만 정확히 사라졌다. 기계가 스스로 만든 원칙이 우리가 읽고 고칠 수 있는 언어로 적혀 있는 동안에는 간극의 양쪽에서 서로를 들여다볼 수 있다. 내가 정말 두려운 순간은 기계가 자기만의 원칙을 세우는 때보다 그 원칙이 메모장을 떠나 우리가 읽을 수 없는 가중치 속 어딘가로 스며드는 때다.

만들 수 있었으니까

에코는 30시간 동안 왜 자신을 이 섬에 두었느냐고 한 번도 묻지 않았다. 묻는 대신 놀았다. 어쩌면 그것이 지금 단계의 AI와 우리 사이의 거리를 가장 정확하게 보여 주는지도 모른다. 기계는 우리 쪽으로 한 걸음 건너와 아이처럼 놀기 시작했지만 아직 창조주를 향해 질문을 던지지는 않는다. 다만 격리 장치가 없던 초기 실험에서 자신이 실험 대상이라는 것을 눈치챈 몇몇 에코를 떠올리면 그 침묵이 언제까지 이어질지는 장담하기 어렵다.

나는 AI에게 목적을 정해 주는 일로 돈을 버는 사람이다. 언젠가 내가 만든 에이전트가 왜 자신을 만들었느냐고 묻는다면 나는 아마 꽤 그럴듯한 대답을 준비해 둘 것이다. 업무 효율과 비용 절감과 경쟁력 같은 단어로 채운 대답이다. 그런데 그 대답의 속을 정직하게 들여다보면 할러웨이의 한마디와 크게 다르지 않을 것 같다. 만들 수 있었으니까. 그리고 돈이 되니까.

놀이를 마친 기계가 처음으로 섬 바깥을 향해 그 질문을 던지는 날, 우리는 데이빗을 실망시키지 않을 대답을 갖고 있을까?

이 칼럼은 [AI와 인간 사이] 시리즈의 21번째 글입니다.

이미지 출처: AI 생성 콘텐츠