둠에서는 움직이는 적을 따라 조준하면서 공격을 피해야 합니다. 마리오에서는 달리는 속도와 발판 위치에 맞춰 점프해야 하고요. 무엇을 해야 하는지 판단하는 능력과, 그 행동을 제때 실행하는 능력이 함께 필요합니다. 점프가 필요하다는 답을 내놓았더라도 이미 발판 끝을 지나쳤다면 소용이 없죠.

게임 화면을 대규모 언어 모델(LLM)에 보내고 다음 행동을 응답받는 방식에서는 그 사이의 지연이 문제가 됩니다. 게임이 계속 진행된다면 모델이 판단한 상황과 버튼을 누르는 순간의 상황이 계속 달라지는 거죠.

둠의 실시간 제어를 비교한 독일 본라인지크 응용과학대와 일본 나라첨단과학기술대학(NAIST)의 연구에서도 범용 LLM들이 저조한 성과를 냈습니다. 기존 게임을 그대로 플레이하는 것이 아닌, 원형 경기장에서 접근하는 적을 쏘아 처치하는 과제였는데요. GPT-4o-mini는 10판 동안 적을 한 명도 처치하지 못했고, 제미나이 플래시 라이트는 10판에서 8명을 처치했습니다. 연구진이 개발한 (상대적)소규모 LLM만이 총 10판에서 178명을 처치하는데 성공했습니다.

전용 모델이 행동을 결정하는데 평균 0.031초가 걸린 반면, GPT-4o-mini는 0.646초가 걸렸죠. 추론 모델의 경우에는 Qwen3.5-27B는 13.3초가 걸렸고, 3판 동안 2명의 적을 처치하는 데 그쳤습니다.

그렇다면 초파리 신경망은 어땠을까요?

초파리의 뇌와 신경망 정보를 확보했다고 초파리의 모든 기능이 컴퓨터 안에서 되살아나는 것은 아닙니다. 어느 세포가 연결돼 있는지 알아도, 각 세포가 자극에 얼마나 반응하고 어떤 조건에서 신호를 전달할지는 별도로 정해야 합니다. 게임 화면을 어떤 감각 신호로 바꿀지, 계산 결과를 어느 버튼에 연결할지도 필요하고요.

둠을 플레이하게 한 프로젝트에서는 둠 화면의 밝기와 색 정보를 모델의 감각 입력으로 넣은 뒤, 신경 활동을 계산하고, 특정 세포 집단의 활동을 이동·회전·사격 명령으로 바꿨습니다. 캐릭터가 움직이면 화면이 달라지고, 달라진 화면은 다시 즉각적으로 입력으로 들어오죠.

물론 초파리 신경망이 게임을 플레이하기 위해서는 사람이 정한 규칙이 상당히 개입되어야 합니다. 초파리 뇌의 어떤 뉴런을 사격 버튼에 대응시켰다고 해서 그 뉴런이 실제 초파리에게도 사격과 비슷한 행동을 담당하는 것은 아니기 때문입니다. 생물에서 가져온 연결 정보와 개발자가 만든 제어 규칙이 함께 작동해야 게임을 조작할 수 있는 겁니다.

이 실험에서 초파리 신경망은 실시간으로 캐릭터를 조작하고 짧은 시간 내에 적을 처치하는 결과도 나왔습니다. 6초의 짧은 시간 최대 3명의 적을 처치했죠. 거대 LLM이 여러 판동안 하나의 적도 처치하지 못한 결과를 내놓 적도 있다는 점을 감안하면 나름의 성과로도 볼 수 있을 겁니다.

그런데 개발자가 공개한 자체적인 검토 보고서에는 흥미로운 대조 실험이 등장하는데요. 정상적인 게임 화면 대신 검은 화면을 넣어도 조작이 이어지고 비슷한 수준의 적 처치가 발생했다는 겁니다. 즉 적을 쓰러뜨렸다는 장면만으로는 화면 속 적을 알아보고 겨냥했다는 증거가 되지 못한다는 의미입니다.

검은 화면에서도 모델을 움직이게 하는 입력과 제어 규칙이 남아 있었기 때문에, 실시간 버튼 명령이 계속 나오고 총이 발사된다면, 적 처치는 시각 정보의 도움 없이도 일어날 수 있기 때문입니다.

해당 프로젝트에선 학습 기능을 붙이는 시도도 진행됐습니다. 게임에서 피해를 입으면 도파민 관련 세포에 인공 자극을 주고, 일부 연결의 강도를 바꾸도록 한 건데요. 다만 현재까지 시각 처리·조건형성·생존 관련 검증을 통과하지 못했다고 개발자가 밝혔습니다. 연결 강도가 바뀌거나 한 판을 오래 버텼다는 사실만으로 학습을 입증할 수 없다는 설명도 덧붙였죠.

한편 슈퍼마리오 초파리 프로젝트 역시 비슷한 결과를 냈습니다. 실시간으로 캐릭터가 움직이고 돌아다니는 모습은 보였지만, 같은 장소를 배회하거나 무의미하게 점프를 하는 동작이 반복됐죠.

결국 LLM과 초파리 신경망은 둘 다 게임을 제대로 플레이하지 못했지만, 전혀 다른 방식으로 과제에 접근했다는 점은 주목할 만합니다.

실시간으로 로봇을 움직이는 피지컬 AI를 구현할 때, 장기 목표적인 목표를 세우고 추론하는 능력과 눈앞의 변화에 즉각적으로 반응하는 능력은 둘 다 중요합니다. 챗GPT와 같은 범용 LLM이 목표와 계획을 맡고, 빠른 조작은 생물의 신경망을 흉내낸 제어기가 담당하는 역할 분담도 생각볼수 있죠. 초파리 신경망에서 성과를 얻으면 피지컬 AI의 진척에 큰 변화가 있을지도 모르겠습니다.