케이크 사진을 본 사람의 뇌를 읽은 AI가 샌드위치 세 개를 그려냈다. 명백한 실패지만, 이 AI는 뇌 스캔으로 본 장면을 되살리는 기술 가운데 현재 최고 수준으로 꼽힌다. MIT 테크놀로지 리뷰(MIT Technology Review)는 2026년 10월 1일 이스라엘 와이즈만 과학연구소(Weizmann Institute of Science) 연구진이 개발한 AI 뇌 스캔 이미지 복원 도구를 소개했다. 뇌 스캔 이미지 복원이란 사람이 무언가를 볼 때 생기는 뇌 활동을 촬영한 뒤 그 사람이 본 장면을 이미지로 다시 그려내는 기술을 말하며, 연구진은 생각과 꿈까지 복원하는 것을 목표로 삼고 있다.

본 장면을 구조까지 되살리는 AI 뇌 스캔 이미지 복원

와이즈만 과학연구소 연구진이 만든 AI는 뇌 스캔만 보고 사람이 보던 사진을 색의 배치와 구도까지 비슷하게 다시 그려낸다. 방향을 거꾸로 돌려, 사진을 넣으면 그 사진을 본 사람의 뇌 활동이 어떻게 나타날지 예측하는 일도 한다.

뇌 활동은 기능적 자기공명영상(fMRI) 장비로 촬영한다. fMRI란 거대한 자석으로 뇌 속에서 산소를 많이 품은 혈액이 어디로 흐르는지 추적해, 지금 어느 부위가 바쁘게 일하는지 보여주는 장비다. 스캔에서 밝게 표시되는 부위가 그 순간 특히 활발하게 움직이는 곳으로 여겨진다.

신경과학자들은 수년 동안 fMRI로 사람이 보는 장면을 재구성하려 했다. 초기 결과물은 흐릿해서 무엇인지 알아보기 어려웠고, 촬영 장비와 분석 도구가 발전하면서 조금씩 나아졌다. 그래도 한계는 남아 있었다. 동료들과 함께 이 도구를 개발한 와이즈만 과학연구소의 컴퓨터과학자(이하 연구 책임자)는 바나나를 예로 들었다. 기존 모델도 바나나를 봤다는 사실은 맞혀 바나나 그림을 내놓지만, 그 바나나는 “같은 구조, 같은 위치를 갖지 못한다”는 설명이다. 바나나를 봤다는 사실만 맞히는 것과 접시 어느 자리에 어떤 각도로 놓인 바나나를 봤는지까지 되살리는 것은 전혀 다른 수준의 일이다.

그림1. 각 쌍의 왼쪽은 참가자가 실제로 본 사진, 오른쪽은 AI가 뇌 스캔으로 복원한 이미지 (자료: MIT 테크놀로지 리뷰, 연구진 제공)

MIT 테크놀로지 리뷰가 공개한 비교 사진을 보면 이 차이가 눈에 들어온다. 각 쌍의 왼쪽은 실험 참가자가 실제로 본 사진이고, 오른쪽은 AI가 뇌 스캔만으로 다시 그린 이미지다. 길을 건너는 기린과 뒤편 자동차의 위치, 스키를 타는 사람의 자세가 거의 그대로 살아났다. 반면 바나나 옆 유리잔은 노란 그릇으로 바뀌었다. 큰 그림은 맞히고 세부는 틀리는 것, 이것이 지금 이 기술이 서 있는 자리다.

8명이 각자 본 9,000장 사진과 두 갈래 디코더

연구진의 AI는 8명이 고해상도 fMRI 장비 안에서 각자 약 9,000장의 사진을 본 기존 공개 데이터로 훈련됐다. 핵심은 뇌 신호를 이미지로 풀어내는 디코더를 두 갈래로 나눈 설계다.

디코더를 살펴보기 전에, 여기서 말하는 고해상도가 무슨 뜻인지부터 짚어 둔다. fMRI 영상은 복셀(voxel)이라는 아주 작은 입체 칸으로 이뤄진다. 복셀이란 사진의 픽셀을 3차원으로 바꾼 것으로, 영상 속 한 칸이 뇌의 일정 부피를 대표한다. 일반 fMRI 장비에서 한 칸은 약 3세제곱밀리미터를 덮고, 1세제곱밀리미터 안에는 신경세포가 약 1만 6,000개 들어 있다. 단순 계산하면 한 칸에 신경세포 수만 개의 활동이 하나의 점으로 뭉뚱그려 찍히는 셈이다. 연구진이 쓴 새 데이터는 한 칸이 약 1세제곱밀리미터인 장비로 수집됐다. 같은 뇌를 세 배 잘게 쪼개 들여다본 것이다.

디코더란 뇌 활동 신호를 받아 이미지 정보로 풀어내는 AI 부품을 말한다. 연구진의 디코더는 한 갈래가 이미지의 구조, 예컨대 어느 자리에 어떤 색이 있는지를 예측하고, 다른 갈래가 이미지의 내용, 예컨대 접시 위에 바나나 한 송이가 놓여 있다는 사실을 예측한다. 이 두 예측을 받아 최종 그림을 그리는 것은 확산 모델(diffusion model)이다. 확산 모델이란 잡음으로 가득한 픽셀 덩어리를 조금씩 정리해 가며 이미지나 영상을 만들어내는 AI로, 요즘 이미지 생성 AI에 널리 쓰인다.

경찰의 몽타주 작업에 빗대면 이해가 쉽다. 목격자 한 명은 얼굴의 윤곽과 위치만 기억하고, 다른 한 명은 안경을 썼다는 특징만 기억한다고 하자. 둘 중 한 사람 말만 들으면 엉뚱한 얼굴이 나오지만, 두 진술을 합쳐 그리면 실제 얼굴에 훨씬 가까워진다. 기존 모델이 바나나를 바나나답게만 그렸다면, 이 디코더는 구조 정보를 따로 챙겨 바나나가 놓인 자리까지 맞춘다.

학습 데이터 70%를 채운 역방향 인코더

하지만 디코더 성능을 끌어올리려면 실제로 존재하는 것보다 훨씬 많은 데이터가 필요했다. 연구진은 사진을 보고 뇌 활동을 예측하는 인코더를 따로 만들어 디코더와 함께 훈련하는 방식으로 이 문제를 풀었고, 그 결과 학습 데이터의 약 70%를 fMRI 촬영 없이 채웠다.

인코더란 디코더와 반대 방향으로 일하는 AI 부품으로, 사진을 넣으면 그 사진을 본 사람의 뇌 스캔이 어떻게 생겼을지 예측한다. 작동 순서는 이렇다. 표범 사진 한 장을 새로 가져와 인코더에 넣으면 인코더가 그 사진을 본 사람의 fMRI 영상을 예측한다. 이 예측 영상을 디코더에 넣어 다시 이미지로 복원한다. 연구 책임자에 따르면 처음에는 복원 결과가 표범과 별로 닮지 않지만, 이런 방식으로 훈련을 반복하면 두 모델이 함께 크게 좋아진다.

이 방식의 진짜 가치는 데이터 확보에 있다. fMRI 촬영은 사람이 장비 안에 누워 사진을 한 장씩 봐야 하는 비싸고 느린 작업이다. 인코더가 생기자 연구진은 사람이 한 번도 장비 안에서 본 적 없는 사진까지 원하는 만큼 훈련에 쓸 수 있게 됐다. 연구 책임자는 학습 데이터의 약 70%가 원래 fMRI 스캔과 짝지어지지 않은 이미지라고 밝혔다. 실제 촬영으로 확보한 데이터 1에 대해, 인코더가 만든 연습 문제가 두 배 넘게 붙은 셈이다.

데이터를 넓게 모으는 과정에서 부수적인 발견도 나왔다. 여러 연구의 데이터를 합치자, 사람이 달라도 같은 기능을 맡는 것으로 보이는 뇌 영역이 드러났다. 한 영역은 음식 사진에, 다른 영역은 스포츠 사진에 반응하는 것으로 보였다. 컴퓨터과학자인 연구 책임자는 현재 신경과학자들과 함께 이 도구로 “뇌에 관한 새로운 사실을 실제로 찾아낼 수 있는지” 살펴보고 있다고 말했다.

40시간에서 1시간으로 줄어든 새 사람 적응 시간

이 연구가 신경과학계에 주는 가장 실용적인 변화는 준비 시간이다. 다른 도구는 새로운 사람에게 쓰려면 보통 약 40시간 분량의 fMRI 데이터가 필요했지만, 와이즈만 연구진의 도구는 1시간 분량이면 된다.

앞서 설명한 방식으로 완성된 이 범용 뇌 인코더는 처음 보는 사람의 뇌 스캔에도 최소한의 보정만 거쳐 쓸 수 있다. 이 결과는 미국 뉴욕에서 열린 인지계산신경과학 학회(Cognitive Computational Neuroscience)에서 발표됐다.

연구에 참여하지 않은 미국 캘리포니아대 샌타바버라(UC Santa Barbara)의 신경과학자는 이 점을 높이 평가했다. 그는 “우리 중 누구도 새 피험자 한 명에게 40시간의 촬영을 감당할 수 없다”며 촬영 비용이 “시간당 600달러에서 1,000달러 정도”라고 설명했다. 단순 계산하면 40시간 촬영에는 2만 4,000달러에서 4만 달러가 들지만, 1시간이면 600달러에서 1,000달러로 끝난다. 연구실 입장에서는 참가자 한 명을 받을 예산으로 수십 명을 받을 수 있게 되는 차이이고, 그만큼 연구 속도가 빨라질 수 있다.

케이크를 샌드위치 세 개로 그린 최고 수준 AI

와이즈만 연구진의 인코더와 디코더는 완벽하지 않지만, 비교 시험에서 기존에 발표된 도구들보다 훨씬 나은 결과를 냈다. 완벽하지 않다는 것과 지금 가장 앞서 있다는 것이 이 기술에서는 동시에 사실이다.

연구 책임자는 MIT 테크놀로지 리뷰와의 화상 통화에서 직접 실패 사례를 꺼내 보였다. 케이크 사진이 샌드위치 세 개가 쌓인 그림으로 복원됐고, 욕조 안의 개는 비슷한 색의 염소가 욕조에 있는 그림이 됐다. 그는 “물론 실패도 있다”고 인정하면서도 “전체적으로 보면 우리는 상당한 차이로 다른 도구들을 앞섰다”고 말했다. ‘마음 읽기’라는 표현에 대해서는 연구 내용을 부르는 “귀엽고 멋 부린 이름”이라고 했다.

이 실패 사례는 기술의 현재 위치를 정확히 보여준다. 욕조라는 장소와 비슷한 색의 네 발 동물이라는 구조는 맞혔지만, 그 동물이 개인지 염소인지는 틀렸다. 큰 틀은 읽어내되 정체를 헷갈리는 수준이다.

연구진은 이미지를 넘어 영상과 소리로 나아갈 계획이다. 최종 목표는 사람이 생각하거나 상상하는 것, 그리고 꿈의 내용을 복원하는 것이다. 연구 책임자는 “그것은 아직 우리가 갖지 못한 것”이라면서도 “이루려고 애쓰고 있다”고 말했다. 이런 도구가 완성되면 의식은 있지만 온몸이 마비돼 의사를 표현하지 못하는 감금 증후군(locked-in syndrome) 환자가 뇌 활동만으로 소통할 수 있을지 모른다. 연구에 참여하지 않은 캐나다 브리티시컬럼비아대(University of British Columbia)의 신경윤리학자는 이 연구를 “훌륭하다”고 평가하며, 신경 질환을 앓는 사람을 치료적으로 돕는다는 발상이 “대단히 흥미롭다”고 말했다. 외상 후 스트레스 장애(PTSD) 환자가 겪는 플래시백이 실제로 어떤 모습인지 같은 마음의 오래된 수수께끼를 푸는 데도 쓰일 수 있다.

뇌파 헤드폰까지 넘보는 해독 기술과 생각의 사생활

같은 기술이 본인 동의 없이 머릿속 생각과 심상을 드러내는 데 쓰일 수 있다는 경고도 나온다. 특히 장비가 거대한 fMRI에서 머리에 쓰는 뇌파 측정 기기로 옮겨 가면 이야기가 달라진다는 지적이다.

앞서 비용 문제를 짚은 UC 샌타바버라 신경과학자는 “10년 전에 물었다면 크게 웃었을 것”이라고 말했다. 실제로 자발적으로 참여한 사람조차 장비 안에 가만히 누워 연구 과제에 집중하게 만들기가 쉽지 않다. 누군가에게 억지로 그렇게 시키는 일은 상상하기도 어렵다. 그러나 와이즈만 연구진을 비롯한 과학자들은 뇌파 측정(EEG)으로 뇌 활동을 해독하는 방법도 연구하고 있다. 뇌파 측정이란 전극이 달린 모자, 심지어 헤드폰을 통해 뇌의 전기 신호를 재는 방식이다. 병원의 거대한 원통형 장비와 달리 헤드폰처럼 일상에서 쓰는 물건의 모양을 할 수 있다는 점에서 fMRI와 성격이 다르다.

이 신경과학자는 “윤리적 고려를 조금 더 진지하게 다뤄야 한다”고 말했다. 그는 와이즈만 연구진의 방식이 눈으로 보지 않고 머릿속으로 떠올리기만 한 이미지를 예측하는 데도 “꽤 잘 작동할” 것으로 내다봤다. 직접 실험한 결과가 아니라 전문가의 전망이라는 점은 짚어 둘 필요가 있다. 그는 몰래 생각을 뽑아낼 방법이 생긴다면 “150년 동안의 공상과학이 언제든 현실이 될 수 있다”며 걱정을 드러냈다.

독일 뮌헨공대(Technical University of Munich)의 신경과학자이자 철학자는 EEG로의 전환을 “판도를 바꿀 일”이라고 표현했다. EEG 기기가 한 번 사용자의 뇌에 맞춰 보정되고 나면, 기업이 그 사람의 뇌에서 추가 정보를 비교적 쉽게, 경우에 따라 동의 없이 뽑아낼 수 있다는 것이다. 그는 일부 법원이 머릿속 이미지를 복원한 결과를 법적 증거로 받아들이는 상황도 상상할 수 있다고 했다. 그는 “선의의 연구라는 데 의심은 없다”면서도 “윤리적으로나 사회적으로 문제가 되는 상업적 용도에 끌려 들어갈 수 있다는 것도 꽤 분명하다”고 말했다.

연구 책임자도 EEG를 통한 악용 가능성은 인정했다. 다만 지금은 걱정하지 않는다며 “좋은 것만 생각하려 한다”고 말했다.

환자를 위한 기술과 뇌 데이터 보호라는 숙제

이번 연구가 보여준 것은 마음 읽기의 완성이 아니라 준비 비용의 붕괴다. 새 사람에게 쓰는 데 필요한 데이터가 40시간에서 1시간으로 줄었다는 사실은 연구실에는 기회지만, 장비가 EEG처럼 가벼워질 경우 해독 기술이 연구실 밖으로 나갈 문턱도 함께 낮아진다는 뜻일 수 있다.

현재 성과는 fMRI 장비 안에 스스로 들어간 사람이 사진을 볼 때의 결과에 한정된다. 상상이나 꿈의 복원은 연구진 스스로 아직 갖지 못했다고 밝힌 단계이고, EEG에서 같은 정확도가 나올지도 확인되지 않았다. 감금 증후군 환자에게 목소리를 돌려줄 기술과 머릿속을 엿보는 기술이 사실상 같은 기술이라는 점에서, 뇌 데이터를 누가 어떤 동의를 거쳐 다룰지에 대한 논의가 기술 속도를 따라갈 수 있을지는 두고 볼 필요가 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI 뇌 스캔 이미지 복원은 어떤 원리로 작동하나요?
사람이 사진을 볼 때 fMRI 장비로 뇌 활동을 촬영하고, AI 디코더가 그 신호에서 이미지의 구조와 내용을 따로 예측합니다. 이 두 정보를 확산 모델이 받아 실제 본 장면과 비슷한 이미지를 그려냅니다.

Q2. 이 기술로 지금 당장 다른 사람의 생각을 읽을 수 있나요?
아직은 아닙니다. 현재 성과는 fMRI 장비 안에 누운 사람이 사진을 볼 때의 장면을 복원하는 수준이며, 상상이나 꿈의 복원은 연구진도 아직 이루지 못한 목표라고 밝혔습니다. 다만 전문가들은 머리에 쓰는 뇌파 측정 기기로 기술이 옮겨 가면 동의 없는 정보 추출 우려가 커질 수 있다고 경고합니다.

Q3. 새로운 사람에게 쓰려면 얼마나 준비해야 하나요?
기존 도구는 한 사람당 약 40시간 분량의 fMRI 데이터가 필요했지만, 와이즈만 과학연구소 연구진의 도구는 약 1시간 분량이면 됩니다. fMRI 촬영비가 시간당 600~1,000달러 수준이라는 점을 고려하면 연구 비용과 시간이 크게 줄어듭니다.

기사에 인용된 리포트 원문은 MIT 테크놀로지 리뷰에서 확인할 수 있다.
리포트명: An AI “mind-reading” tool can reconstruct what you’re looking at from a brain scan (MIT Technology Review, 2026.10.01)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.