인공지능(AI)이 사람과 얼마나 다르게 사물을 보는지에 대한 흥미로운 연구가 나왔다. 양지안이(Jianyi Yang)와 예준이(Junyi Ye), 대시 안칸(Ankan Dash), 왕굴링(Guiling Wang) 연구원이 공개한 논문에 따르면, 해당 연구는 착시 현상을 통해 사람의 눈과 AI의 눈이 어떻게 다른지 살펴봤다. 사람은 경험과 상식을 바탕으로 주변 상황을 고려해서 사물을 보지만, AI는 데이터에서 찾은 패턴에만 의존한다고 연구진은 설명했다.

놀랍게도 일부 AI가 사람과 비슷한 착시 현상을 보이는 것으로 나타났다. 예를 들어 밝기나 크기를 잘못 판단하는 경우가 발견되었다. 이는 사람의 뇌와 AI가 완전히 다른 방식으로 만들어졌음에도, 비슷한 조건에서 비슷한 지름길을 사용할 수 있음을 보여준다.

먼커-화이트 착시(Munker-White illusion)를 보면, 똑같은 색깔의 공들이 주변 줄무늬 때문에 다른 색으로 보인다. 이처럼 사람의 시각은 절대적인 색깔보다는 주변과의 관계를 더 중요하게 여긴다. AI도 이런 상황에서 사람과 비슷한 반응을 보일 수 있다.

CNN 훈련 실험... 사람 착시 반응의 99% 재현 성공

연구진은 AI에게 착시 자료를 보여주며 훈련시키면 사람과 비슷한 반응을 보이는지 실험했다. 쿠보타 연구팀의 실험 결과, 제대로 훈련받은 컨볼루션 신경망(CNN)은 여러 착시에서 사람의 판단과 거의 일치하는 결과를 보였다. 어떤 경우에는 사람보다 더 심한 착시 효과를 보이기도 했다.

이는 AI가 사람의 시각 처리 결과를 따라할 수 있음을 보여준다. 하지만 겉으로는 같아 보여도 속으로는 완전히 다른 방식으로 처리한다고 연구진은 강조했다. 마치 같은 답을 내놓지만 푸는 과정은 전혀 다른 것과 같다.

"곰이 양으로"... AI만 당하는 픽셀 조작과 환각 현상

AI는 사람과 비슷한 착시도 당하지만, AI만의 독특한 착시도 있다. 가장 유명한 것이 '픽셀 민감성'이다. 사람 눈에는 전혀 보이지 않는 아주 작은 변화만으로도 AI가 완전히 다른 답을 내놓는 현상이다. 예를 들어 곰 두 마리 사진에 미세한 변화를 가하면 AI가 "들판의 양 두 마리"라고 설명하는 식이다.

또 다른 문제는 비전-언어 모델의 '환각' 현상이다. 이는 AI가 사진에 없는 내용을 있다고 확신하며 설명하는 것을 말한다. 사람은 확실하지 않으면 "잘 모르겠다"고 하지만, AI는 틀린 내용도 자신 있게 말한다.

사람의 착시는 보통 생존에 도움이 되는 뇌의 지름길에서 나오지만, AI의 착시는 시스템의 약점에서 나온다. 이는 AI가 겉보기만 성공적이지 실제로는 제대로 이해하지 못하고 있음을 보여준다.

GPT-4도 50% 실패... 가짜 착시 구별 못하는 챗GPT-4

착시 상황에서 사람과 AI의 반응을 맞추는 것은 신뢰성과 안전성 때문에 중요하다. 연구진이 만든 IllusionVQA 테스트로 여러 AI 모델을 평가한 결과, 사람과의 일치 정도가 작업에 따라 크게 달랐다. GPT-4 같은 모델은 "착시가 어디에 있는지" 찾는 일은 잘했지만, 세밀한 구별이 필요한 일은 어려워했다.

특히 흥미로운 것은 '가짜 착시' 실험이다. 착시처럼 보이지만 실제로는 착시가 아닌 그림들을 보여줬더니, 사람은 쉽게 구별했지만 대부분의 AI는 진짜 착시라고 잘못 판단했다. 이는 AI가 진짜 이해보다는 겉모습에만 의존한다는 것을 보여준다.

최신 모델인 GPT-4o나 DeepSeek-VL-7B는 실수율을 50% 정도로 줄였지만, 여전히 사람만큼 정확하지는 못하다. 더 큰 문제는 질문하는 방식에 따라 답이 크게 달라진다는 점이다. "이 착시에서..."라고 물어보면 착시가 없는 그림도 착시라고 답하는 경우가 많았다.

FAQ

Q: AI가 사람과 같은 착시를 볼 수 있나요?

A: 네, 일부 AI는 훈련을 통해 사람과 비슷한 착시 반응을 보일 수 있습니다. 하지만 사람의 뇌처럼 처리하는 것은 아니고 데이터 패턴으로만 따라하는 것입니다.

Q: AI만 당하는 특별한 착시는 뭔가요?

A: AI는 사람 눈에 보이지 않는 아주 작은 픽셀 변화에도 완전히 다른 답을 내놓거나, 없는 것을 있다고 확신하며 설명하는 문제가 있습니다.

Q: 이런 연구가 왜 중요한가요?

A: 의료진이 엑스레이를 볼 때 특정 착시가 병변 발견에 도움이 되듯이, AI도 사람과 비슷하게 봐야 안전하게 사용할 수 있습니다. 이 연구는 더 믿을 만한 AI 개발에 도움이 됩니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Illusions in Humans and AI: How Visual Perception Aligns and Diverges

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.