앞서 GTC 2023에서 젠슨 황과 일리야 서츠케버 오픈AI 공동창업자는 대담에서 ‘환각 문제가 2년 안에 크게 줄어들 것’이라고 얘기했는데, 1년이 지난 지금은 많이 나아졌지만 여전히 해결의 실마리는 잡지 못한 상태다. 오늘날 AI 개발의 최대 난제로 떠오른 ‘할루시네이션’이란 무엇이며, 왜 AI는 환각을 일으킬까?

‘환각’ 의미하는 할루시네이션, 어떤 형태로 나타날까

할루시네이션은 환각 또는 망상 등으로 불리며, AI가 생성한 정보에 허위 또는 날조된 정보가 포함되는 현상이다. 할루시네이션은 실제 사실과 AI를 거친 정보가 다른 내재성 환각과 실제로 존재하지 않는 사실을 창작해서 제공하는 외재적 환각으로 나뉜다. 챗GPT에 질문을 했는데 역사적 사실을 왜곡하거나, 이미지 생성 시 현실 법칙에 위배된 이미지 등을 제공하는 게 할루시네이션의 영향이다.

예를 들어 지난해 2월 마이크로소프트가 빙 AI를 공개할 당시, 빙 AI에게 의류기업 갭(Gap)의 수익 보고서를 분석하라고 요청했다. 빙 AI는 갭의 영업이익률이 5.9%라고 답했는데, 보고서에 5.9%라는 수치는 없으며 실제 이익률은 4.6%였다. 또한 희석 주당 순이익도 0.42달러라고 말하고, 매출도 두 자릿수 증가할 수 있다고 말했다. 실제 보고서에는 0.42달러라는 단어가 없었고, 매출도 한 자릿수 중반으로 감소할 것이라는 내용이었다.

자연어 처리에서 할루시네이션이 발생하는 주된 이유는 데이터의 문제다. 수집한 데이터 자체가 잘못된 사실을 다루고 있거나, 데이터를 혼합하는 과정에서 문제가 생긴다. 대다수 생성형 AI는 사전에 훈련된 데이터를 바탕으로 응답하지만, 통계적으로 불완전한 모델이 생성되면서 할루시네이션이 나타날 수 있다. 이외에도 문장의 상관관계를 잘못 학습하면서 생기기도 하고, 내장된 지식 중 앞서 사용된 정보를 중복 사용하다가 꼬여서 생기기도 한다.

자연어 처리 넘어 어떤 분야든 발생하는 문제

할루시네이션은 자연어 처리를 넘어 거의 모든 AI 분야에서 발생한다. 예를 들어 사람이나 물체를 감지하는 AI가 사람을 전혀 다른 사물로 인지하거나, 제3의 사물을 사람으로 인식할 수 있다. 이런 문제는 단순히 오류에 가깝다. 반면 할루시네이션이 개입하면 존재하지 않는 객체를 인식한다거나, 피사체를 전혀 다른 물체로 판단해 오작동을 일으킬 수 있다.

최근 공개된 오픈AI의 텍스트-비디오 생성 AI ‘소라’에서도 할루시네이션이 관측된다. 해당 영상은 2층 지붕 위 1층을 내려다보며 등장인물들을 조명한다. 하지만 영상 초반에 원근법으로 층 수를 나눠놨지만, 물리적으로 구분되지 않아 주요 인물들이 시장 상인들보다 몇 배나 큰 거인이어야 가능한 영상이 만들어졌다. 아래 영상 역시 좌측 강변의 도로가 최소 네 번 이상 바뀌고, 주요 인물들 앞에 걷다가 가게로 들어가는 사람들과의 원근법도 맞지 않는다.

아직 오픈AI가 소라를 개발하는 단계라서 원근법 계산의 오류일 수 있으나, 지금 상황으로는 할루시네이션에 가깝다. 최근에는 동영상 생성형 AI로 학습 데이터를 만들어 비전 인식 AI를 고도화하려는 시도도 시작됐는데, 여기에 할루시네이션이 개입하면 오류 데이터로 학습될 여지도 있다. 그 자체로 예측할 수 없는 결과를 낳는 셈이다.

AI 처리 과정에서 발생, 앞으로도 큰 난제

안타깝게도 아직까지 AI에서 할루시네이션이 발생하는 원인은 완전히 파악되지 않았다. 심지어는 AI가 결과를 도출하는 과정도 미지수다. 우리가 AI에 주문을 내리면, 컴퓨터가 학습한 데이터로 연산을 처리한 뒤 결론을 도출한다. 문제는 어떤 데이터가 어떻게 상호 영향을 미쳤는지 인과관계를 파악하기 어렵고, 이 과정에서 할루시네이션이 발생한다.

제약 회사에서 AI를 활용해 혁신적인 신약 후보물질을 만들었다고 가정하자. 이때 신약 물질을 만드는 수식을 명령으로 내렸고, 신약 후보 물질의 구조를 만드는 것까지는 확인할 수 있다. 하지만 AI 내부에서 어떤 데이터를 활용하고 조합했을지까지는 완벽하게 분석할 수 없다. 이 문제를 블랙박스 현상이라고 하며, 최근에는 도출 과정까지 명확하게 확인할 수 있는 설명 가능한 AI(Explainable AI)에 대한 연구가 이어지고 있다.

할루시네이션은 AI를 신뢰하고 활용하기 위해 반드시 해결해야 할 과제다. 업계에서는 검증된 데이터만 사용해 정확하게 상황을 인식하고 응답하는 검색 증강 생성(RAG)이 답이 될 것으로 보며, 또 엔비디아 네모 가드레일처럼 부정확한 결과를 제외해 정확성을 끌어올리는 방식도 주목한다

할루시네이션은 AI의 구조적 문제이므로 해결되지 않을 것이라는 시각도 있고, 데이터 정렬과 수집을 통해 차츰 나아질 것이라는 시각도 있다. 확실한 것은 설명 가능한 AI가 발전해야 할루시네이션도 해결될 수 있다.

글 / IT동아 남시현 (sh@itdonga.com)