Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users

87%가 원하는 AI 시각 도우미: 부정확성이 가장 큰 걸림돌

다자간 대규모 언어 모델(Multimodal Large Language Models, MLLMs)은 시각 장애인을 지원하는 유망한 기술로 주목받고 있다. 코펜하겐 대학교와 헤리엇 와트 대학교 연구팀은 이러한 기술이 시각장애인을 위한 보조 도구로서 얼마나 효과적인지 체계적으로 평가했다. 연구진은 사용자 설문조사를 통해 시각장애인들이 이러한 기술을 사용할 때 직면하는 주요 문제점을 파악하고, 이를 바탕으로 MLLMs의 성능을 평가하는 다섯 가지 중요 분야를 설정했다.

설문조사 결과, 대부분의 시각장애인들(87%)이 인공지능을 시각 보조 도구로 사용하거나 사용할 의향이 있었지만, 부정확성과 맥락 이해 부족, 문화적 감수성 결여, 복잡한 장면 이해의 어려움 등의 문제점들이 크게 우려되는 것으로 나타났다. 특히 부정확한 인식, 환각(hallucination)과 같은 문제가 가장 큰 우려사항으로 지적되었다.

문화적 맥락에 취약한 AI: 이미지 설명 성능 최대 25점 하락

연구팀은 총 12개의 다자간 언어 모델을 대상으로 다섯 가지 분야에서 성능을 평가했다. 이미지 캡셔닝, 다언어 이미지 질의응답, 광학 점자 인식, 비디오 객체 인식, 비디오 질의응답 등의 과제를 수행하며 각 모델의 강점과 약점을 분석했다. 이미지 캡셔닝 테스트에서 대부분의 모델들은 기본적인 설명은 잘 제공했으나, 문화적 맥락을 포함한 이미지에서는 성능이 크게 저하되는 문제를 보였다. 특히 75-81점 사이의 RefCLIPScore를 보인 기본 테스트와 달리, 문화적 요소가 포함된 이미지에서는 일부 모델의 점수가 20-25점까지 하락했다. 심지어 최고 성능의 모델들도 문화적 맥락을 완전히 포착하지 못하는 한계를 보였다.

다언어 이미지 질의응답 평가에서는 영어 외 34개 언어에 대한 지원이 매우 부족한 것으로 나타났다. PaliGemma와 MiniCPM-V-2.6와 같이 영어에서 높은 성능(75.6%, 72.2%)을 보인 모델들도 다언어 환경에서는 큰 폭으로 성능이 하락했다. 이는 비영어권 시각장애인들에게 적합한 지원이 부족함을 의미한다.

점자는 단 하나의 모델만 읽을 수 있어: 비디오 객체 인식 정확도 최대 69.8%

광학 점자 인식 테스트에서는 대부분의 모델들이 점자를 읽는 능력이 없는 것으로 드러났다. 흥미롭게도 12개 모델 중 Qwen2-VL-Instruct만이 점자 인식을 수행할 수 있었다. 연구팀은 추가로 Llama-3.2-Vision-Instruct 모델을 점자 인식이 가능하도록 미세 조정했으며, 적은 양의 훈련 데이터로도 효과적으로 점자 인식 능력을 습득할 수 있음을 증명했다.

비디오 객체 인식 테스트에서 모델들은 일반 객체는 비교적 잘 인식했지만(52-69.8% 정확도), 시각장애인용 보조 기기와 같은 특수 객체 인식에서는 현저히 낮은 성능(23-41% 정확도)을 보였다. 이는 현재 MLLMs가 일상적이지 않은 객체에 대한 인식 능력이 부족함을 보여준다.

비디오 질의응답 테스트에서는 모델들이 설명적 질문과 공간적 질문에 대해서는 어느 정도 답변할 수 있었으나, 비디오에 없는 정보를 묻는 적대적 질문에 대해서는 불확실성을 인정하지 않고 잘못된 답변을 생성하는 경향을 보였다. 이러한 환각(hallucination) 현상은 시각장애인에게 잘못된 정보를 제공할 위험이 있어 안전성 측면에서 큰 우려사항이다.

사용자 중심 개발이 필요: 시각장애인용 보조 기기 인식률 최저 23%

연구 결과는 MLLMs가 시각장애인을 위한 보조 도구로서 가능성을 보이지만, 여전히 상당한 개선이 필요함을 보여준다. 문화적 맥락 이해, 다국어 지원, 점자 인식, 특수 객체 인식, 환각 현상 극복 등 다양한 분야에서 개선이 필요하다.

연구팀은 사용자 중심의 접근 방식으로 데이터셋과 모델을 개발하고, 시각장애인들의 실제 요구를 반영한 평가 방법론을 도입할 것을 제안한다. 또한 다양한 문화적 환경과 언어에 대한 고려, 시각장애인용 보조 기기에 대한 인식 능력 향상, 불확실성을 적절히 표현하는 능력 개발 등이 필요하다.

이러한 다양한 도전과제를 해결함으로써, 미래의 MLLMs는 시각장애인에게 더욱 신뢰할 수 있고 포용적인 시각적 지원을 제공할 수 있을 것이다.

FAQ

Q: 다자간 대규모 언어 모델(MLLMs)은 어떻게 시각장애인을 도울 수 있나요?

A: MLLMs는 이미지나 비디오의 내용을 설명하고, 질문에 답변하며, 점자를 인식하는 등의 기능을 통해 시각장애인이 시각적 정보를 이해하는 데 도움을 줄 수 있습니다. 예를 들어, 상품 라벨을 읽거나 주변 환경을 설명하는 데 활용될 수 있습니다.

Q: 현재 MLLMs의 가장 큰 한계점은 무엇인가요?

A: 현재 MLLMs의 가장 큰 한계점은 부정확성과 환각(hallucination) 현상입니다. 문화적 맥락 이해 부족, 다국어 지원 미흡, 특수 객체 인식 능력 부족, 그리고 불확실성을 인정하지 않고 잘못된 정보를 제공하는 문제가 있습니다.

Q: 시각장애인을 위한 인공지능 기술은 앞으로 어떻게 발전해야 할까요?

A: 시각장애인을 위한 인공지능 기술은 사용자 중심의 접근 방식으로 개발되어야 합니다. 다양한 문화와 언어에 대한 지원 강화, 시각장애인용 보조 기기 인식 능력 향상, 불확실성을 적절히 표현하는 능력, 그리고 사용자의 실제 피드백을 반영한 지속적인 개선이 필요합니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.