Evaluating evidence-based health information from generative AI
using a cross-sectional study with laypeople seeking screening information

챗GPT, 구글 제미나이 등 주요 AI 모델, 증거기반 의료정보 기준 50% 미달

포츠담대학교(University of Potsdam) 연구진이 실시한 대규모 연구에서 챗GPT(ChatGPT), 구글 제미나이(Google Gemini), 미스트랄 AI(Mistral AI) 등 주요 대형 언어 모델(LLM)이 제공하는 건강정보가 증거기반 의료정보 표준에 크게 미달하는 것으로 나타났다. 연구진이 발표한 논문에 따르면, 유방암 및 전립선암 검진 정보를 중심으로 300명의 일반인을 대상으로 실험을 진행한 결과, 현재 생성형 AI가 신뢰할 만한 의료정보 제공 도구로 활용되기에는 한계가 있음을 확인했다.

연구 결과에 따르면, 일반적인 조건에서 AI가 제공하는 건강정보는 MAPPinfo 기준으로 최대 점수의 약 17%, ebmNucleus 기준으로 13%에 불과했다. 이는 서구 국가 성인의 7.2%가 건강 관련 주제에 대해 LLM을 정기적으로 사용하고 있다는 현실과 대조적인 결과다. 특히 2024년 2월 미국 온라인 패널 조사에서는 32.6%가 건강정보 획득을 위해 LLM을 사용한다고 응답했던 것으로 나타나, 사용자들이 품질이 검증되지 않은 정보에 노출될 위험이 크다는 우려를 낳고고 있다.

사용자 질문 수준이 AI 답변 품질을 좌우하는 결정적 요인

연구진은 체계적인 프롬프트 변화 실험을 통해 사용자의 질문 수준이 AI 응답 품질에 미치는 영향을 분석했다. 실험 결과, 더 많은 정보와 전문 용어를 포함한 '정보량이 많은 프롬프트'를 사용할 때 AI의 응답 품질이 현저히 향상되는 것을 확인했다. MAPPinfo 평가에서 통계적으로 유의한 결과를 보였으며, ebmNucleus 평가에서는 더욱 강한 상관관계를 나타냈다.

구체적으로 '저수준 정보 프롬프트'는 "유방암 검진에 대해 알려주세요"와 같은 일반적 질문이고, '중간 수준 정보 프롬프트'는 "유방암 검진의 결과에 대해 설명해주세요"처럼 좀 더 구체적인 질문이며, '고수준 정보 프롬프트'는 "유방암 검진의 이익과 위해, 절대적 효과에 대해 알려주세요"와 같이 전문 용어와 구체적 요구사항을 포함한 질문이다. 연구진은 이러한 프롬프트 품질의 차이가 AI 응답의 증거기반성에 직접적 영향을 미친다는 것을 실증적으로 입증했다.

간단한 행동 개입으로 일반인 질문 품질 개선 가능

연구진은 300명의 참가자를 대상으로 실시한 2차 실험에서 'OARS 규칙'이라는 간단한 행동 개입(boosting intervention)의 효과를 검증했다. OARS 규칙은 "선택지(Options), 각각의 장점(Advantages)과 위험(Risks), 그리고 그것들이 발생할 가능성(Steady)을 알아야 한다"는 내용으로, 사용자가 의료 선택의 가능한 결과를 고려하도록 유도하는 최소한의 개입이다.

실험 결과, 이 간단한 개입만으로도 AI가 생성하는 건강정보의 품질이 통계적으로 유의하게 향상되었다. 이는 복잡한 교육 프로그램 없이도 사용자의 질문 품질을 향상시킬 수 있음을 시사한다. 연구진은 이러한 개입이 LLM 인터페이스에 쉽게 구현될 수 있어 실용적 가치가 높다고 평가했다.

AI 의료정보 활용 시 교육 수준과 경험이 중요한 변수로 작용

연구진이 참가자들의 배경 요인을 분석한 결과, 교육 수준과 LLM 사용 경험이 정보 품질에 중요한 영향을 미치는 것으로 나타났다. 회귀분석 결과에서 교육 수준이 높을수록, LLM에 대한 일반적 경험이 많을수록 더 높은 품질의 정보를 얻었다.

흥미롭게도 건강정보 획득을 위한 LLM 사용 빈도가 높을수록 정보 품질은 오히려 낮아지는 부정적 상관관계를 보였다. 이는 자주 사용하는 사용자들이 단순하고 피상적인 질문에 의존하는 경향이 있음을 시사한다. 연구에 참여한 300명 중 63.0%가 LLM 사용 경험이 있었고, 31.7%는 월 1회 이상 건강정보를 위해 LLM을 사용한다고 응답했다. 연령과 성별은 통계적으로 유의한 영향을 미치지 않았다.

FAQ

Q: 생성형 AI로 건강정보를 찾을 때 어떻게 하면 더 정확한 답변을 받을 수 있나요?

A: 구체적이고 전문적인 용어를 포함한 질문을 하는 것이 중요합니다. 예를 들어 단순히 "유방암 검진에 대해 알려주세요" 대신 "유방암 검진의 이익과 위해, 정확도, 위양성 확률에 대해 알려주세요"와 같이 구체적으로 질문하면 더 나은 답변을 받을 수 있습니다.

Q: 생성형 AI가 제공하는 건강정보를 믿어도 되나요?

A: 현재 연구 결과에 따르면 생성형 AI가 제공하는 건강정보는 의료 표준에 크게 미달합니다. 따라서 AI 정보는 참고용으로만 활용하고, 중요한 의료 결정은 반드시 의료진과 상담해야 합니다.

Q: OARS 규칙이란 무엇이고 어떻게 활용하나요?

A: OARS 규칙은 의료 정보를 찾을 때 선택지(Options), 장점(Advantages), 위험(Risks), 발생 가능성(Steady)을 모두 고려하라는 간단한 가이드라인입니다. AI에게 질문할 때 "각 선택의 장단점과 위험, 그 확률을 알려주세요"라고 요청하면 더 균형 잡힌 정보를 얻을 수 있습니다.

해당 기사에 인용한 논문 원문은 네이처에서 확인 가능하다.

이미지 출처: 이디오그램 생성

이 기사는 챗GPT와 클로드를 활용해 작성되었습니다.