"Always check important information!" - The role of disclaimers in the perception of AI-generated content

56%만 알고 있다: 생성형 AI의 취약점과 현행 면책 조항의 미미한 효과

생성형 인공지능(Generative AI)과 특히 대규모 언어 모델(LLM)은 디지털 콘텐츠의 중요한 원천으로 자리 잡았다. 이러한 모델들은 널리 사용되고 있지만, 사실적 정확성 부족과 같은 중요한 약점을 가지고 있다. 이 도구들의 장단점에 대해 알고 있는 것은 AI를 안전하고 적절하게 사용하는 데 필수적이지만, 모든 사람이 이를 인식하고 있지는 않다.

렐만 헤네스트로사(Angelica Lermann Henestrosa)와 키멀레(Joachim Kimmerle) 연구진은 AI 저작권과 AI 생성 콘텐츠에 대한 사람들의 인식에 면책 조항이 어떤 영향을 미치는지 세 가지 실험 연구를 통해 탐색했다. 독일 인구 조사에서는 56%만이 언어 생성 AI의 진술이 부정확할 수 있다는 것을 알고 있으며, 47%는 LLM이 인간처럼 언어를 이해하는 방법을 배웠다고 잘못 믿고 있었다.

면책 조항은 시스템의 위험이나 위험성에 사람들의 주의를 끌기 위한 정보 조각으로, 웹사이트 운영자가 법적 책임을 배제하기 위해 사용된다. 현재 OpenAI와 같은 기업들은 인터페이스에 작은 각주로 면책 조항을 표시하고 있다. 예를 들어 ChatGPT 인터페이스에는 "ChatGPT는 실수할 수 있습니다. 항상 중요한 정보를 확인하세요"(2025년 3월 기준)라는 문구가 나타난다.

첫 번째 실험 연구에서 면책 조항의 유형이 텍스트 인식에 미치는 영향은 발견되지 않았으며, 저작권 인식에는 미미한 영향만 있었다. 이 실험에서는 평가적(대 중립적) 정보 제시가 신뢰성 인식을 감소시켰지만, AI의 장점 대 한계점을 알리는 것은 그렇지 않았다.

오늘날 생성형 AI는 과학 정보 검색, 사실적 질문 답변, 자가 진단, 심지어 연구 분야에서도 광범위하게 사용되고 있다. 그러나 이러한 분야에서는 사실적 정확성이 매우 중요함에도 불구하고, 특히 새롭거나 확립되지 않은 과학적 주제에서 오류율이 상당히 높다는 점이 문제가 된다.

인간보다 AI에 더 많은 정확성과 적은 편향성 부여하는 사용자들

연구에서 가장 주목할 만한 발견 중 하나는 참가자들이 '정확한', '편향되지 않은', '중립적', '객관적'과 같은 형용사를 인간 저자보다 AI에 더 많이 귀속시킨다는 것이었다. 이는 '기계 휴리스틱(machine heuristic)'이라고 알려진 평가로, 사람들이 기계에 대해 특정 특성을 가정하는 경향이 있음을 보여준다.

선다르(Sundar)와 김(Kim)의 MAIN 모델에 따르면, 인터페이스 신호와 같은 기술적 접근성이 이러한 휴리스틱을 작동시킬 수 있으며, 이는 차례로 기술에 대한 인식과 상호작용을 형성할 수 있다. 이전 연구에서도 인간 작업을 기계가 대신할 때 기계 휴리스틱이 활성화된다는 것이 발견되었다.

특히 과학적 주제에 대해 LLM을 이용할 때 이러한 특성을 귀속시키는 것은 실제 능력에 대한 과대평가를 나타낼 수 있다. 연구에 따르면 사람들은 컴퓨터 처리를 인간 사고와 유사하다고 상상하는 경향이 있으며, AI 리터러시가 낮을수록 AI에 대한 수용성이 더 크고 이를 '마법적'인 것으로 인식한다고 한다.

균형 효과: 인간-AI 공동 저작이 신뢰도를 높이는 메커니즘

두 번째 실험 연구에서는 저작권과 면책 조항 유형 사이의 상호작용 효과를 보여주었으며, 이는 인간-AI 공동 저작의 가능한 균형 효과에 대한 통찰력을 제공했다. 알고리즘 회피(algorithm aversion) 연구에 따르면 인간-알고리즘 하이브리드가 알고리즘만 사용하는 것보다 더 긍정적으로 평가된다. 이 실험에서 공동 저작은 "자동화된 텍스트 생성기가 작성하고 인간이 검토 및 수정한 텍스트"로 정의되었다. 연구는 AI 한계에 대한 정보(AI 한계 조건)만 강조하거나 인간 저자의 한계까지도 언급하는(AI 및 인간 한계 조건) 면책 조항의 효과를 조사했다.

주수포(Jussupow)와 동료들의 연구에 따르면 "인간 참여는 알고리즘의 인식된 능력을 증가시키고 그들의 주체성을 감소시킬 수 있으며, 이 둘 모두 더 호의적인 인식으로 이어질 수 있다"고 설명했다. 특히 과학 커뮤니케이션과 같은 분야에서는 인간의 검증 권한이 특히 중요하다.

역설적 효과: 한계를 설명할수록 더 높아지는 신뢰도

세 번째 실험 연구에서는 기본적인 면책 조항보다 강점과 한계 면책 조항 모두 더 높은 신뢰성 평가를 유도했다. 이는 단순히 AI의 한계에 대해 경고하는 것보다 더 포괄적인 정보를 제공하는 것이 사용자의 신뢰를 높일 수 있다는 역설적인 결과를 보여준다.

이 결과는 왕(Wang)과 황(Huang)의 메타분석 결과와는 대조적이다. 그들은 알고리즘에 대한 설명 정보가 있을 때 기계가 작성한 뉴스가 인간이 작성한 것보다 낮은 신뢰성을 유도한다고 발견했다. 그러나 이 연구에서는 정보 없음 조건과 기본 정보 조건 사이에 유의미한 차이가 없었으며, AI의 능력에 대한 추가 정보가 오히려 신뢰도를 높이는 효과를 보였다.

진도렛(Dzindolet) 등의 연구에 따르면, "설명을 제공받은 참가자들은, 시스템이 오류를 범할 수 있는 이유에 대한 설명을 받았을 때, 심지어 그것이 부당할 때에도 의사결정 보조 도구에 대한 신뢰와 의존도가 더 높았다"고 한다. 이는 기술의 한계를 명확히 설명하는 것이 사용자들에게 투명성의 신호로 작용하여 오히려 더 큰 신뢰를 구축할 수 있음을 시사한다.

대규모 언어 모델의 한계와 윤리적 관행 필요성

이 연구는 면책 조항이 AI 생성 결과물의 인식에 일관되게 영향을 미치지 못한다는 것을 시사한다. 연구자들은 대규모 언어 모델의 능력과 한계에 대한 인식을 높이고 AI 생성 콘텐츠를 다루는 데 있어 윤리적 관행을 지지하기 위한 추가적인 개입이 개발되어야 한다고 제안한다.

연구의 제한점으로는 조작 확인 관련 문제로 인한 높은 제외율이 있다. 세 연구 모두에서 면책 조항에 대한 기억을 확인하는 방법이 많은 참가자들의 제외로 이어졌다. 이는 사람들이 일반적으로 면책 조항에 거의 주의를 기울이지 않는다는 것을 시사하며, 통제된 실험 환경에서도 이러한 정보가 쉽게 무시된다는 사실을 보여준다.

연구자들은 면책 조항 형식과 배치 개선, 맥락에 맞는 구체적인 정보 제공, 사용자가 이러한 정보를 무시하지 않도록 설계 전략 개발 등의 방안을 제시한다. 또한 LLM 제공 업체들이 사용자 교육에 더 많은 노력을 기울이고, 단순한 각주 이상의 효과적인 커뮤니케이션 방법을 개발해야 한다고 강조한다.

FAQ

Q: 대규모 언어 모델(LLM)은 왜 사실적 정확성에 한계가 있나요?

A: 대규모 언어 모델은 엄청난 양의 데이터에서 패턴을 학습하여 다음 단어를 예측하는 방식으로 작동합니다. 언어적 능력을 가능하게 하는 바로 그 예측 불가능성과 데이터의 양이 모든 정보의 사실적 검토를 배제합니다. 따라서 사후 조정이 오류율을 줄일 수는 있지만, 특히 새로운 연구 분야와 같은 영역에서는 정확하지 않은 정보를 제공할 가능성이 높습니다.

Q: 면책 조항을 더 효과적으로 만들려면 어떻게 해야 할까요?

A: 연구 결과에 따르면 단순한 경고보다는 AI의 강점과 한계 모두를 균형 있게 설명하는 것이 더 효과적일 수 있습니다. 또한 면책 조항의 형식과 배치에 더 많은 관심을 기울이고, 맥락에 맞는 구체적인 정보를 제공하는 것이 중요합니다. 사용자들이 이러한 정보를 쉽게 무시하지 않도록 설계 전략을 개선할 필요가 있습니다.

Q: 인간-AI 공동 저작이 AI 생성 콘텐츠의 신뢰성을 높일 수 있을까요?

A: 연구 결과는 인간-AI 공동 저작이 AI의 한계를 완화할 수 있는 균형 효과를 제공할 수 있음을 시사합니다. 특히 과학적 정보와 같이 사실 검증이 중요한 분야에서는 인간 전문가의 참여가 콘텐츠의 신뢰성을 높이고 사용자들이 정보를 더 신뢰하게 만들 수 있습니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.