Leveraging Explainable AI for LLM Text Attribution
: Differentiating Human-Written and Multiple LLMs-Generated Text

텍사스 A&M 대학교 연구팀이 발표한 연구에 따르면, 설명가능한 AI(XAI) 기술을 활용해 챗GPT(ChatGPT)나 클로드(Claude) 등 AI 언어모델이 생성한 텍스트를 높은 정확도로 식별해낼 수 있게 되었다. 연구진은 2023년 11월에 600개의 텍스트 샘플을 수집하여 분석을 진행했다.

AI가 쓴 글과 사람이 쓴 글 98.5% 구분하는 기술 공개

연구진은 인공지능 대형언어모델(LLM)이 생성한 텍스트와 사람이 작성한 텍스트를 구분하는 데 머신러닝과 딥러닝 알고리즘을 활용했다. 랜덤 포레스트(Random Forest)와 순환신경망(RNN) 등의 기술을 적용한 결과, 이진 분류에서 98.5%의 높은 정확도를 달성했다. 이는 기존의 AI 텍스트 탐지 도구인 GPT제로(GPTZero)의 78.3% 정확도를 크게 앞지른 수준이다. 특히 GPT제로가 전체 샘플의 4.2%를 식별하지 못한 반면, 새로운 모델은 모든 테스트 데이터셋을 성공적으로 분석했다.

다양한 AI 도구별 특징 파악하는 데 성공

연구팀은 챗GPT, 라마(LLaMA), 구글 바드(Google Bard), 클로드, 퍼플렉시티(Perplexity) 등 5개 주요 AI 언어모델이 생성한 텍스트를 각각 구분하는 데도 성공했다. 데이터 전처리와 TF-IDF 벡터화 기법을 활용한 다중 분류에서 랜덤 포레스트는 97%의 정확도와 93%의 정밀도, 94%의 재현율을 기록했다. XGBoost는 94%의 정확도와 90%의 정밀도 및 재현율을 보였으며, RNN은 88%의 정확도, 90%의 정밀도, 72%의 재현율을 달성했다.

특히 RNN의 경우 'claude' 클래스에서는 12.5%의 진양성률을 보여 'human', 'chatgpt', 'bard' 클래스와의 구분에 어려움을 겪었고, 'llama' 클래스에서는 62.5%의 진양성률을 보여 'human', 'chatgpt', 'perplexity' 클래스와의 구분에 한계를 드러냈다.

AI별(바드, 챗GPT, 클로드, 라마, 퍼플렉시티) 텍스트 특징 분석

연구진은 LIME(Local Interpretable Model-agnostic Explanations) 기술을 활용해 각 AI 도구별로 독특한 텍스트 생성 패턴을 발견했다.

구글 바드는 '초점', '운송', '투표', '자동차', '범위', '보장', '우려', '시스템' 등 체계적이고 구조적인 요소와 관련된 단어를 자주 사용했다.

챗GPT는 '좋은', '찾기', '수용', '고려', '신뢰', '시민', '도시', '제한', '편지', '사용' 등 질적 평가와 실용적 적용을 혼합한 표현을 특징적으로 사용했다.

클로드는 '도시', '국가', '과도한', '사람들', '감사합니다', '진심으로', '투표', '합리적', '부탁 드립니다' 등 공손하고 시민 참여적인 표현을 주로 사용했다.

라마는 '선거', '사용', '과정', '평등', '제한', '의견', '대안', '또한', '보장', '진심으로' 등 절차적이고 민주적인 요소를 강조하는 단어를 사용했다.

퍼플렉시티는 '감소', '시스템', '압력', '보장', '도움', '운전', '덜', '상원의원', '개인', '친애하는' 등 효율성과 개인적 중요성을 강조하는 단어를 특징적으로 사용했다.

반면 사람이 작성한 텍스트는 '하다', '것', '많은', '말하다', '방법', '얻다', '가다', '사람들', '아니다' 등 일상적인 동사와 대명사를 자주 사용하는 것으로 나타났다. 이러한 단어 사용 패턴은 실제 인간의 자연스러운 의사소통 방식을 반영하는 것으로 분석되었다.

학술적 표절 방지에 새로운 돌파구 될까?

이번 연구 결과는 특히 교육계에서 문제가 되고 있는 AI 표절 문제 해결에 큰 도움이 될 것으로 기대된다. 연구진은 이 기술이 학생들의 과제나 에세이에서 AI 사용 여부를 정확하게 판별할 수 있을 뿐만 아니라, 미묘하게 수정되거나 바꿔 쓴 텍스트도 감지할 수 있다고 밝혔다. 더불어 이 기술은 사이버보안, 학문적 진실성, 비즈니스 운영 등 다양한 분야에서 콘텐츠의 신뢰성을 검증하는 데 활용될 수 있을 것으로 전망된다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.