Detecting AI-Generated Text in Educational Content
: Leveraging Machine Learning and Explainable AI for Academic Integrity

아랍 아메리칸 대학교(Arab American University)와 콜롬비아 대학교(Columbia University) 연구진이 발표한 최근 연구에 따르면, AI가 생성한 텍스트를 높은 정확도로 탐지할 수 있는 새로운 머신러닝 모델이 개발됐다.

AI 생성 텍스트 탐지의 새로운 전환점

연구팀은 사이버보안 분야의 텍스트 1,000개를 분석 대상으로 삼았다. 이중 500개는 인간이 작성했고, 나머지 500개는 챗GPT가 생성했다. 'CyberHumanAI'라고 명명된 이 데이터셋을 기반으로 다양한 머신러닝과 딥러닝 알고리즘을 테스트한 결과, XGBoost 알고리즘이 83%의 정확도를, 랜덤 포레스트(Random Forest) 알고리즘이 81%의 정확도를 기록했다.

AI와 인간의 글쓰기 특성 차이 발견

연구진은 설명 가능한 AI(XAI) 기술인 LIME을 활용해 AI와 인간의 글쓰기 패턴을 심층 분석했다.

분석 결과, 인간이 작성한 텍스트에서는 'security'가 420회(1.71%), 'use'가 312회(1.27%), 'system'이 264회(1.07%), 'computer'가 251회(1.02%), 'information'이 206회(0.84%) 빈도로 사용됐다. 반면 AI 생성 텍스트에서는 'security' 411회(1.52%), 'system' 261회(0.97%), 'computer' 233회(0.86%), 'within' 220회(0.81%), 'datum' 183회(0.68%) 순으로 나타났다.

특히 주목할 만한 점은 단어 선택의 경향성이다. 인간이 작성한 텍스트에서는 'allow', 'use', 'virus', 'people'과 같이 실용적이고 행동 중심적인 용어가 자주 등장했다. 반면 AI는 'realm', 'employ', 'serve', 'establish'와 같은 추상적이고 형식적인 용어를 선호했다.

이러한 차이는 TF-IDF(Term Frequency-Inverse Document Frequency) 분석에서도 확인됐는데, 인간 텍스트에서는 'use'와 'computer'가 각각 가중치 16과 14를 기록한 반면, AI 텍스트에서는 'datum'과 'authentication'이 각각 11에 가까운 가중치를 보였다.

기존 AI 탐지 도구와의 성능 비교

연구팀은 600개의 새로운 관측 데이터를 활용해 자체 개발 모델과 GPTZero의 성능을 비교했다. 데이터는 순수 AI 텍스트 200개, 혼합 텍스트 200개(AI 텍스트 비율 1-99%), 순수 인간 텍스트 200개로 구성됐다. 이 중 400개는 훈련 데이터로, 200개는 테스트 데이터로 사용됐다.

테스트 결과, GPTZero는 200개의 관측치 중 32개를 분류하지 못했으며, 분류에 성공한 케이스에서도 48.5%의 정확도를 보였다. 구체적으로 살펴보면, GPTZero는 혼합 텍스트의 경우 76개를 정확히 분류하며 좋은 성능을 보였으나, 순수 AI 텍스트는 단 3개만을, 순수 인간 텍스트는 18개만을 정확히 분류했다. 특히 56개의 순수 AI 텍스트와 15개의 순수 인간 텍스트를 혼합 텍스트로 잘못 분류하는 문제를 보였다.

반면 연구팀이 개발한 XGBoost 모델은 77.5%의 정확도를 기록했으며, 미분류 케이스도 없었다. 이 모델은 순수 AI 텍스트 66개 중 48개를 정확히 분류했고, 혼합 텍스트와 순수 인간 텍스트에서도 각각 55개와 52개를 정확히 분류했다. 특히 GPTZero와 달리, 순수 인간 텍스트 67개 중 52개를 정확히 판별하며 균형 잡힌 성능을 보여주었다.

교육 현장에서의 활용 가능성

이번 연구 결과는 교육계에 중요한 의미를 갖는다. AI 생성 콘텐츠가 교육 현장에서 증가하는 상황에서, 이 기술은 학생들의 과제와 논문의 진실성을 검증하는 도구로 활용될 수 있다. 연구진은 특히 학습 결과물의 평가, 디지털 제출물 검증, AI 활용 학습 환경에서의 학습 성과 보호 등에 이 기술이 기여할 수 있을 것으로 전망했다.

이번 연구는 특정 분야에 맞춤화된 AI 시스템이 GPTZero와 같은 범용 AI 시스템보다 더 우수한 성능을 발휘할 수 있다는 점을 입증했다는 데 의의가 있다. 연구진은 이 기술이 학문적 진실성을 유지하면서도 AI 기술의 교육적 활용을 촉진하는 데 도움이 될 것으로 기대하고 있다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.