비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

AI vs 인간 글쓰기, 83% 정확도로 구분한다...교육계 표절 방지 새 무기 등장

2025.01.09. 09:30:24
조회 수
311
3

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

Detecting AI-Generated Text in Educational Content
: Leveraging Machine Learning and Explainable AI for Academic Integrity



아랍 아메리칸 대학교(Arab American University)와 콜롬비아 대학교(Columbia University) 연구진이 발표한 최근 연구에 따르면, AI가 생성한 텍스트를 높은 정확도로 탐지할 수 있는 새로운 머신러닝 모델이 개발됐다.

AI 생성 텍스트 탐지의 새로운 전환점

연구팀은 사이버보안 분야의 텍스트 1,000개를 분석 대상으로 삼았다. 이중 500개는 인간이 작성했고, 나머지 500개는 챗GPT가 생성했다. 'CyberHumanAI'라고 명명된 이 데이터셋을 기반으로 다양한 머신러닝과 딥러닝 알고리즘을 테스트한 결과, XGBoost 알고리즘이 83%의 정확도를, 랜덤 포레스트(Random Forest) 알고리즘이 81%의 정확도를 기록했다.



AI와 인간의 글쓰기 특성 차이 발견

연구진은 설명 가능한 AI(XAI) 기술인 LIME을 활용해 AI와 인간의 글쓰기 패턴을 심층 분석했다.

분석 결과, 인간이 작성한 텍스트에서는 'security'가 420회(1.71%), 'use'가 312회(1.27%), 'system'이 264회(1.07%), 'computer'가 251회(1.02%), 'information'이 206회(0.84%) 빈도로 사용됐다. 반면 AI 생성 텍스트에서는 'security' 411회(1.52%), 'system' 261회(0.97%), 'computer' 233회(0.86%), 'within' 220회(0.81%), 'datum' 183회(0.68%) 순으로 나타났다.

특히 주목할 만한 점은 단어 선택의 경향성이다. 인간이 작성한 텍스트에서는 'allow', 'use', 'virus', 'people'과 같이 실용적이고 행동 중심적인 용어가 자주 등장했다. 반면 AI는 'realm', 'employ', 'serve', 'establish'와 같은 추상적이고 형식적인 용어를 선호했다.

이러한 차이는 TF-IDF(Term Frequency-Inverse Document Frequency) 분석에서도 확인됐는데, 인간 텍스트에서는 'use'와 'computer'가 각각 가중치 16과 14를 기록한 반면, AI 텍스트에서는 'datum'과 'authentication'이 각각 11에 가까운 가중치를 보였다.


기존 AI 탐지 도구와의 성능 비교

연구팀은 600개의 새로운 관측 데이터를 활용해 자체 개발 모델과 GPTZero의 성능을 비교했다. 데이터는 순수 AI 텍스트 200개, 혼합 텍스트 200개(AI 텍스트 비율 1-99%), 순수 인간 텍스트 200개로 구성됐다. 이 중 400개는 훈련 데이터로, 200개는 테스트 데이터로 사용됐다.

테스트 결과, GPTZero는 200개의 관측치 중 32개를 분류하지 못했으며, 분류에 성공한 케이스에서도 48.5%의 정확도를 보였다. 구체적으로 살펴보면, GPTZero는 혼합 텍스트의 경우 76개를 정확히 분류하며 좋은 성능을 보였으나, 순수 AI 텍스트는 단 3개만을, 순수 인간 텍스트는 18개만을 정확히 분류했다. 특히 56개의 순수 AI 텍스트와 15개의 순수 인간 텍스트를 혼합 텍스트로 잘못 분류하는 문제를 보였다.

반면 연구팀이 개발한 XGBoost 모델은 77.5%의 정확도를 기록했으며, 미분류 케이스도 없었다. 이 모델은 순수 AI 텍스트 66개 중 48개를 정확히 분류했고, 혼합 텍스트와 순수 인간 텍스트에서도 각각 55개와 52개를 정확히 분류했다. 특히 GPTZero와 달리, 순수 인간 텍스트 67개 중 52개를 정확히 판별하며 균형 잡힌 성능을 보여주었다.

교육 현장에서의 활용 가능성

이번 연구 결과는 교육계에 중요한 의미를 갖는다. AI 생성 콘텐츠가 교육 현장에서 증가하는 상황에서, 이 기술은 학생들의 과제와 논문의 진실성을 검증하는 도구로 활용될 수 있다. 연구진은 특히 학습 결과물의 평가, 디지털 제출물 검증, AI 활용 학습 환경에서의 학습 성과 보호 등에 이 기술이 기여할 수 있을 것으로 전망했다.

이번 연구는 특정 분야에 맞춤화된 AI 시스템이 GPTZero와 같은 범용 AI 시스템보다 더 우수한 성능을 발휘할 수 있다는 점을 입증했다는 데 의의가 있다. 연구진은 이 기술이 학문적 진실성을 유지하면서도 AI 기술의 교육적 활용을 촉진하는 데 도움이 될 것으로 기대하고 있다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 





AI Matters 뉴스레터 구독하기

공감/비공감

공감/비공감안내도움말 보기
유용하고 재미있는 정보인가요?
공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
최신 기획뉴스 전체 둘러보기
1/1
직구 태블릿 AS 될까? 중국 공장가서 직접 물어봤습니다! 스피커, 노트북 공장까지 들려봄! 태어난김에 세계전자일주 2편 동영상 있음 딴트공 말방구 실험실
[숨신소] 물류센터 직원이 돼라, 분류 작업자 시뮬레이터 (1) 게임메카
[EV 트렌드] 전기차 배터리, 짧게 타면 오래 간다?... "오해십니다" 오토헤럴드
영화 슈퍼맨에 등장하는 토요타 순수 전기 'bZ'... "괴물 잡으로 가다 충전?' 오토헤럴드
AMD, Zen 6에 2단 3D V-캐시 도입? 및 아이폰 16 프로에 넣은 칩으로 맥북 만드나 등 (2) 다나와
교토와 호흡하는 호텔 OMO5 교토 산조 (1) 트래비
중국의 대책 없는 굴기가 전세계 자동차 시장을 망하게 한다! 동영상 있음 오토기어
아시아 최초 구글에 회사 매각한 IT 리빙 레전드의 AI 시대 생존 방법 | 조코딩의 팟캐스트 #14 (1) 동영상 있음 조코딩 JoCoding
[프리뷰] Z9II 유출 정보 총정리! 끝판왕?! 니콘이 해낼까? 동영상 있음 Hakbong Kwon
아이오닉6 N! "2.2톤 무게를 속이는 기술!" 동영상 있음 오토기어
미리 다녀온 여름휴가, 대구 메리어트 호텔 (1) 트래비
리장이 품은 고성, 그리고 옥룡설산에 대하여 (1) 트래비
나시족에게 리장고성을 묻다 트래비
샹그릴라에서 찾은 지상낙원, 반얀트리 링하 (2) 트래비
속초 오션뷰의 정점, 카시아 속초 (1) 트래비
'춤 추는 주차 로봇' 현대차 AI 영상 대박, 글로벌 시청 조회수 580만 오토헤럴드
나시족 그녀와 나눈 보이차의 향기 트래비
샹그릴라의 어느 저녁, 잠 없는 꿈을 꾸었고 트래비
530마력 씰 4,690만원! "초대박 가격 아니냐?" 동영상 있음 오토기어
[인디言] 감정 읽는 AI가 들려주는 노래 ‘노이즈 캔슬러’ 게임메카
이 시간 HOT 댓글!
1/4