'슬롭(Slop)'이 2024년 옥스퍼드 사전 올해의 단어 후보에 선정되며 사용량이 332% 급증한 가운데, 미국 노스이스턴대학교와 메타 AI가 공동으로 실시한 새로운 연구에서 AI가 생성하는 저품질 텍스트인 '슬롭' 현상을 체계적으로 정의하고 측정할 수 있는 분류 체계를 개발했다. 이 연구는 슬롭에 대한 체계적 분류와 평가 프레임워크를 도입함으로써, 기존 자동 평가 기준의 한계점을 보완할 연구적 시사점을 제공한다.

AI '슬롭' 정의와 분류 체계 확립: 19명 전문가 의견 수렴으로 측정 이론 적용

해당 논문에 따르면, 연구팀은 자연어처리, 언어학, 저널리즘, 철학 분야 전문가 19명을 대상으로 설문조사를 실시하여 '슬롭'의 정의를 수집했다. 전문가들은 슬롭을 "표면적으로는 정확해 보이지만 일반적이고 지나치게 장황하며, 부정확하고 의도된 목적과 무관하며, 독자에게 의미 있는 가치를 거의 제공하지 않는 저품질 AI 생성 텍스트"로 정의했다.

연구진은 측정 이론(Measurement Theory)의 원리를 적용하여 슬롭을 개념화하고 조작화했다. 전문가들의 의견을 바탕으로 슬롭을 세 가지 주요 테마로 분류했다. 정보 유용성(Information Utility) 영역에는 정보 밀도(Density)와 관련성(Relevance)이 포함되며, 정보 품질(Information Quality) 영역에는 사실성(Factuality)과 편향성(Bias)이 해당한다. 스타일 품질(Style Quality) 영역에는 반복(Repetition), 템플릿화(Templatedness), 일관성(Coherence), 유창성(Fluency), 장황함(Verbosity), 단어 복잡성(Word Complexity), 톤(Tone) 등 7개 하위 요소가 포함된다.

뉴스 기사와 실제 검색 쿼리 250개 텍스트 분석: 도메인별 슬롭 특성 차이 발견

연구팀은 150개의 뉴스 기사와 실제 Bing 검색 쿼리를 기반으로 한 대규모 기계 독해 벤치마크인 MS MARCO 데이터셋에서 100개의 질의응답 텍스트를 대상으로 전문 편집자 3명이 단어 수준에서 슬롭 구간을 표시하는 실험을 실시했다.

전문가들이 같은 텍스트를 보고 슬롭인지 판단할 때 얼마나 의견이 일치하는지 분석한 결과 흥미로운 패턴이 발견됐다. 첫 번째 측정 방식(Cohen's κ)에서는 전문가들의 의견 일치도가 매우 낮게 나타났다. 하지만 두 번째 측정 방식(Gwet's AC1)을 사용하자 의견 일치도가 중간 수준으로 향상됐다. 이는 슬롭 판정에 개인차가 존재하지만, 전문가들 사이에는 어느 정도 공통된 판단 기준이 있다는 것을 보여준다.

분석 결과, 뉴스 기사에서는 스타일 품질(일관성, 톤), 정보 유용성(밀도, 관련성), 편향성 등이 슬롭 판단의 중요한 예측 요인으로 나타났다. 반면 질의응답 텍스트에서는 사실성과 구조적 문제가 가장 강력한 슬롭 예측 요인으로 확인됐다. 특히 관련성, 정보 밀도, 톤 등이 모든 도메인에서 슬롭 판단의 가장 강력한 예측 요인으로 나타났다.

챗GPT 사용의 50%가 글쓰기 작업: AI 품질 평가의 중요성 부각

오픈AI의 연구에 따르면 챗GPT 사용의 거의 50%가 글쓰기(28.1%)와 정보 검색(21.3%) 작업에 집중되어 있다. 이는 AI 생성 텍스트의 품질 평가가 단순히 학술적 관심사가 아니라 실제 사용자들이 일상적으로 직면하는 중요한 문제임을 보여준다. 연구진은 이런 맥락에서 슬롭 현상의 체계적 분석이 AI 정렬(alignment) 개선에 필수적이라고 강조했다.

GPT-5, 딥시크 등 최신 AI 모델도 슬롭 탐지 실패: 자동 측정의 한계 노출

연구진은 GPT-5, 딥시크-V3, o3-mini 등 최신 대규모 언어모델의 슬롭 탐지 능력을 평가했다. 결과는 충격적이었다. 이들 모델은 인간 전문가의 판단과 거의 일치하지 않았다. 인간 전문가들은 텍스트의 35%를 슬롭이라고 판단했지만, AI 모델들은 3~8% 정도만 슬롭이라고 판단했다. 즉, 슬롭인 글을 대부분 놓쳤다는 뜻이다.

텍스트에서 문제가 있는 부분을 찾아내는 실험에서도 결과가 좋지 않았다. GPT-5는 100개 중 8개 정도만 정확히 찾아냈고, 실제 문제 구간 중에서는 12개 정도만 찾아낼 수 있었다. 예시를 5개나 보여줘도 크게 나아지지 않았다. 연구진이 별도로 훈련시킨 AI 모델도 33개 정도의 정확도를 보였지만, 여전히 실제 사용하기에는 부족한 수준이었다.

검색엔진과 플랫폼의 대응 전략 필요

이번 연구 결과는 AI 콘텐츠가 인터넷 생태계에 미칠 파급효과를 예측하는 중요한 단서를 제공한다. 현재 AI 모델들조차 슬롭을 제대로 식별하지 못하는 상황에서, 검색 알고리즘이 저품질 AI 콘텐츠를 걸러내기는 더욱 어려울 것으로 예상된다. 더 큰 문제는 AI 생성 콘텐츠의 급증이 정보 신뢰성 위기를 가속화할 가능성이다. 연구에서 확인된 바와 같이 AI는 사실적 오류와 편향된 정보를 포함한 그럴듯한 텍스트를 대량 생성할 수 있다. 이는 소셜미디어와 뉴스 플랫폼에서 가짜 뉴스 확산을 더욱 어렵게 만들 것이다.

하지만 이 연구가 제시한 슬롭 분류 체계는 해결책의 출발점이 될 수 있다. 정보 밀도, 관련성, 사실성 등의 측정 기준을 활용하면 플랫폼들이 콘텐츠 품질 관리 시스템을 고도화할 수 있을 것이다. 이제는 단순히 AI 탐지가 아닌, 콘텐츠의 실질적 가치를 평가하는 새로운 접근법이 디지털 정보 환경의 신뢰성을 좌우할 핵심 요소가 될 것으로 보인다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q: AI 슬롭이란 무엇이며 왜 문제가 되나요?

A: AI 슬롭은 대규모 언어모델이 생성하는 저품질 텍스트로, 표면적으로는 문법적으로 올바르지만 내용이 부실하고 장황하며 독자에게 실질적 가치를 제공하지 않는 글을 의미합니다. 인터넷상에 이런 텍스트가 증가하면서 정보의 질 저하와 검색 결과 오염 등의 문제를 야기하고 있습니다.

Q: 슬롭을 자동으로 탐지할 수 있는 방법이 있나요?

A: 현재로서는 완전히 자동화된 슬롭 탐지는 어려운 상황입니다. GPT-5 같은 최신 AI 모델도 인간 수준의 슬롭 탐지 능력을 보이지 못했으며, 기존의 텍스트 품질 측정 지표들도 한계를 드러냈습니다. 현재는 인간 전문가의 판단에 의존할 수밖에 없는 상황입니다.

Q: 모든 AI 생성 텍스트가 슬롭인가요?

A: 아닙니다. 연구에 따르면 AI 생성 텍스트 중 일부만이 슬롭으로 분류됩니다. 또한 인간이 작성한 텍스트도 슬롭 특성을 보일 수 있습니다. 중요한 것은 텍스트의 품질과 목적 적합성이며, 이는 작성 주체보다는 내용의 질에 달려 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Measuring AI "Slop" in Text

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.