터키 대학교 연구팀이 충격적인 사실을 발견했다. 'LLaDA'라는 새로운 AI가 인간이 쓴 글과 구별할 수 없을 정도로 자연스러운 글을 쓸 수 있다는 것이다. 연구진은 2,000개의 글 샘플을 분석한 결과, 이 AI가 기존 ChatGPT 같은 AI들과는 완전히 다른 방식으로 글을 쓴다고 밝혔다.

기존 AI들은 글을 쓸 때 앞에서부터 한 단어씩 차례대로 만들어간다. 마치 우리가 펜으로 글을 쓰는 것처럼 말이다. 하지만 LLaDA는 전체 문장을 한 번에 보면서 빈칸을 채우는 방식으로 글을 쓴다. 마치 십자말풀이를 푸는 것처럼, 여러 번 고치고 다듬으면서 완성도 높은 글을 만든다. 이런 방식 덕분에 LLaDA가 쓴 글은 인간이 쓴 글의 특징을 거의 완벽하게 따라 한다. 문장의 복잡함이나 길이 변화 같은 부분에서 인간과 거의 똑같은 패턴을 보인다.

기존 AI 탐지 프로그램들 완전히 속아

현재 인터넷에서 사용되는 AI 글쓰기 탐지 프로그램들은 ChatGPT나 GPT-4 같은 기존 AI들을 잡아내도록 만들어졌다. 이런 프로그램들은 "AI가 쓴 글은 너무 완벽하고 예측 가능하다"는 특징을 이용해서 AI 글을 찾아낸다.

하지만 연구 결과, 이런 탐지 프로그램들이 LLaDA가 쓴 글은 전혀 찾아내지 못하는 것으로 나타났다. 글을 다시 쓰는 작업에서 LLaDA가 쓴 글의 자연스러움 점수는 44.6점으로 인간이 쓴 글의 43.0점과 거의 똑같았다. 반면 기존 AI인 LLaMA가 쓴 글은 18.4점으로 너무 뻔했다. 연구진은 "확산 방식으로 글을 쓰는 AI는 인간 글쓰기의 특징을 거의 완벽하게 흉내내서 기존 탐지 프로그램들이 전혀 찾아내지 못한다"고 설명했다.

글 품질도 훨씬 뛰어나

LLaDA는 숨기는 능력뿐만 아니라 글 품질에서도 기존 AI를 압도했다. 원래 글을 다시 써보는 실험에서 LLaDA는 원문의 의미를 훨씬 잘 보존했다. 반면 기존 AI들은 글을 다시 쓸 때 원래 뜻에서 많이 벗어나는 경우가 많았다.

어휘 사용 면에서도 흥미로운 차이가 나타났다. 글을 다시 쓸 때는 LLaDA가 더 다양한 단어를 사용했지만, 새로운 글을 쓸 때는 기존 AI가 더 창의적인 단어 선택을 보였다. 연구진은 "기존 AI는 더 다양한 어휘를 사용하지만 원문의 의미에서 벗어나는 경향이 있다"고 분석했다.

단순한 탐지 방법으론 한계... 새로운 해결책 필요

이번 연구에서 가장 중요한 발견은 하나의 기준만으로는 AI 글을 찾아낼 수 없다는 점이다. 글의 자연스러움이나 문장 길이 변화 같은 개별 요소만으로는 새로운 AI 글을 구별하기 어렵다는 것이 증명됐다. 연구진은 "이제는 여러 가지 기준을 함께 사용하는 새로운 탐지 방법이 필요하다"며 "글의 자연스러움, 문장 변화, 어휘 다양성 등을 모두 종합해서 판단해야 한다"고 제안했다.

앞으로는 새로운 AI 방식에 맞는 탐지 기술 개발이 시급하다. 연구진은 AI가 글을 만드는 과정 자체를 분석하는 방법이나, 글에 보이지 않는 표시를 미리 심어두는 워터마킹 기술 개발이 중요하다고 강조했다.

FAQ

Q: 새로운 AI가 기존 AI와 어떻게 다른가요?

A: 기존 AI(ChatGPT 등)는 글을 앞에서부터 한 단어씩 차례로 만듭니다. 새로운 AI(LLaDA)는 전체를 보면서 빈칸을 채우듯이 글을 쓰고, 여러 번 수정해서 더 자연스러운 글을 만듭니다.

Q: 왜 기존 AI 탐지 프로그램들이 새로운 AI를 못 찾나요?

A: 기존 탐지 프로그램들은 "AI 글은 너무 완벽하고 뻔하다"는 특징으로 찾아냅니다. 하지만 새로운 AI는 인간처럼 자연스럽고 다양한 글을 써서 이런 방법으로는 구별할 수 없습니다.

Q: 앞으로 AI가 쓴 글을 어떻게 구별할 수 있을까요?

A: 하나의 기준이 아니라 글의 자연스러움, 문장 변화, 단어 사용 등 여러 가지를 함께 보는 새로운 방법이 필요합니다. 또한 AI가 글을 만드는 과정 자체를 분석하거나 미리 표시를 심어두는 기술도 개발해야 합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Can You Detect the Difference?

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.