Idiosyncrasies in Large Language Models

97% 정확도로 AI 모델 '지문' 식별...단순 임베딩 모델만으로도 가능

대형 언어 모델(LLM)은 ChatGPT, Claude, Grok, Gemini, DeepSeek과 같이 다양한 제품으로 시장에 출시되고 있다. 이들 모델은 공통적으로 트랜스포머(Transformer) 아키텍처와 자기회귀적(auto-regressive) 학습 방식을 사용하며, 상당 부분 겹치는 대규모 데이터셋으로 훈련되었다. 하지만 이러한 유사점에도 불구하고 각 모델은 자신만의 독특한 출력 패턴을 가지고 있다는 것이 새로운 연구를 통해 밝혀졌다.

카네기 멜론 대학, UC 버클리 등의 연구진이 발표한 연구에 따르면, 텍스트 임베딩 모델을 LLM이 생성한 텍스트에 미세 조정하는 간단한 방법만으로도 ChatGPT, Claude, Grok, Gemini, DeepSeek의 5개 모델 출력을 97.1%의 정확도로 구분할 수 있었다. 이는 각 LLM이 고유한 '특이성(idiosyncrasies)'을 가지고 있음을 의미한다.

연구팀은 이러한 구분 가능성이 단순히 표면적인 차이가 아니라 단어 수준의 분포와 의미론적 내용에 뿌리를 두고 있다고 설명한다. 심지어 이러한 텍스트가 다른 LLM에 의해 재작성, 번역 또는 요약되더라도 원래 모델의 고유한 특성이 유지되는 것으로 나타났다.

"such as"는 챗GPT, "here"은 클로드...모델마다 선호하는 표현 패턴 발견

연구팀은 LLM의 특이성이 어디서 발생하는지 분석하기 위해 다양한 실험을 진행했다. 그 결과, 단어 수준의 선택이 각 모델을 구분하는 데 중요한 역할을 하는 것으로 밝혀졌다. 모델별로 뚜렷한 언어적 선호도가 나타났다.

챗GPT는 "such as", "certainly", "overall", "sure", "utilize", "various"와 같은 표현을 자주 사용하며, 설명적이고 교육적인 톤을 선호한다. 클로드는 "here", "according to", "based on", "appears to", "both", "when"과 같은 구절을 선호하며, 원본 프롬프트를 참조하는 경향이 강하다. 그록은 "which", "where", "not", "here is", "might", "but also", "not only", "helps in"과 같은 표현을 많이 사용한다. 제미나이는 "crucial", "other", "even", "here's a breakdown", "key improvements", "doesn't", "within", "essentially", "also"를 자주 활용한다. 딥시크는 "below is", "in summary", "for example", "below", "certainly", "summary", "may", "know if", "example"과 같은 구문을 특징적으로 사용한다.

마크다운 형식 요소의 사용에서도 모델별 차이가 뚜렷했다. ChatGPT는 번호 매김 안에서 각 핵심 요점을 굵게 강조하고 제목에 마크다운 헤더를 사용하는 경향이 있다. Claude는 단순한 번호 매김과 글머리 기호로 텍스트를 형식화하는 방식을 선호한다. Gemini는 다른 모델보다 이탤릭체를 더 많이 사용하며, Grok은 글머리 기호와 구분선을 자주 활용한다. DeepSeek는 코드 블록과 인용문을 다른 모델보다 더 빈번히 사용하는 특징을 보인다.

연구팀은 TF-IDF(Term Frequency-Inverse Document Frequency)를 사용하여 각 모델의 특징적인 구문을 추출하고, 이를 바탕으로 로지스틱 회귀 모델을 훈련시켜 85.5%의 정확도로 출력 모델을 예측할 수 있었다.

번역해도 남는 AI의 '지문': ChatGPT는 상세함, Claude는 간결함 선호

단어 선택과 마크다운 형식 외에도, 연구팀은 내용의 의미론적 측면에서도 모델 간 차이가 있음을 발견했다. 같은 지시에 대해 다른 모델들은 서로 다른 스타일과 깊이로 대응한다.

예를 들어, ChatGPT는 상세하고 심층적인 설명을 선호하는 반면, Claude는 간결하고 직접적인 응답을 통해 명확성을 우선시하는 경향이 있다. 이러한 차이는 텍스트가 다른 LLM에 의해 재작성되거나 번역되어도 상당 부분 유지되었으며, 요약과 같은 가장 공격적인, 변환을 적용한 후에도 우연 수준보다 훨씬 높은 정확도로 원본 모델을 식별할 수 있었다.

인공지능 생성 데이터와 모델 유사성에 대한 함의

이 연구의 발견은 합성 데이터를 사용하여 LLM을 훈련하는 현재의 관행에 중요한 함의를 갖는다. 연구진은 한 모델의 출력으로 다른 모델을 훈련할 경우, 소스 모델의 특이성이 상당 부분 전파될 수 있음을 보여주었다.

또한 이 연구는 대형 언어 모델 간의 유사성을 평가하는 데에도 활용될 수 있다. 연구팀은 Phi-4와 같은 오픈 웨이트 모델을 ChatGPT, Claude 등의 API 모델과 비교한 결과, 특정 모델들 사이에 주목할 만한 패턴 유사성이 있음을 발견했다.

이 연구는 대형 언어 모델이 공유하는 많은.공통점에도 불구하고, 각 모델이 자신만의 고유한 '목소리'와 스타일을 가지고 있다는 것을 명확히 보여준다. 이는 AI 생성 콘텐츠의 출처를 파악하고, 합성 데이터로 모델을 훈련할 때 고려해야 할 중요한 측면을 제시한다.

FAQ

Q: 왜 각 대형 언어 모델은 고유한 특성을 가지고 있나요?

A: 대형 언어 모델들은 비슷한 아키텍처와 훈련 방식을 사용하지만, 훈련 데이터, 후처리 방식, 모델의 크기, 그리고 각 회사의 독특한 최적화 방법 등의 차이로 인해 고유한 특성이 발생합니다. 이런 차이가 단어 선택, 마크다운 형식 활용, 그리고 의미론적 내용 표현에 영향을 미칩니다.

Q: 이 연구 결과가 일반 사용자에게 어떤 의미가 있나요?

A: 사용자가 다양한 AI 모델을 사용할 때, 각 모델이 동일한 질문에도 서로 다른 스타일과 접근 방식으로 답변한다는 것을 이해할 수 있습니다. 또한 AI 생성 콘텐츠의 원천을 식별하는 데 도움이 될 수 있으며, 자신의 선호도에 맞는 AI 모델을 선택하는 데 참고할 수 있습니다.

Q: 이 연구가 AI 모델 개발에 어떤 영향을 미칠까요?

A: 이 연구는 합성 데이터로 모델을 훈련할 때 소스 모델의 특성이 전파될 수 있음을 보여줍니다. 따라서 AI 개발자들은 다양한 소스의 데이터를 사용하거나, 이러한 특성을 완화하기 위한 방법을 고려해야 할 수 있습니다. 또한 모델 간 유사성을 평가하는 새로운 방법을 제공하여 AI 모델의 진화 과정을 더 잘 이해하는 데 도움이 됩니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.

기사는 클로드와 챗GPT를 활용해 작성되었습니다.