중국 문샷AI(Moonshot AI)의 오픈소스 모델 키미 K3(Kimi K3)가 미국 정부의 공개 지목 대상이 됐다. 마이클 크라치오스(Michael Kratsios) 백악관 과학기술정책실(OSTP) 실장은 7월 22일 엑스(X)에 올린 글에서 문샷이 앤트로픽의 페이블(Fable) 모델을 증류(distillation)해 키미 K3를 개발했다고 주장했다. 그는 이를 미국의 독자 기술을 겨냥한 대규모 은밀한 산업적 증류라고 규정했다. 미국 고위 당국자가 특정 중국 연구소를 지목해 특정 미국 모델을 베꼈다고 공개적으로 언급한 것은 이번이 처음이다.

키미 K3는 파라미터 2조 8,000억 개 규모로 7월 16일 공개된 뒤 프런트엔드 코드 아레나에서 클로드 페이블 5(Claude Fable 5)를 상대로 76%의 승률을 기록하며 1위에 올랐고, 역대 최대 규모의 오픈 가중치 공개 모델로 기록됐다. 미국 업계가 자국의 기술 우위를 다시 점검하게 만든 모델이며, 오는 7월 27일 가중치를 무료로 공개할 예정이다. 그 K3가 앞선 모델을 베껴 만들어졌다는 주장이 나오면서 기존의 경쟁 구도를 둘러싼 논의도 달라지고 있다.

기술적 근거는 두 가지다. 우선 키미 K3가 공유된 대화에서 스스로를 클로드(Claude)라고 지칭한 사례가 확인됐다. 여기에 레드우드 리서치(Redwood Research)의 수석 과학자 라이언 그린블랫(Ryan Greenblatt)이 여러 모델의 응답을 비교한 교차 엔트로피(cross-entropy) 분석을 공개했는데, K3가 정체성을 물으면 유독 자주 자신을 클로드라고 답하는 분포를 보였다는 것이다.

다만 연구자들은 해당 사안에 대해 신중하게 접근하고 있다. 모델이 자신을 잘못 인식하는 데에는 웹에서 수집한 학습 데이터에 클로드의 응답이 섞여 들어갔거나, 시스템 프롬프트가 남았거나, 역할극 데이터가 새어 들어간 경우 등 여러 설명이 가능하다. 클로드 대화 기록이 인터넷에 널리 퍼져 있어, 광범위한 웹 데이터로 학습한 모델은 어느 정도 이를 흡수하게 된다.

유사한 사례가 처음은 아니다. 올해 초 앤트로픽이 알리바바(Alibaba)를 상대로 비슷한 증류 의혹을 제기한 바 있다. 증명이 어려운 이 문제에 대응해 오픈AI와 앤트로픽, 구글은 조율된 증류 시도를 탐지하기 위한 정보 공유에 나섰고, 이용약관에도 경쟁 모델 학습에 자사 출력을 쓰는 행위를 금지하는 조항을 넣었다.

이번 발표는 정부의 문제 제기긴 하지만 입증된 사실은 아니며, 문샷은 이를 인정하지 않고 있다.

자세한 내용은 에이오엘에서 확인할 수 있다.

이미지 출처: Anthropic