중국 문샷 AI의 키미 K3 오픈웨이트가 7월 27일 오전 9시(협정세계시 0시)에 공개된다. 미국 시간으로는 26일 저녁으로, 지금까지 나온 개방형 모델 가운데 가장 큰 규모다. 다만 전체 가중치는 약 1.4테라바이트(TB)에 이르러, 2조 8천억 개 매개변수 모델을 직접 돌리려는 쪽에는 만만찮은 하드웨어 부담이 따른다.
가중치를 내려받는 일은 공짜지만, 이 규모의 모델을 서비스하려면 대규모 다중 GPU 서버나 이를 대신 호스팅하는 추론 사업자가 필요하다. 자체 호스팅은 토큰당 비용 절감이 인프라·엔지니어링 부담을 넘어서는 대용량 환경에서만 유리하다. 그 밖에는 파이어웍스 AI 같은 호스팅 사업자를 거치는 방식이 현실적이다.
자체 호스팅의 장점은 비용만이 아니라 데이터 통제에 있다. 모델을 자사 인프라에서 돌리면 데이터가 외부로 나가지 않아, 중국 모델을 API로 쓸 때 제기되는 데이터 출처·거주 문제를 피할 수 있다. 이번 가중치 공개는 문샷이 홍콩 상장을 추진하는 시점에 나왔다. 무료로 공개해 개발자 생태계를 넓히려는 목적도 있다.
자세한 내용은 테크타임스에서 확인할 수 있다.
이미지 출처: 문샷 AI
AI Matters 뉴스레터 구독하기
