메타가 현지 시각 8월 10일 매개변수 300억 개 규모의 오픈웨이트 모델 뮤즈 글리머(Muse Glimmer)를 공개했다. 메타 슈퍼인텔리전스 랩스가 개발했고, 가중치는 아파치 2.0 라이선스로 허깅페이스에 공개돼 수정과 재배포, 상업적 활용에 걸리는 제약이 거의 없다.

이 모델은 클라우드에 연결하지 않고 맥이나 PC에 켜 둔 채 쓰는 로컬 에이전트를 상정해 만들어졌다. 함수 호출과 로컬 코딩, 다른 모델의 답을 채점하는 LLM 심사가 주된 용도이며, 전용 인식 인코더를 통해 텍스트와 이미지를 섞어 입력받아 스크린숏과 차트, 문서를 그대로 해석한다. 도구 호출이 실패해도 멈추지 않고 원인을 진단해 다시 시도하도록 학습됐고, 학습 데이터에는 100개가 넘는 언어가 들어갔다. 추론 강도를 여러 단계로 조절해 품질과 속도를 조율할 수도 있다.

메타는 사전 학습과 중간 학습, 사후 학습을 거쳐 뮤즈 글리머를 훈련했다. 사전 학습에서는 상위 모델인 뮤즈 스파크의 출력을 로짓 증류 방식으로 이어받았다. 증류는 큰 모델이 내놓은 답을 교재 삼아 작은 모델을 가르치는 방법이고, 로짓 증류는 최종 답만이 아니라 각 후보 단어에 매긴 점수 분포까지 그대로 따라 하게 만드는 방식이다. 중간 학습에서는 더 긴 문맥과 에이전트 성격이 강한 데이터에 풍부한 추론 기록을 붙여 훈련했다.

마지막 사후 학습에서는 지도 미세조정에 온폴리시 증류와 강화학습을 섞어 사용했다. 지도 미세조정은 정답이 붙은 예시를 보여 주며 다듬는 단계이고, 온폴리시 증류는 학생 모델이 스스로 만들어 낸 답을 놓고 교사 모델이 그 자리에서 교정해 주는 방식이다. 미리 준비한 정답만 외우게 하는 대신 실제로 저지르는 실수를 바로잡는다는 뜻이다. 이 과정에서 일반·추론·코딩·에이전트 영역을 함께 다뤘다.

매개변수 300억 개를 전체 정밀도로 올려 두면 55기가바이트가 넘어 소비자용 그래픽카드에는 들어가지 않는데, 메타는 가중치를 4비트 수준으로 압축해 언어 모델 용량을 20기가바이트 아래로 낮췄다. 가중치를 4비트로 줄이는 양자화는 숫자의 정밀도를 낮춰 용량을 압축하는 기법이다. 남은 공간에는 KV 캐시와 이미지 인식 인코더, 투기적 디코딩용 초안 모델이 함께 들어가 24기가바이트나 32기가바이트 메모리 안에서 동시에 작동한다. KV 캐시는 모델이 앞서 읽은 내용을 다시 계산하지 않으려고 쌓아 두는 작업 기억에 해당한다. 메타는 이 압축이 에이전트 작업 정확도를 거의 떨어뜨리지 않는다고 밝혔다.

응답 속도에는 DFlash 기반의 가벼운 초안 모델이 쓰인다. 언어 모델은 보통 단어 조각인 토큰을 하나씩 차례로 만들어 내는데, 투기적 디코딩은 작은 초안 모델이 토큰 여러 개를 미리 제안하면 본 모델이 한꺼번에 검증해 맞는 것은 받아들이고 틀린 것만 고치는 방법이다. 메타는 여기에 DFlash라는 초안 모델을 붙였고, 메타 측정에서 RTX 5090은 3.1배, M5 맥스는 1.8배, M4 맥스는 1.5배 빨라졌다. 메타는 이 방식이 출력 품질을 그대로 유지한다고 설명했다.

메타는 젬마4-31B, 큐원3.6-27B와 성능을 비교했다. 딥서치 QA와 MCP-아틀라스, 타우-벤치, SWE-벤치 같은 전 과정 벤치마크에서 같은 크기대 모델 중 강한 성적을 냈다고 밝혔다. 다만 공개된 비교표는 메타가 자체 평가한 결과다. 모델은 공개 전 메타의 고급 AI 스케일링 프레임워크 기준으로 오픈웨이트 배포 적격 여부를 검토받았다.

llama.cpp와 MLX, ExecuTorch 통합이 며칠 안에 추가되고, 올라마와 LM 스튜디오, 언슬로스로 로컬 실행이 가능하다. 서버 쪽은 vLLM과 SGLang을, 외부 서비스는 투게더 AI와 파이어웍스 AI, 오픈라우터를 쓸 수 있다. 파이토치의 토치타이탄으로 추가 학습도 할 수 있다. 메타는 AMD와 Arm, 델, 인텔, 엔비디아와 기기별 최적화를 진행 중이라고 밝혔다.

자세한 내용은 메타 AI 리서치에서 확인할 수 있다.

이미지 출처: 메타