프랑스 AI 기업 미스트랄(Mistral)이 현지 시각 10월 6일 공식 블로그를 통해 매개변수 1조 개 규모의 새 모델 ‘미스트랄 라지 4(Mistral Large 4)’를 공개했다. 미스트랄 스튜디오에서 미리보기 API로 바로 사용할 수 있고, 모델 가중치는 이달 말 공개할 예정이다. 오픈웨이트는 학습을 마친 모델의 가중치를 내려받아 직접 실행할 수 있게 공개하는 방식을 말한다.

라지 4는 전문가 혼합(MoE) 구조로, 전체 매개변수 1조 개 중 한 번에 490억 개만 계산에 사용한다. 전문가 혼합은 여러 하위 신경망 중 질문에 맞는 일부만 골라 실행해 연산량을 줄이는 설계다. 텍스트와 이미지를 함께 처리하는 멀티모달 모델이며, 학습 데이터에는 EU 공식 언어 전체를 포함해 160여 개 언어가 포함됐다. 미스트랄은 유럽에 있는 자체 데이터센터에서 엔비디아 그레이스 블랙웰 GPU 3,800개로 처음부터 학습했다고 밝혔고, 미리보기 API 가격은 입력 100만 토큰당 1.36달러, 출력 100만 토큰당 4.18달러다.

라지 4는 실제 오픈소스 소프트웨어의 취약점을 재현하고 패치하는 시험에서 82%를 기록해 전체 모델 중 가장 높은 점수를 받았고, 보안 경진대회 문제 40개로 구성된 사이벤치(Cybench)에서는 93%를 해결했다. 미스트랄은 같은 취약점 재현 시험에서 클로드 오퍼스 5.5와 GPT-6 아스트라가 과제 수행을 거부해 0점에 가까운 점수를 받았다고 설명했다. 코딩 평가인 딥SWE v1.1에서는 61.7%, 터미널 벤치 4.0에서는 28.3%를 기록했다.

미스트랄은 가중치를 공개하기 전까지 사이버 보안 기업과 검증된 파트너, 정부 기관과 함께 실제 환경에서 레드팀 시험을 진행한다. 레드팀 시험은 공격자 입장에서 모델의 약점을 찾는 점검을 말한다. 시험에 참여하는 기관은 조정 수준을 낮추고 사이버 기능을 확장한 버전을 사용한다. 미스트랄은 유해한 사이버 요청에 대한 거부율이 비교 대상 오픈웨이트 모델보다 높았다고 밝혔다.

미스트랄은 라지 4가 지난 9월 마무리한 30억 유로(약 4조 5,000억 원) 규모 시리즈 D 자금으로 추진하는 첫 결과물이라고 밝혔다. 비교 대상으로는 딥시크 V4 프로, 큐원3.8 맥스, 키미 K3, GLM-5.3 등 중국 오픈웨이트 모델을 제시했고, 미국과 유럽에서 개발된 오픈웨이트 모델보다 성능이 크게 앞선다고 주장했다. 공개된 코딩 점수는 아티피셜 애널리시스가 비공개로 사전 평가한 수치이며, 가중치 공개 뒤 진행될 외부 평가 결과는 아직 발표되지 않았다.

자세한 내용은 미스트랄(Mistral)에서 확인할 수 있다.

이미지 출처: 미스트랄