28일(현지 시간) 중국 기술기업 알리바바가 새로운 AI 모델 패밀리 '큐웬3(Qwen3)'를 공개했다. 플래그십 모델 '큐웬3-235B-A22B'는 코딩, 수학, 일반 능력 등의 벤치마크에서 딥시크-R1(DeepSeek-R1), o1, o3-mini, 그록-3(Grok-3), 제미나이-2.5-Pro(Gemini-2.5-Pro)와 견줄 만한 성능을 보였다.

큐웬 팀은 두 개의 MoE(Mixture of Experts) 모델을 공개했다. 2,350억 총 매개변수와 220억 활성화 매개변수를 가진 '큐웬3-235B-A22B'와 300억 총 매개변수, 30억 활성화 매개변수를 가진 '큐웬3-30B-A3B'가 그것이다. 이와 함께 '큐웬3-32B', '큐웬3-14B', '큐웬3-8B', '큐웬3-4B', '큐웬3-1.7B', '큐웬3-0.6B'를 포함한 6개의 덴스(dense) 모델도 아파치 2.0 라이선스로 공개되었다.

큐웬3는 두 가지 모드를 지원한다. 최종 답변 전 단계별 추론 과정을 거치는 '사고 모드(Thinking Mode)'와 즉각적인 응답을 제공하는 '비사고 모드(Non-Thinking Mode)'다. 이런 유연성으로 사용자는 작업 난이도에 따라 모델의 "사고량"을 조절할 수 있다. 큐웬3 모델은 119개 언어와 방언을 지원한다. 영어, 프랑스어, 중국어, 일본어, 한국어 등 다양한 언어권의 사용자들이 활용할 수 있으며, 이를 통해 글로벌 접근성이 크게 향상되었다.

코딩과 에이전트 기능에 최적화되었으며, MCP(Multi-modal Conversational Protocol) 지원도 강화했다. 이를 통해 모델이 환경과 더 효과적으로 상호작용할 수 있게 되었다. 큐웬3는 이전 모델인 큐웬2.5와 비교해 두 배에 가까운 36조 토큰으로 사전 훈련되었다. 사전 훈련은 세 단계로 진행되었다. 첫째, 기본 언어 능력과 일반 지식을 위해 30조 토큰으로 4K 문맥 길이 훈련을 진행했다. 둘째, STEM, 코딩, 추론 등 지식 집약적 데이터 비중을 늘려 5조 토큰을 추가로 훈련했다. 마지막으로, 문맥 길이를 32K 토큰으로 확장해 더 긴 입력을 효과적으로 처리할 수 있게 했다.

하이브리드 모델 개발을 위한 사후 훈련 파이프라인도 도입했다. 먼저 긴 사고 체인(CoT) 콜드 스타트로 시작해 추론 기반 강화 학습(RL)을 적용했다. 이후 사고 모드 융합을 통해 모델에 빠른 응답 능력을 통합하고, 마지막으로 일반 RL을 적용해 모델의 전반적인 능력을 강화했다.

큐웬3 모델은 허깅페이스(Hugging Face), 모델스코프(ModelScope), 캐글(Kaggle) 등에서 이용 가능하다. 배포를 위한 SGLang과 vLLM 프레임워크가 제공되며, 로컬 사용을 위해 올라마(Ollama), LM스튜디오(LMStudio), MLX, llama.cpp, KTransformers 등이 지원된다. 사용자는 '/think'와 '/no_think' 명령어로 모델의 사고 모드를 동적으로 전환할 수 있어 다양한 상황에 맞게 모델 성능을 최적화할 수 있다.

큐웬 팀은, 이번 모델 출시가 인공 일반 지능(AGI)과 인공 초지능(ASI)을 향한 여정의 중요한 이정표라고 밝혔다. 앞으로는 모델 아키텍처와 훈련 방법론을 개선해 데이터 확장, 모델 크기 증가, 문맥 길이 확장, 모달리티 확대, 강화 학습 발전 등을 추진할 계획이다. 큐웬 팀은 모델 훈련 중심에서 에이전트 훈련 중심으로 패러다임이 전환되고 있다고 보고, 다음 버전에서는 사람들의 일과 삶에 더 의미 있는 발전을 가져올 것을 약속했다.

해당 모델에 대한 자세한 사항은 링크에서 확인할 수 있다.

이미지 출처: 알리바바

기사는 클로드와 챗gpt를 활용해 작성되었습니다.