싱킹 머신즈 랩이 현지 시각 7월 30일 두 번째 오픈웨이트 모델 잉클링-스몰을 공개했다. 총 매개변수 2,760억 개에 활성 매개변수 120억 개인 전문가 혼합 트랜스포머로, 총 9,750억 개에 활성 410억 개인 플래그십 잉클링의 약 4분의 1 규모다.

구조는 42층 디코더 전용 트랜스포머다. 토큰마다 전문가 256개 가운데 6개를 라우팅하고 상시 활성 공유 전문가 2개를 함께 쓴다. 이미지는 40×40 패치로, 음성은 dMel 스펙트로그램으로 처리하는 인코더 없는 네이티브 멀티모달 방식이고, 컨텍스트 창은 최대 100만 토큰이다. 학습에는 엔비디아 GB300 NVL72 시스템을 사용했다.

라이선스는 아파치 2.0이다. 상업 이용에 제한을 두지 않는 완전 오픈웨이트로, 허깅페이스에서 원본과 NVFP4 양자화판이 함께 배포됐다. 파인튜닝은 자사 도구 팅커로 지원한다.

싱킹 머신즈가 공개한 표를 보면 휴머니티스 라스트 이그잼 텍스트 부문에서 31.6%로 잉클링의 29.7%를 앞섰고, SWE벤치 베리파이드 80.2%, 터미널벤치 2.1에서 64.7%를 기록했다. 반면 심플QA 베리파이드는 20.6%로 잉클링의 43.9%에 크게 못 미친다. 회사도 추론과 에이전틱 코딩에서는 상위 모델보다 낫지만 지식 범위와 사실성은 잉클링이 낫다고 명시했다.

수치의 출처는 항목마다 다르다. 휴머니티스 라스트 이그잼과 GPQA, GDPval 등은 아티피셜 애널리시스, 오디오MC와 MCP 아틀라스는 스케일 AI, ARC-AGI는 ARC 프라이즈 수치를 인용했다고 원문에 적혀 있다.

학습 방법으로는 잉클링을 교사로 삼은 온폴리시 증류를 먼저 적용한 뒤, 에이전틱 코딩 강화학습을 2주간 추가로 진행했다고 설명했다.

자세한 내용은 싱킹 머신즈 랩에서 확인할 수 있다.

이미지 출처: 싱킹 머신즈 랩