중국 AI 기업 딥시크가 V4.1 플래시 모델의 가중치를 오픈소스로 공개했다. 총 5,520억 개 파라미터 규모의 혼합 전문가(MoE) 구조이며, MIT 라이선스로 허깅페이스에 올라왔다. 딥시크는 앞서 이 모델을 시험 API로 먼저 공개한 바 있다. 실리콘앵글이 현지 시각 9월 10일 보도했다.
딥시크는 V4.1 플래시가 플래그십 모델인 V4 프로를 능가하는 성능을 낸다고 밝혔다. V4 프로는 총 1조 6,000억 개 파라미터 규모다. 오는 9월 14일부터 V4 프로 라우팅이 V4.1 플래시로 전환된다.
V4.1 플래시는 입력 단계에서 80억 개, 출력 단계에서 160억 개의 파라미터를 활성화한다. MoE 구조는 전체 파라미터 중 일부만 사용해 연산 효율을 높이는 방식이다. 인과적 인코더-디코더 구조를 채택했다. 비전(이미지) 입력도 지원하는 멀티모달 모델이다.
컨텍스트 길이는 100만 토큰을 지원한다. 긴 문서와 대화를 한 번에 처리할 수 있는 규모다. API로는 ‘딥시크-플래시(deepseek-flash)’ 이름으로 제공된다. 개발자들은 로컬 환경에서도 모델을 직접 실행할 수 있다.
엔비디아 개발자 포럼에는 4대의 DGX 스파크(Spark)에서 V4.1 플래시를 구동한 사례가 올라왔다. 초당 약 40개의 토큰을 처리하는 속도를 기록했다. 오픈소스 모델을 소규모 장비에서도 구동할 수 있는 수준이다.
딥시크는 지난 4월 V4 시리즈를 공개한 바 있다. V4 플래시는 2,840억 개 파라미터 규모였다. V4.1 플래시는 이를 대폭 키운 후속 모델이다. 딥시크는 V4.1 플래시를 새 주력 모델로 제시했다.
딥시크는 이번 모델을 MIT 라이선스로 허깅페이스에 공개했다. MIT 라이선스는 상업적 이용과 수정, 재배포를 폭넓게 허용한다. 기업과 연구자들은 라이선스 부담 없이 모델을 활용할 수 있다. MIT 라이선스는 상업적 이용과 수정, 재배포를 폭넓게 허용해 기업과 연구자가 라이선스 부담 없이 모델을 활용할 수 있다.
자세한 내용은 실리콘앵글에서 확인할 수 있다.
이미지 출처: 딥시크
AI Matters 뉴스레터 구독하기
![[AI 트렌드] 감자튀김 여섯 개면 고양이가 된다, 요즘 SNS 점령한 ‘감튀 고양이 샷’](https://img.danawa.com/images/attachFiles/7/58/6057034_1.jpg?fitting=Large|320:240&crop=320:240;*,*)
