엔비디아(NVIDIA)가 소형 오픈가중치 모델 ‘네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)’을 공개했다. 현지 시각 8월 11일 엔비디아 기술 블로그에 게재된 내용이다. 전체 30B 파라미터 가운데 요청마다 3B만 활성화되는 혼합 전문가(MoE) 구조로, 항상 켜진 AI 에이전트의 실행 계층을 겨냥했다. 가중치와 데이터, 학습 레시피까지 모두 공개됐다.

엔비디아는 이 발표를 두고 대형 모델과 비견될만한 수준의 성능이라고 밝혔다. 지능 벤치마크에서 오픈AI의 gpt-oss-120b와 비슷한 결과를 내면서도 처리 속도는 이 등급에서 가장 빨라 초당 약 670토큰을 기록했다. 에이전트 벤치마크에서는 더 큰 네모트론 3 슈퍼까지 앞서는 성과를 보였다. 지난해 엔비디아 연구진이 100억 파라미터 미만 모델이 대부분의 에이전트 작업을 10분의 1에서 30분의 1 비용으로 처리할 수 있다고 주장한 논문의 상용화 증명에 가깝다.

구조는 맘바-트랜스포머 하이브리드에 멀티토큰 예측(MTP)을 얹은 형태다. 텍스트 전용 추론 모델로 컨텍스트 창은 100만 토큰을 지원한다. BF16과 NVFP4 두 가지 가중치가 제공되며, NVFP4 버전은 4비트 양자화로 단일 DGX 스파크나 H100 GPU에서 구동할 수 있다. 추측 디코딩용 드래프트 모델 D스파크·D플래시도 함께 배포됐다. 다중 GPU를 요구하는 대형 모델과 달리 소형 하드웨어에서도 에이전트를 돌릴 수 있다.

에이전트 하네스와의 결합도 염두에 뒀다. 오픈클로(OpenClaw)와 허메스 에이전트 같은 오픈소스 하네스에서 바로 쓰도록 설계됐고, 엔비디아가 운영하는 오픈소스 보안·관리 스택 네모클로(NemoClaw)도 지원한다. 배포는 빌드닷엔비디아닷컴과 오픈라우터에서 바로 시도할 수 있고, 딥인프라와 파이어웍스, 코어위브, 네비우스, 크루소 등이 서버리스 추론을 제공한다.

네모트론 3.5 라이트닝은 네모트론 3 나노 30B A3B의 후속으로, 네모트론 3.5 계열의 첫 모델이다. 라이선스는 상업적 이용이 가능한 오픈MDW-1.1이다. 엔비디아는 이번 출시가 소형 모델의 효율과 에이전트 실행 성능을 함께 끌어올린 사례라며, 이후 라인업 확대 가능성도 언급했다. 하드웨어를 파는 회사가 오픈가중치 소형 모델을 직접 내놓는 이유도, 에이전트가 늘수록 추론용 GPU 수요가 함께 커진다는 판단에서다.

자세한 내용은 엔비디아에서 확인할 수 있다.

이미지 출처: 엔비디아