엔비디아가 오픈 모델과 소프트웨어, 개발자 도구, 하드웨어를 아우르는 로컬 인공지능(AI) 생태계 확장에 나선다. AI 애호가와 개발자가 개인용 PC나 워크스테이션, 엣지 시스템에서 에이전틱 AI를 구축하고 자체 데이터에 맞춰 모델을 조정할 수 있도록 지원 범위를 넓힌다는 전략이다.

엔비디아는 8월 한 달 동안 로컬 AI 발전을 이끄는 파트너와 오픈소스 커뮤니티를 비롯해 생태계 전반에서 등장한 모델, 애플리케이션, 개발 도구를 집중 조명한다. 최신 오픈 모델과 소프트웨어뿐 아니라 로컬 AI 도입에 필요한 가속 컴퓨팅, 라이브러리, 교육 자료도 함께 제공한다.

30B 규모 ‘네모트론 3.5 라이트닝’ 공개

엔비디아는 네모트론 3 모델 제품군을 확장하고, 상시 작동하는 AI 에이전트를 위한 300억 파라미터 규모의 전문가 혼합(MoE) 모델 ‘네모트론 3.5 라이트닝’을 공개했다.

네모트론 3.5 라이트닝은 동급 오픈 모델보다 토큰 생성 속도를 최대 4배 높이고 작업 완료 시간을 30% 단축하도록 설계됐다. 오픈 웨이트 방식으로 제공되기 때문에 개발자는 자체 데이터를 활용해 특정 업무와 전문 분야, 워크플로우에 맞게 모델을 파인튜닝할 수 있다.

이메일과 보고서에 일정한 문체와 용어를 적용하거나 사진, 게임, 3D 디자인 등 특정 분야의 언어와 작업 방식을 학습시키는 방식이다. 코딩 과정에서도 개발자가 선호하는 규칙과 프레임워크, 테스트 방식에 따라 코드를 작성·검토·리팩터링하도록 구성할 수 있다.

파인튜닝한 모델에 애플리케이션과 파일, 외부 도구 접근 기능을 결합하면 개인화된 로컬 에이전틱 AI를 구현할 수 있다. 이메일과 캘린더를 관리하는 비서부터 스마트홈 에이전트, 로컬 코드베이스에서 개발자와 함께 작업하는 코딩 도우미까지 활용 범위가 넓다.

엔비디아는 최적화된 로컬 배포 환경을 마련하기 위해 vLLM, 올라마, 라마.cpp, LM 스튜디오와 협력했다. 개발자는 용도에 따라 NVFP4 또는 GGUF 형식의 모델을 선택할 수 있다. 언슬로스도 최적화·양자화 모델과 언슬로스 스튜디오를 통한 로컬 배포를 지원한다.

네모트론 3.5 라이트닝은 지포스 RTX PC와 DGX 스파크, OEM GB10 시스템, 젯슨에서 로컬로 실행할 수 있다. RTX PRO 워크스테이션, DGX 스테이션, GB300 데스크사이드 시스템을 비롯해 데이터센터와 클라우드 환경으로도 확장할 수 있다.

에이서, 에이수스, 델 테크놀로지스, 익잭트, 기가바이트, HP, 레노버, MSI, 슈퍼마이크로는 엔비디아 블랙웰 기반 시스템을 공급한다. 사용자는 워크로드와 설치 환경에 따라 다양한 기기와 폼팩터를 선택할 수 있다.

작업별 최적 모델 연결하는 ‘네모 스위치야드’

생성형 AI 사용 증가에 따른 토큰 비용을 관리하기 위한 오픈소스 라우팅 라이브러리 ‘네모 스위치야드’도 선보였다. 네모 스위치야드는 정확도와 속도, 비용을 기준으로 에이전트 워크플로우의 각 단계를 적합한 모델과 자동으로 연결한다.

개발자는 하나의 모델이나 공급자에 종속되지 않고 작업 특성에 따라 여러 모델과 제공업체를 조합할 수 있다. 엔비디아 내부 벤치마크에서는 각 단계를 여러 모델에 분산하는 방식으로 프론티어 수준의 작업 완료 성능을 기록했으며, 벤치마크 작업 완료 비용은 오퍼스 4.8의 약 3분의 1 수준으로 낮아졌다. 네모 스위치야드는 깃허브에서 이용할 수 있다.

네모트론 3.5 라이트닝은 오픈라우터와 엔비디아 NIM 마이크로서비스를 통해서도 제공된다. 엔비디아 클라우드 파트너와 사후 훈련 플랫폼, 추론 플랫폼, 클라우드 서비스 제공업체에서도 이용할 수 있다.

DGX 스파크 여러 대를 고속 클러스터로 구성

엔비디아는 대규모 오픈 모델을 로컬에서 실행할 수 있도록 엔비디아 싱크 앱의 클러스터 기능도 강화한다. GLM 5.2와 딥시크 V4 플래시처럼 높은 메모리 용량과 연산 성능이 필요한 모델을 위해 여러 대의 DGX 스파크를 하나의 클러스터로 묶을 수 있도록 한 것이다.

윈도우와 맥OS에서 사용할 수 있는 엔비디아 싱크는 연결된 시스템을 자동으로 감지하고 테일스케일을 통한 비공개 원격 접속을 지원한다. 개발자는 별도의 네트워크 설정이나 터미널 명령어 입력 없이 복수의 DGX 스파크에서 애플리케이션을 실행할 수 있다.

클러스터 어시스턴트는 두 대 이상의 DGX 스파크를 고속 클러스터로 구성하는 과정을 자동화한다. 개발자가 커넥트X-7 포트로 시스템을 연결하면 엔비디아 싱크가 네트워크 구성과 노드 간 워크로드 분배, 시스템 상태 모니터링을 수행한다.

8월 말에는 구글 크롬의 네이티브 ARM64 리눅스 빌드도 DGX 스파크에 추가될 예정이다. DGX 대시보드에서 한 번에 설치할 수 있으며, 구글 계정 동기화와 확장 프로그램, 기기 간 연속성 기능을 지원한다.

엔비디아 싱크 리소스 모니터도 제공된다. 개별 DGX 스파크 또는 전체 클러스터의 CPU·GPU 사용량을 실시간 및 과거 데이터로 확인하는 기능이다. 별도 모니터링 프로그램 없이 워크로드 진행 상황과 가용 용량을 확인하고 병목 현상이나 비정상 동작을 파악할 수 있다. 마퀴 줌 기능을 사용하면 특정 워크로드가 실행된 시점까지 확인 범위를 좁힐 수 있다.

RTX 5090서 초당 200토큰 이상 구현하는 ‘뮤즈 글리머’

엔비디아는 메타가 공개한 오픈 웨이트 모델 ‘뮤즈 글리머’의 로컬 구동도 지원한다. 뮤즈 글리머는 300억 개 파라미터와 12만 토큰 이상의 컨텍스트 윈도우를 갖춘 밀집형 모델로, 코딩과 로컬 에이전틱 AI에 특화됐다.

지포스 RTX PC와 DGX 스파크, DGX 스테이션, 젯슨에 최적화됐으며 RTX 5090에서 초당 200토큰 이상의 성능을 제공한다. 단일 시스템에서 데이터를 처리하면서 복잡한 다단계 작업을 수행하는 상시 구동 에이전트에 활용할 수 있다.

밀집형 아키텍처와 하이브리드 어텐션을 적용해 장시간 작업과 도구 사용, 다단계 컨텍스트 유지 과정에 필요한 처리·메모리 자원을 관리한다. 단일 소비자용 GPU에서도 실행할 수 있으며 로컬 에이전트, 함수 호출, 로컬 코딩, AI 응답 품질 자동 평가 등을 지원한다.

개발자는 네모클로로 에이전트를 구축하고 네모 오토모델을 활용해 뮤즈 글리머를 로컬에서 파인튜닝할 수 있다. 개인 파일과 문서, 이메일, 메시지 등 특화 데이터를 외부로 전송하지 않고 처리할 수 있으며, API 키와 인증 토큰 같은 민감한 정보를 사용하는 작업도 기기 내부에서 수행할 수 있다.

텍스트 생성과 이미지, 추론, 도구 사용을 지원하는 vLLM을 비롯해 BF16 및 양자화 GGUF 체크포인트도 활용할 수 있다. 라마.cpp는 생성 속도를 높이기 위한 D플래시 예측 디코딩을 지원한다.

영상 생성 모델 ‘LTX-2.5’도 RTX에 최적화

엔비디아는 LTX 연구팀이 개발한 오픈 월드 비디오 생성 모델 ‘LTX-2.5’의 RTX 최적화도 지원한다. LTX-2.5는 미디어와 엔터테인먼트, 로보틱스, 실시간 생성 환경을 겨냥해 영상 품질과 프롬프트 반영 성능을 높이고 캐릭터, 장면, 음성의 일관성을 강화한 모델이다.

멀티샷 기능을 이용하면 여러 장면 전환으로 구성된 영상을 생성하면서 장면 간 연속성을 유지할 수 있다. 업그레이드된 디퓨전 비디오 디코더는 시각적 충실도를 높이고 아티팩트를 줄인다. 생성형 편집 기능으로 기존 콘텐츠의 세부 요소만 수정할 수 있어 전체 영상을 처음부터 다시 만들 필요도 줄였다.

프롬프트 향상 기능에는 젬마4 E2B와 맞춤형 젬마4 12B 텍스트 인코더가 적용됐다. 새로운 디퓨전 비디오 디코더는 기존 변분 오토인코더 비디오 디코더를 보완하는 별도 디코딩 경로를 제공한다.

LTX-2.5는 RTX GPU와 DGX 스파크, DGX 스테이션에 최적화됐다. 엔비디아에 따르면 RTX PRO 6000 GPU에서 최대 20% 빠른 성능과 40%의 메모리 절감 효과를 제공한다. 크리에이터는 컴피UI 워크플로우와 NVFP4, 패스트비디오 최적화를 활용해 텍스트·이미지·비디오 간 생성 작업을 로컬에서 수행할 수 있다.

로보틱스·코딩·멀티모달까지 오픈 모델 확대

로컬 AI 생태계에 합류하는 오픈 모델의 범위도 확대되고 있다. 엔비디아가 공개한 ‘코스모스 3 엣지’는 로보틱스와 자율주행차, 비전 AI를 위한 40억 파라미터 규모의 오픈 월드 모델이다. 코스모스 3 나노의 4분의 1 크기로 DGX 스파크와 젯슨에서 실행할 수 있다.

‘미니맥스-H3’는 텍스트와 이미지, 비디오, 오디오 입력을 조합해 영상과 동기화된 스테레오 오디오를 생성하는 330억 파라미터 규모의 오픈 웨이트 모델이다. 컴피UI와 엔비디아 GPU 최적화 체크포인트를 이용해 로컬에서 실행할 수 있다.

풀사이드 AI의 ‘라구나 S 2.1’은 1,180억 파라미터 규모의 에이전틱 코딩 모델이다. 수 시간 동안 이어지는 작업을 처리할 수 있으며, NVFP4 체크포인트를 사용하면 정확도를 유지하면서 컴퓨팅 및 메모리 요구량을 낮춰 단일 DGX 스파크에서 실행할 수 있다.

딥시크 V4 플래시는 2,840억 파라미터 규모의 전문가 혼합 모델로, 130억 개의 활성 파라미터와 100만 토큰 컨텍스트 윈도우를 지원한다. 커뮤니티가 개발한 GGUF 버전을 이용하면 DGX 스테이션에서 로컬로 구동할 수 있다.

싱킹 머신스 랩의 ‘잉클링-스몰’은 텍스트와 이미지, 오디오를 대상으로 네이티브 추론을 수행하고 사고 수준을 조절할 수 있는 멀티모달 모델이다. 전체 규모는 2,760억 파라미터지만 토큰당 120억 파라미터만 활성화된다. 단일 DGX 스테이션 또는 두 대의 DGX 스파크에서 실행할 수 있으며, 블랙웰에 최적화된 NVFP4 체크포인트가 제공된다.

언슬로스는 모델 추론과 이미지·비디오 디퓨전, 파인튜닝, 에이전트 통합, 웹 연구, 코드 실행 기능을 하나로 묶은 오픈소스 애플리케이션 ‘언슬로스 데스크톱’을 출시할 예정이다.

알리바바의 140억 파라미터 모델 ‘완-애니메이트-2’는 동영상 속 동작과 표정을 정적인 캐릭터 이미지에 적용한다. 사람과 만화 캐릭터, 로봇, 동물 등에 활용할 수 있으며 컴피UI에서 지원된다. 엔비디아에 따르면 생성 속도는 애플 M3 울트라와 비교해 RTX PRO 5000 블랙웰 48GB에서 최대 16배, RTX 5090에서 최대 26배 빠르다.

엔비디아는 이들 오픈 모델과 개발 도구를 RTX PC부터 DGX 시스템, 젯슨, 데이터센터와 클라우드까지 연결해 로컬 AI의 개발·파인튜닝·배포 환경을 확대할 계획이다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지