[IT동아 남시현 기자] 지난 몇 년간 AI 개발 환경은 극단적으로 양분되어 있었다. 소비자 시장에서는 엔비디아 RTX 이외의 선택지가 없어 고정밀 추론, 모델 고도화(파인 튜닝) 등의 작업에는 명백한 한계가 있었다. 70B 매개변수 모델만 하더라도 권장 메모리가 INT8 기준 80~90GB로 현존 최고 사양 제품인 RTX 5090 세 장을 병렬로 연결해야 한다. 감당 불가능한 가격은 아니지만 개발 환경에서 사용하기엔 전력 효율이나 유지보수 등이 비효율적이다.

그렇다고 데이터센터 DGX 플랫폼 같은 엔터프라이즈급 AI 인프라를 선택하기도 곤란하다. DGX 플랫폼이 있다면 본격적인 AI 개발이나 연구는 가능하나 도입 단가부터 유지 보수, 전력 수급, 사후 관리를 모두 신경써야 한다. 우리나라를 포함해 거의 모든 전 세계 개발 인력은 하드웨어를 직접 구축하기보다는 AWS, MS 애저 등 클라우드 기업의 가상 인스턴스를 임대에서 활용하며, 이는 선택이 아닌 선택 불가능한 기본 전제라 할 수 있다.

엔비디아 역시 시장의 양극화를 인지하고 이 두 지점의 중간에 배치할만한 제품을 출시했으니, 바로 엔비디아 DGX 스파크다. DGX 스파크는 엔비디아 그레이스 블랙웰 아키텍처 기반의 초소형 슈퍼컴퓨터로 128GB의 메모리를 탑재해 고가의 소비자용 GPU를 병렬로 연결하는 조건을 대신하고, 5세대 텐서 코어와 FP4 데이터 형식을 지원해 서버에서 돌아가는 최신 AI 연산 기술을 그대로 쓸 수 있다. 엔비디아 DGX 스파크의 활용성과 핵심을 가볍게 짚어봤다.

최대 128GB 통합 메모리가 핵심, 엔비디아 DGX 스파크

DGX 스파크는 초소형 슈퍼컴퓨터라는 이름답게 크기는 가로 15cm, 세로 15cm에 높이 5.5cm, 무게는 1.2kg에 불과하다. 소비전력은 최대 240W로 일반 워크스테이션 대비 초저전력 수준이고 1개의 HDMI 2.1a 단자와 4개의 USB C형 단자, 10기가비트 이더넷 단자, 커넥트X-7 QSFP 단자가 있다. 커넥트X-7 단자를 활용하면 두 대의 DGX 스파크를 병렬 연결해 256GB 장치로 쓸 수 있다. 외관은 금속 재질이며 전면은 흡기 구조를 고려해 오픈 셀 금속 발포체를 채택했다. 이 발포체는 스펀지 같은 다공성 구조지만 금속 재질이라 내구성이 높고, 일반 금속 방열판보다 표면적이 더 넓다.

프로세서는 그레이스 블랙웰 아키텍처 기반의 GB10 슈퍼칩을 탑재한다. CPU는 10개의 Arm 코텍스(Cortex)-X925 칩과 10개의 Arm 코텍스-A725 칩으로 총 20 코어 구성이다. 모든 코어가 Arm 9.2 아키텍처를 공유해 최신 보안 및 명령어를 지원하며, 다중 코어를 통해 가상화나 컨테이너 기반의 개발 환경에서도 안정적이다. 세부 사항으로는 SVE2를 지원해 데이터 전처리, 토큰화 속도에 이점이 있고, 메모리 관리 장치 및 주소 체계를 활용한 대규모 메모리 매핑 능력, 다중 작업 시 메모리 대역폭 독점을 막아주는 메모리 시스템 리소스 분할 및 모니터링 기능 등이 지원된다.

GB10의 GPU(그래픽 처리 장치)는 데이터센터용 B200, GB200의 SM100과 다른 SM121 아키텍처를 활용한다. 이 칩은 FP4기준 1000 TOPS(초당 1000조 번 연산)의 성능을 내며 5세대 텐서 코어와 4세대 레이 트레이싱 코어를 갖췄다. 소형 장치인 만큼 고도의 학습 작업을 위한 텐서 연산 가속(TMEM)이나 tcgen05.mma 명령어를 통한 행렬 곱셈(GEMM)은 제외됐다. 이는 DGX 스파크가 대규모 학습보다는 DGX 운영체제를 기반으로 추론, 검증하는 성격의 제품이라서다.

메모리는 256비트 128GB LPDDR5x 통합 메모리를 탑재했다. CPU와 GPU가 메모리를 공유하므로 100GB 이상의 VRAM을 점유하는 100B급 언어모델도 온디바이스 AI에서 실행할 수 있다. 다만 저전력 메모리 특성상 대역폭이 초당 273GB며, 텐서 코어의 처리 속도가 빠르면 메모리로 인한 병목이 생길 여지는 있다. 물론 병목이 생기더라도 128GB 규모의 메모리를 소형 기기에서 다룰 수 있다는 것 자체가 대단히 매력적이다.

데스크 레벨에서 간단한 학습, 추론 활용에 최적화

보편적인 개발 환경은 노트북 혹은 데스크톱으로 코드를 작성하고, 클라우드 인스턴스로 학습 및 추론 연산을 구동한다. 클라우드가 없으면 장치 수준에서 연산을 처리하기는 어려운데, DGX 스파크가 있으면 클라우드 대신에 연산 처리를 맡길 수 있다. LM스튜디오의 LM 싱크 기능을 활용해 노트북과 DGX 스파크를 연결했다. 노트북은 인텔 코어 울트라 X7 358H와 32GB 메모리를 탑재했고, 구동 모델은 오픈AI gpt-oss-120B 모델을 활용했다. 권장 사양은 VRAM 80GB에 시스템 메모리 128GB 이상이다.

우선 스파크에 llmster를 설치한 뒤 LM스튜디오 API 서버를 실행한다. 그다음 같은 네트워크 상에 있는 인텔 노트북에서 LM스튜디오를 실행하고 관련 주소를 LM 링크로 연결한다. 연결이 완료되면 DGX 스파크가 연결 기기로 뜨고, 스파크 내부에 저장된 모델을 로딩할 수 있다. 모델이 로딩되면 LM스튜디오에서 노트북 사양과 관계없이 LLM 모델이 구동된다. DGX 스파크는 120B 내외의 LLM을 직접 개발하는 기업이 클라우드 없이 직접 장치에서 AI를 구동할 때 적절하고, 또 외부에서 노트북의 한계 이상으로 성능을 시연할 때도 도움이 된다.

AI 에이전트 ‘오픈클로’용 로컬 머신으로도 유용하다. 일반적인 LLM은 직접 대화를 주고받으며 ‘어떻게 해?’를 물어야 하지만 오픈클로는 직접 컴퓨터의 작동 권한을 갖고 작업을 수행한다. 접근권한이 광범위하고 수행 시 도구 호출이나 반복적인 가지 비판 등으로 인한 토큰 소비량이 엄청나기 때문에 외부 모델의 API를 끌어다 쓰기보다는 로컬에서 구동하는 게 좋다. 모델 사양이 높을수록 작업 역량이 좋은데 이 조건에 128GB 통합메모리를 갖춘 DGX 스파크가 매우 적합하다.

권장 메모리가 24GB 수준인 glm-4.7 flash를 DGX 스파크에 다운로드한 뒤 오픈클로를 실행했다. 당초 필요한 메모리는 24GB 정도지만 운영체제의 기본 메모리와 몇 가지 에이전트를 불러오며 사용 메모리는 약 30~42GB 선이었다. 별다른 작업을 수행하지 않는다면 DGX 스파크로 30B~70B 모델을 오픈클로로 구동해 보안과 AI 비용 문제를 모두 해소할 수 있다.

생성형 AI 모델을 직접 구축하거나, 비공개로 테스트 중인 스타트업 등에서 보안 환경을 유지하며 모델을 시험하는 경우에도 쓸만하다. GUI 기반으로 생성형 AI를 활용할 수 있도록 돕는 ComfyUI를 실행했다. 일반 사용자 수준에서는 엔비디아 RTX 5090을 탑재해도 VRAM이 32GB 수준이어서 대형 모델을 구동하기가 어렵다.

반면 DGX 스파크는 노드 상에 70B 수준의 대형언어모델과 Flux 등의 생성형 AI 모델을 동시에 로드해도 안정적이고, NVFP4 지원 모델을 활용할 수 있다. 특히나 API를 끌어다 사용하면 비용을 지불해야 하지만 30GB 수준의 Flux.1 모델을 직접 설치해 추가 비용 부담 없이 생성형 AI로 이미지를 만들었다. 3D 모델링, 동영상 처리 등도 로컬에서 가능하므로 초기 투자를 통한 기업의 생산성 및 비용 보전에도 도움이 된다.

특히 RTX 기반 시스템을 활용하면 CPU에서 처리한 작업을 GPU로 이어서 할 때 병목이 발생할 수밖에 없지만, DGX 스파크는 NV링크-C2C로 CPU와 GPU가 통합된 구조여서 지연 시간이 거의 없다. 이때 소비 전력도 200W 내외이니 이미지, 영상 생성형 AI를 구동할 때 이점이 크다.

순수 연산 성능은 RTX 5070 수준이나 통합메모리 가치 커

엔비디아 DGX 스파크는 170W의 소비전력으로 FP4 기준 1000 TOPS 성능을 발휘한다. 일반 사용자용 제품군인 RTX 5080의 경우 FP4 기준 1800 TOPS로 성능은 더 높지만 소비전력이 360W에 발열도 꽤 있다. 결정적으로 VRAM이 16GB여서 상업용 AI 작업보다는 취미 수준이 적정하다. 상위 모델인 RTX 5090 역시 대역폭, 성능 등이 모두 높지만 메모리는 32GB로 개발 환경에는 두 장은 필요하다. 게임이나 3D 작업, 소형 AI라면 RTX를 선택해도 무방하고, 대규모 VRAM이 필요한 작업 환경이라면 DGX 스파크 같은 통합 메모리 제품이 적절하다.

비전인식 속도와 순수 추론 성능을 간단히 짚어봤다. 비전인식은 YOLO26 TensorRT를 배치 및 정밀도 별로 구분할 수 있는 간이 벤치마크 테스트로 시험했다. 성능은 FP16 기준에서 초당 253~285매 정도 처리한다. CCTV 객체 감지, 모니터링 시스템, 구역 탐지 등의 비전인식 AI를 활용하는 환경에 로컬 머신으로 설치하기 적합하다. 실제 개발 환경에서는 결괏값을 단순 참고한 뒤 자체 판단해서 도입을 검토하자.

순수 추론 성능 비교에는 ResNet50 FP16 TensorRT를 활용했다. 배치 1에서 이미 처리량이 초당 1634.71매에 달하고, 배치 8에서는 3731.97매에 달한다. 이때 장당 속도는 0.268밀리세컨드다. 반면 배치 32는 처리량이 속도가 감소하는데 이는 메모리 대역폭 한계나 스케쥴링 등의 문제로 보인다. 따라서 DGX 스파크는 고성능 작업보다는 200B 이상의 LLM 추론이나 70B 수준의 모델 학습을 클라우드가 아닌 온디바이스 AI로 해결하고자 하는 작업 환경, 꾸준히 부하가 걸리는 작업 환경에 적합하다. 비용을 고려하지 않고 가능한 빠르게, 최고 수준의 작업이 필요하다면 클라우드를 선택하는 게 낫다.

자체 개발력과 보안 환경, 가벼운 AI 실험·실습을 위한 장비

DGX 스파크의 매력은 클라우드의 도움 없이 AI를 활용할 수 있다는 점, 또 최근 극단적으로 상승하고 있는 메모리 가격 추세에서 상대적으로 비용효율적으로 메모리를 확보한다는 데 있다. 자체 성능만으로 70~120B급의 LLM을 운용할 수 있고, NVFP4 포맷 활용 시 200B 수준의 추론 작업도 가능하다. 고가의 DGX 시스템과 같은 DGX OS를 활용할 수 있어서 서비스 시연이나 사전 테스트 목적으로도 좋다. 단순 학습, 대규모 사전 학습이라면 클라우드에서 H100, B200 인스턴스를 활용하는 게 맞고, 이미 완성된 모델을 간단히 손보거나 확인하는 작업 등의 용도로 볼 수 있다.

또 출시 이후 꾸준히 업데이트되며 활용도가 보강되는 것도 장점이다. 엔비디아는 GTC 2026에서 DGX 스파크에 오픈소스 스택 ‘네모클로’를 정식 지원하기로 했다. 엔비디아 네모클로는 상시 실행되는 오픈클로 대신 안전하게 단일 명령으로 실행되는 오픈소스 스택이다. 또한 DGX 스파크를 기존 2개에서 최대 4대까지 연결할 수 있도록 클러스터링 할 수 있게 되어 이론상 4000 TOPS의 512GB 통합메모리 시스템으로 쓸 수 있다. 이외 엔비디아 네모트론 등 주요 오픈 모델과 호환되는 등 AI 업계의 차세대 표준이 될 것으로 예상된다.

리뷰에 사용된 DGX 스파크는 업계 표준에 해당하는 ‘파운더스 에디션’이며, 현재는 엔비디아의 파트너사에서 GB10을 탑재한 제품이 판매 중이다. 대표적으로 델 프로 맥스 GB10 ZGX, HP 나노 AI 스테이션, 에이수스 에센트 GX10 등이 있다. DGX 스파크 자체는 표준 장비라는 상징성이 있지만 기업 환경에서 유지보수, 사후지원 등을 고려한다면 파트너사 제품을 선택해도 무방하다. AI 개발 환경에서 클라우드는 필수지만 가끔은 로컬 머신이 있었으면 하는 조건들이 있다. 그럴 때 DGX 스파크가 해답이 되어줄 것이다.

IT동아 남시현 기자 (sh@itdonga.com)