[IT동아 남시현 기자] 래블업이 지난 7월 29일, 퓨리오사AI와 협력해 ‘RNGD Meets Backend.AI:주권 AI 시대를 위한 AI 추론 인프라’라는 이름의 기술 백서를 출간했다. 래블업은 AI 인프라 운영 플랫폼 백엔드닷에이아이를 서비스하는 소프트웨어 기업으로 GPU 가상화, 이기종 가속기 통합 관리, 단일 소프트웨어를 다수가 활용하는 멀티테넌트 자원 운영 등 기업용 AI 인프라 관련 소프트웨어 및 기술을 개발한다.. 래블업은 현재 12개 이상의 AI 가속기 기업과 협력해 이기종 컴퓨팅을 지원 중이며 이번 백서는 퓨리오사AI의 2세대 신경망처리장치(NPU) RNGD(레니게이드)의 기술적 특징과 실제 동작 환경에서의 성능을 알리기 위해 출간됐다.

퓨리오사AI는 2017년 설립된 AI 반도체 설계 전문 기업으로 비전(컴퓨터 시각처리) 전용 추론 NPU 워보이와 대형언어모델(LLM) 및 멀티모달 AI 추론을 위한 NPU RNGD를 양산 중이다. RNGD는 지난 2024년 핫 칩스에서 RNGD를 처음 공개한 뒤 올해 초 본격적인 제품 양산을 선언했으며 현재 국내 및 글로벌 시장에 RNGD 확산을 위한 계약을 진행 중이다. 2026년 8월 현재 RNGD는 삼성SDS의 클라우드에서 NPUaaS로 서비스를 시작했으며, 포르투갈 리스본의 에퀴닉스 LS2 데이터센터 배치는 물론 최근 스웨덴에도 15MW급 데이터센터에 제품을 공급하기로 한 상태다.

국산 AI 반도체, 주권 AI 실현을 위한 열쇠

백서는 추론용 AI 반도체 시대의 개막과 시장 상황, 그리고 주권 AI의 중요성으로 시작한다. 오늘날 AI 시장은 AI를 구축하는 학습과 구축된 AI를 서비스하는 추론 시장으로 이원화되었다. 시장의 중심에 있는 엔비디아는 GPU를 통해 학습과 추론을 모두 제공함으로써 시장의 중심이 되었지만 학습 시장이 어느 정도 성숙하며 전력 소모량과 발열 관리, 데이터센터의 상면 등 복합적인 요소까지 검토하기 시작했다. 그러다 보니 AI 추론에 한해서는 가격이 비싸고 전력 소모량이 높은 GPU 대신에 NPU, TPU 등 추론 전용으로 설계된 AI 반도체를 활용하자는 움직임이 생기고 있다. 퓨리오사AI의 NPU가 바로 이 추론용 AI 반도체 수요에 대응한다.

독자적인 AI 기술과 반도체 기술 확보는 주권 AI(소버린 AI) 실현을 위한 핵심 요소가 되고 있다. 시장조사기업 카운터포인트리서치가 발표한 ‘2026년 7월 소버린 AI LLM 연구 보고서’에 따르면 전 세계 170개 이상 국가 중 55개 국가가 자체적으로 AI를 구축했으나 92.4%가 엔비디아의 GPU를 활용하고, AMD가 4.1%, 세레브라스가 1.7%인 것으로 나타났다. 독자적으로 AI를 구축하더라도 전 세계 98.2%의 AI 반도체가 미국산에 의존하고 있다. 남은 1.7%도 퀄컴, Arm, 구글, AWS 등 글로벌 빅테크의 자체 반도체가 차지하고 있지만 그중 일부는 리벨리온, 퓨리오사AI 등 대한민국의 독자 AI 반도체의 지분도 존재한다.

이에 우리 정부는 해외 선도 모델 대비 95%의 성능을 확보하는 독자 AI 파운데이션 모델 사업, 하드웨어 자립과 도입사례 확보를 위한 국산 AI 반도체 기반 컴퓨팅 인프라 사업, 공공 및 제조 AI 전환을 위한 공공 AX 프로젝트 등을 다양한 프로젝트로 국산 AI 모델 및 AI 반도체 구축을 지원 중이며, 실질적인 도입 사례로 이어질 수 있도록 예산과 지원을 아끼지 않고 있다. 래블업의 RNGD 백서는 RNGD 도입을 고려 중인 데이터센터 및 기업, 기관에서 하드웨어의 성능을 변별력 있게 가늠할 수 있도록 직접 시험한 정보를 담고 있다.

퓨리오사AI RNGD, 엔비디아 RTX PRO 6000과 비교해보니

퓨리오사AI RNGD는 LLM 서비스 시 GPU의 높은 가격과 운영 비용, 발열 관리를 해결할 수 있는 대안이다. 사용자는 퓨리오사AI의 컴파일러로 모델을 구축하고, Furiosa-LLM을 통해 최적화된 모델을 RNGD에서 구동할 수 있다. 여기에 래블업의 백엔드닷에이아이를 활용하면 RNGD의 자원 할당과 작업 관리, 사용량 측정, 모델의 서비스 관련 정보 전반을 통합 관리할 수 있다. 특히 추론 측면에서는 Furiosa-LLM, vLLM, SGLang 등 추론 엔진이 제공하는 오픈AI, 앤트로픽의 표준 API 규격을 그대로 지원해 접속 주소만 바꿔서 LLM을 연동할 수 있고, 폐쇄망 환경에서도 서비스를 구축할 수 있다. 아울러 래블업이 개발 중인 추론 엔진 MLxcel에서도 추후 RNGD가 추가될 예정이다.

벤치마크는 4장의 RNGD 카드가 탑재된 NXT RNGD 서버, 그리고 엔비디아의 RTX PRO 6000 블랙웰 서버 에디션 4장이 활용됐다. RNGD는 TSMC 5nm 공정으로 제작됐으며 텐서 축약 프로세서(Tensor Contraction Processor)라는 독자적인 아키텍처가 적용됐다. 메모리는 1.5TB 대역폭의 HBM3 48GB를 장착했고, 칩 내부에 빠른 LLM 서빙을 위해 온칩 SRAM이 256MB 장착됐다. 특히 열설계전력이 180W에 불과해 동작 전력과 냉각 전력을 적게 쓰고, 서버 환경은 물론 일반 온프레미스 조건에서도 안정적으로 쓸 수 있다.

비교군인 엔비디아 RTX PRO 6000은 AI 학습, 추론 및 3D 그래픽, 렌더링을 위한 범용 GPU다. 아키텍처는 4nm 공정 기반의 블랙웰 아키텍처를 사용하며, 레이트레이싱 코어와 4개의 미디어 인코더 및 디코더를 갖춰 AI 기반 비디오 처리, 디지털 트윈, 3D 가상화 용도로 활용된다. 메모리가 RNGD보다 두 배 높은 96GB GDDR7 구성이지만 이는 단순히 용량만 두 배 높은 것이며 실제 작업 효율에서는 HBM3가 절대 우위다.

GDDR7의 버스(데이터 통로)는 칩당 32비트, HBM3는 1024비트로 32배 차이 난다. 대역폭은 GDDR7이 초당 1.6TB, HBM3가 초당 1.5TB지만 RTX PRO 6000의 메모리는 그래픽 셰이더, RT코어 등이 대역폭을 나눠 써서 이론상 최대 대역폭의 70~80% 정도만 쓸 수 있다. 게다가 RTX PRO 6000은 최대 소비전력에서 1.6TB 대역폭이 나오는 반면 RNGD는 150W TDP 수준에서도 1.5TB 대역폭을 유지할 수 있다.

테스트는 큐웬 3-32B FP8 모델이 활용됐으며 초당 토큰 생성 수, 요청 이후 첫 토큰 생성까지의 지연 시간, 첫 토큰 이후 토큰 간 평균 생성 간격 등을 측정했다. 이는 시스템의 전체 처리 능력과 사용자 체감 응답성, 지속적 생성 속도를 확인할 수 있는 수치다. 카드 성능 자체를 확인할 수 있는 동시 요청 수 별 토큰 생성 처리량은 이진수 단위로 1부터 256를 분석했다.

동시요청 1 기준으로는 RGND가 초당 71토큰일 때 RTX PRO 6000이 79토큰으로 90%의 생성량을 보여줬다. 가장 낮은 값은 동시요청 32시 RNGD가 1132토큰, RTX PRO 6000이 1362토큰으로 83%였고, 동시요청 256에서는 각각 2336토큰과 2467토큰으로 95%를 달성했다. 부하가 적은 구간에서는 GPU가 유리하지만 부하가 많을수록 병목이 발생하며 NPU의 효율이 높았다. 전체 성능 면에서는 RTX PRO 6000이 높지만 RNGD로도 95% 수준의 토큰을 생성할 수 있음이 확인된다.

눈여겨봐야 할 부분은 동시요청에 따른 전력 소비량과 전력당 처리량이다. 동시요청 1에서 RNGD는 436W를 소비한 반면 RTX PRO 6000은 746W를 소비해 42%가 차이 났고, 256에서는 각각 692W와 983W로 RNGD가 전력을 30% 덜 소비했다. 이에 따른 동시요청 수별 전력당 처리량은 RNGD가 최소 1.3배에서 최대 1.5배 높았다.

응답 성능을 확인하기 위해 요청 이후 첫 토큰 생성까지의 지연시간도 RNGD가 전역에서 빨랐다. 동시요청 1에서는 RNGD가 0.14초, RTX PRO 6000가 0.17초로 18% 빨랐고 동시요청 32에서도 0.54초 및 1.73초로 69% 빨랐다. 동시요청 256에서는 RNGD가 7.37초, RTX PRO 6000이 9.33초로 21% 차이 났다. 첫 토큰 생성 이후 다음 토큰 생성 사이의 간격은 동시요청 256에서 각각 99.2ms, 99.1ms로 큰 차이는 없었다.

LLM 서빙 환경 한정한다면 GPU보다 RNGD 효율 확실해

백서에서는 ▲ 사내 LLM 어시스턴트나 챗봇 서비스 ▲대량 문서 처리·배치 추론 ▲기존 GPU 클러스터에 추론 계층 추가 용도로 추천한다. 사내에 온프레미스로 AI, 챗봇 등을 구현한다면 이미 학습된 모델을 추론하는 경우일 것이다. 이때 RNGD를 도입하면 도입 비용과 운영비를 모두 낮출 수 있다. 또한 대량으로 문서를 처리하거나 한 번에 수백 개 이상의 작업을 동시 처리해야 하는 경우에도 적절하다. 이미 GPU를 갖춘 조건일 때 추론 환경을 추가할 때도 좋다. 백엔드닷에이아이를 활용하면 기존에 보유한 GPU를 별도 그룹으로 설정하고 추가된 RNGD를 동일 플랫폼 내에서 운영할 수 있다.

비교군인 엔비디아 RTX PRO 6000의 글로벌 가격은 약 1800만 원에서 2000만 원이며, 국내에서는 부가가치세를 포함해 2200만 원 정도에 형성돼 있다. RNGD의 공식 가격은 공개되지 않았으니 약 1000~1200만 원 선으로 알려졌다. 초기 도입 비용을 포함해 24시간 연속 운영 비용, 소프트웨어 생태계 및 소프트웨어 활용 비용 등을 전반적으로 고려하면 전체 비용은 약 두 배 가까이 차이 난다. 물론 RTX PRO 6000으로 구성하면 추론 작업은 물론 AI 학습도 가능하다는 장점이 있지만 단순 추론 작업만 연속 활용하는 조건이라면 RNGD가 이상적이다.

서버 환경에서 RTX PRO 6000이 B200, B300 대비 가격대 성능비가 높은 추론 하드웨어 선택지로 분류된다는 점을 고려하면 B200 대비 20% 수준의 도입 비용과 6분의 1 수준의 서비스 운영비로 활용할 수 있다.

래블업의 RNGD 활용 백서, 우리 정부의 NPU 도입 근거 엿볼 수 있어

우리 정부는 K-클라우드 프로젝트를 통해 2030년까지 민간 및 공공 데이터센터에 국산 AI 반도체 도입을 추진하며, 공공 CCTV 관제 시스템에 활용되는 GPU 중 일부를 NPU로 교체하는 사업도 진행 중이다. 아울러 AI 반도체가 필요한 수요 기업에 AI 바우처로 활용할 수 있게 제공하고, 고성능 컴퓨팅 지원 사업을 통해 국산 NPU 활용도 지원한다. AI 산업 전반에 GPU를 활용하는 게 표준으로 잡았지만 국산 NPU를 활용해 제2의 활로를 만들고 있다.

추론 작업에 한정되긴 하지만 GPU의 대안을 우리가 직접 만들 수 있다는 점은 AI 주권 확보 측면에서 대단히 중요하다. 전 세계 각국에서 소버린 AI를 외치며 AI 모델을 만들고 있지만, 여기에 필요한 AI 반도체의 99%가 미국산인 점이 모두가 우려하고 있는 부분이다. 최소한 우리나라는 이 부분에 한해서는 다른 국가들보다는 목소리를 낼 수 있는 조건이며 이에 대한 근거가 이 백서에 담겨있다.

IT동아 남시현 기자 (sh@itdonga.com)