엔비디아가 대규모 자본이 투입되는 AI 팩토리의 투자수익률(ROI)을 높이기 위한 핵심 요소로 생산성, 내구성, 범용성을 제시했다. 단순히 최신 GPU의 연산 성능을 높이는 데 그치지 않고 제한된 전력 안에서 더 많은 토큰을 생산하는 능력과 구축된 하드웨어를 장기간 활용할 수 있는 구조, 여러 종류의 AI 및 가속 컴퓨팅 워크로드를 처리하는 범용성이 함께 확보돼야 한다는 설명이다.

엔비디아에 따르면 AI 팩토리는 메가와트(MW)에서 기가와트(GW) 단위 규모로 확대되고 있으며, 메가와트급 AI 팩토리 하나를 구축하는 데 약 6,000만 달러가 소요된다. 이처럼 초기 투자 규모가 큰 만큼 운영 기업 입장에서는 인프라가 어느 정도의 수익을 얼마나 오랫동안 창출할 수 있는지 예측하는 것이 중요하다.

엔비디아는 AI 팩토리의 수익률을 결정하는 요소를 수익 창출 능력, 유효 수명, 수요 등 세 가지로 구분했다. 수익 창출 능력은 AI 팩토리가 생산 가능한 토큰을 판매했을 때 연간 어느 정도의 매출을 만들어낼 수 있는지를 뜻하며, 유효 수명은 AI 하드웨어가 지속적으로 수익을 창출할 수 있는 기간을 의미한다. 수요는 해당 인프라에서 생산되는 토큰과 컴퓨팅 자원을 실제 시장이 얼마나 필요로 하는지를 나타낸다.

이들 요소는 각각 독립적으로 작용하지 않는다. 처리 성능이 높더라도 생산된 토큰을 충분히 판매하지 못하면 실제 투자수익은 제한되고, 시장 수요가 높아도 시스템이 단기간 내 생산 경쟁력을 잃으면 장기적인 수익 확보가 어렵다. 반대로 다양한 워크로드를 처리할 수 있는 인프라는 보다 넓은 수요에 대응하면서 장기간 가동률을 유지할 가능성이 커진다.

엔비디아는 자사의 AI 팩토리 플랫폼이 이 같은 구조를 고려해 설계됐다고 설명했다. 제한된 전력에서 처리량을 높여 수익 창출 능력을 강화하는 ‘생산성’, 출하된 GPU와 시스템이 여러 해 동안 활용될 수 있도록 하는 ‘내구성’, AI뿐 아니라 다양한 가속 컴퓨팅 워크로드까지 하나의 플랫폼에서 처리하는 ‘범용성’이 핵심이다.

엔비디아는 하드웨어뿐 아니라 모델과 소프트웨어, 컴퓨팅, 네트워킹, 메모리 등을 함께 최적화하는 풀스택 공동 설계를 적용하고 있으며, 지속적인 소프트웨어 최적화를 통해 이미 구축된 하드웨어의 생산성도 유지한다는 전략이다. CUDA-X 라이브러리를 통해 AI 팩토리에서 여러 종류의 가속 컴퓨팅 워크로드를 구동할 수 있도록 하고, 표준 아키텍처에 기반한 레퍼런스 설계도 제공하고 있다.

엔비디아 플랫폼은 높은 생산성, 내구성, 범용성을 바탕으로 AI 팩토리 ROI를 극대화한다.

전력 한계 속 메가와트당 처리량 높인다

AI 팩토리 확장에서 엔비디아가 첫 번째로 강조한 요소는 생산성이다. 데이터센터가 사용할 수 있는 전력 규모에는 한계가 있기 때문에 메가와트당 초당 몇 개의 토큰을 생성할 수 있는지가 AI 인프라의 수익 창출 능력을 판단하는 주요 지표가 된다는 설명이다.

같은 전력으로 더 많은 토큰을 생성할 수 있다면 인프라의 총 생산량을 높일 수 있고, 토큰당 처리 비용을 낮추면 수익성 역시 개선할 수 있다.

엔비디아가 인용한 세미애널리시스 에이전트X(SemiAnalysis AgentX) 데이터에 따르면 엔비디아 베라 루빈(Vera Rubin) NVL72 시스템은 GB300 NVL72와 비교해 메가와트당 처리량이 30배 이상 높다. 딥시크 V4 프로(DeepSeek V4 Pro) 모델을 기준으로는 100만 토큰당 비용을 최대 45분의 1 수준까지 낮출 수 있다고 엔비디아는 설명했다.

엔비디아는 이 같은 차이가 개별 GPU 성능만으로 만들어지는 것은 아니라고 강조했다. 모델과 워크로드부터 소프트웨어, 컴퓨팅, 네트워킹, 메모리까지 전체 시스템을 하나의 단위로 함께 최적화하는 ‘극한의 공동 설계(extreme codesign)’가 성능 향상의 기반이라는 설명이다.

GLM 5.3에서 엔비디아 GB300 NVL72 성능에 대한 세미애널리시스 에이전트X 분석

토큰 처리 비용이 낮아지면 AI 컴퓨팅 수요가 줄어들 것이라는 관측에 대해서는 반대 입장을 내놨다. 엔비디아는 토큰 비용이 하락할수록 기존에는 경제성이 부족했던 AI 활용 사례가 새롭게 등장하면서 전체 토큰 소비량이 오히려 증가할 것으로 보고 있다. 개별 작업의 비용 절감 폭보다 새롭게 창출되는 AI 수요가 더 커질 수 있다는 논리다.

6년 된 A100도 현역…소프트웨어 최적화로 활용 기간 연장

두 번째 요소인 내구성은 AI 하드웨어가 실제 서비스에서 얼마나 오랫동안 경제적 가치를 유지할 수 있는지를 의미한다.

AI 모델과 워크로드의 복잡도가 서로 다른 만큼 모든 작업에 항상 최신 시스템이 필요한 것은 아니다. 최신 GPU가 대규모 모델과 고성능 추론을 담당하는 동안 이전 세대 시스템은 상대적으로 가벼운 추론이나 데이터 처리, 기존 서비스 운영 등 다른 작업을 맡을 수 있다는 것이다.

엔비디아는 대표적인 사례로 2020년 출시된 A100 GPU를 들었다. 출시 후 6년이 지난 현재도 상용 서비스에 사용되고 있으며, 코어위브(CoreWeave)는 2020년 처음 도입한 A100 GPU의 주문 기간을 2029년까지 연장했다.

서버의 회계상 감가상각 기간도 길어지는 흐름을 보이고 있다. 엔비디아가 인용한 스프라우트(Sprout)의 2026년 9월 ‘데이터센터 GPU의 생산적 수명(The Productive Life of a Data Center GPU)’ 분석에 따르면 주요 사업자들은 서버 사용 수명에 대한 회계상 추정 기간을 지속적으로 늘려왔다.

특히 마이크로소프트가 운용한 엔비디아 V100 GPU는 회계상 내용연수인 6년을 넘어 8.4년 동안 운영된 사례가 제시됐다.

모든 주요 사업자가 서버의 사용 수명을 연장했다. (출처: 스프라우트, 데이터센터 GPU의 생산성 수명, 2026년 9월) 데이터는 스프라우트가 기업 공시와 언론 보도를 바탕으로 집계했으며, 회계상 내용연수는 실제 물리적 수명을 보수적으로 추정한 지표다. 마이크로소프트의 엔비디아 V100 GPU는 회계상 내용연수인 6년을 넘어 8.4년간 운영됐다.

중고 시장의 잔존가치 역시 하드웨어의 실제 활용 기간을 가늠하는 자료로 제시됐다. 바커(Barkr)는 중고 시스템 판매 가격을 토대로 GPU 8개가 탑재된 H100 시스템의 유효 수명을 5~6년, GB300 NVL72는 9~10년으로 평가했다.

실리콘 데이터(Silicon Data)에 따르면 출시 후 6년이 지난 A100 GPU도 초기 가격의 약 25% 수준의 가치를 유지하고 있다. 일반적으로 5년의 감가상각 기간을 적용할 경우 장부상 가치가 소진되는 시점과 실제 시장 가치 사이에 차이가 나타나는 셈이다.

오른 데이터(Ornn Data)는 A100 GPU를 5년 계약으로 임대할 경우 시장 가격이 1개월 계약 대비 약 80% 수준이라고 분석했다.

엔비디아는 세대가 바뀌더라도 기존 GPU의 활용도를 유지할 수 있는 배경으로 CUDA 소프트웨어 플랫폼을 꼽았다. CUDA는 여러 GPU 세대에 걸쳐 호환되며, 새로운 GPU 아키텍처가 등장해도 기존 시스템에서 사용하던 소프트웨어와 워크로드를 지속적으로 운용할 수 있도록 설계됐다.

지속적인 소프트웨어와 커널 최적화를 통해 이미 판매된 GPU의 처리 성능을 높이는 것도 내구성 확대 전략의 일부다.

동일한 플랫폼에서 머신러닝과 딥러닝, 생성형 AI, 추론, 에이전틱 AI, 피지컬 AI까지 서로 다른 세대와 성격의 워크로드를 구동할 수 있어 새로운 AI 기술이 등장하더라도 기존 인프라를 다른 작업에 재배치할 수 있다는 설명이다.

AI부터 과학 컴퓨팅까지 하나의 플랫폼으로

세 번째 요소인 범용성은 AI 팩토리가 얼마나 다양한 종류의 수요에 대응할 수 있는지를 나타낸다.

특정 AI 모델이나 단일 작업을 위해 설계된 시스템은 해당 워크로드의 수요가 감소하면 활용도가 함께 떨어질 수 있다. 반면 여러 종류의 작업을 수행할 수 있는 시스템은 시장과 기술 환경이 바뀌더라도 다른 워크로드를 배정해 인프라를 계속 활용할 수 있다.

엔비디아는 자사 AI 팩토리에서 언어와 비전, 생물학, 물리학, 로보틱스 등 다양한 분야의 오픈 모델과 독점 모델을 실행할 수 있다고 설명했다. 데이터 처리와 사전 학습, 사후 학습, 추론까지 AI 개발과 서비스에 필요한 전 과정도 하나의 플랫폼에서 지원한다.

적용 환경 역시 하이퍼스케일 데이터센터와 AI 클라우드뿐 아니라 소버린 AI 프로그램, 기업 데이터센터, 엣지 시스템 등으로 확대된다.

엔비디아 플랫폼은 높은 범용성을 바탕으로 모든 유형의 AI 워크로드를 모든 단계와 환경에서 실행할 수 있다.

GPU 인프라의 활용 범위는 AI 모델 학습과 추론에만 한정되지 않는다. 엔비디아는 동일한 시스템에서 데이터 처리, 과학 컴퓨팅, 시뮬레이션, 그래픽 등 다양한 가속 컴퓨팅 작업을 수행할 수 있다는 점도 강조했다.

이들 워크로드는 대규모 병렬 연산을 활용한다는 공통점을 갖고 있다. 엔비디아 GPU는 수천 개 코어에서 연산을 병렬 처리하도록 설계됐으며, CUDA를 기반으로 그래픽과 물리 시뮬레이션, 단백질 분석, AI 토큰 생성 등 서로 다른 작업을 수행할 수 있다.

엔비디아에 따르면 CUDA-X 생태계에는 1,000개 이상의 사전 구축 라이브러리가 제공된다. 심층 신경망을 비롯해 계산 리소그래피, 양자 회로 시뮬레이션, 벡터 검색, 기후 모델링 등 여러 분야를 지원하며 1,000만 명 이상의 개발자가 CUDA 생태계를 기반으로 개발하고 있다.

엔비디아는 이러한 구조를 기반으로 GPU를 특정 작업에 특화된 ASIC과 구분되는 범용 가속 컴퓨팅 플랫폼으로 정의한다. 프로그래밍이 가능한 GPU 아키텍처에 텐서 코어(Tensor Cores)와 트랜스포머 엔진(Transformer Engine) 등 AI 전용 하드웨어를 결합해 AI 가속 성능과 워크로드 유연성을 함께 확보한다는 설명이다.

제약·금융·콘텐츠·제조 현장으로 활용 확대

엔비디아는 다양한 산업에서 GPU 인프라를 여러 종류의 작업에 동시에 활용하는 사례도 제시했다.

제약사 릴리(Lilly)는 1,016개의 GPU로 구성된 온프레미스 클러스터에서 단백질과 저분자, 유전체학 모델을 구축·운영하고 있으며, 내부 조직을 위한 챗봇과 에이전틱 워크플로우도 같은 환경에서 개발하고 있다.

핀터레스트(Pinterest)는 블랙웰(Blackwell)과 호퍼(Hopper), 이전 세대 GPU를 포함해 총 1만4,000개의 GPU로 구성된 하이퍼스케일 클라우드를 활용해 비전 언어 모델을 사후 학습하고 서비스에 배포하고 있다.

금융 분야에서는 레볼루트(Revolut)가 엔비디아 cuDF를 활용해 수십억 건의 거래 기록을 처리한 뒤 AI 클라우드에서 파운데이션 모델을 학습하고 배포한다.

생성형 영상 기업 런웨이(Runway)는 호퍼 기반 인프라에서 월드 모델을 학습하고, 실제 서비스에는 블랙웰 플랫폼을 활용하고 있다.

텍사스 A&M 대학교(Texas A&M University)는 슈퍼컴퓨터에서 분자 시뮬레이션과 AI 신약 개발을 함께 수행하고 있다. 엔비디아에 따르면 해당 시스템은 26개 프로젝트와 7개 기관에 걸쳐 95~98%의 활용도를 기록하고 있다.

AI 이외의 활용 사례도 있다. 코즘(Cosm)은 엔비디아 기반 분산형 데이터센터를 통해 고해상도 동영상 재생과 스트리밍, 실시간 그래픽, 동기화 디스플레이 등에 컴퓨팅 자원을 공급한다.

다쏘 시스템(Dassault Systèmes)은 위치타 주립대학교(Wichita State)의 항공기 인증과 루시드 모터스(Lucid Motors)의 차량 설계에 활용되는 버추얼 트윈 시뮬레이션을 지원하고 있다. 유니레버(Unilever)는 실제 사진 촬영 대신 디지털 트윈을 이용해 제품 이미지를 제작하고 있으며, 이를 통해 제작 비용을 절반 수준으로 줄였다고 엔비디아는 전했다.

엔비디아가 AI 팩토리에서 강조하는 방향은 단순한 GPU 세대 교체보다 인프라 전체의 장기적인 경제성에 맞춰져 있다. 제한된 전력 안에서 더 많은 토큰을 처리하고, 구축한 GPU를 여러 해 동안 지속적으로 활용하며, AI 모델 학습과 추론에서 과학 컴퓨팅·시뮬레이션·그래픽까지 다양한 작업을 하나의 플랫폼에서 처리하는 구조다.

엔비디아는 생산성과 내구성, 범용성을 함께 높이면 AI 팩토리의 가동률과 활용 기간, 대응 가능한 시장 수요를 확대할 수 있으며, 결과적으로 대규모 AI 인프라 투자에 따른 수익성을 높일 수 있다고 설명했다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지