다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

차세대 게이밍과 AI 연산을 모두 겨냥한 Razer Blade 16 R9 Zen5 R5080 (SSD 1TB)는 AMD의 최신 라이젠AI 9 365 프로세서와 RTX 5080 GPU가 결합된 고성능 16인치 프리미엄 노트북이다. 정밀한 콘텐츠 제작부터 실시간 AI 워크플로우, AAA급 게이밍까지 가능한 이 모델은 “AI 시대의 궁극의 퍼포먼스 머신”이라는 타이틀에 걸맞은 스펙을 자랑한다. 4,790,000원

디스플레이는 2560x1600 WQXGA 해상도에 240Hz 초고주사율을 지원해 몰입감 있는 게임 플레이는 물론 영상 편집 등 크리에이티브 작업에서도 높은 만족도를 제공한다. 무게는 2.14kg으로 고성능 게이밍 노트북 중에서는 비교적 슬림한 편이며, 고급 알루미늄 섀시 디자인과 레이저 특유의 블랙 감성도 여전하다.

핵심은 AMD의 Zen5 아키텍처 기반 라이젠AI 9 365 프로세서와 50 TOPS의 고성능 NPU다. 이를 통해 윈도우 Copilot은 물론, 로컬 AI 모델 실행, 실시간 음성 인식, 영상 보정, 생성형 AI 도구 실행 등 다방면의 AI 활용이 가능하다. 여기에 NVIDIA RTX 5080 Laptop GPU는 AI 가속에 최적화된 Tensor Core는 물론, 고해상도 게임에서의 압도적인 성능까지 보장한다. GPU는 1334 TOPS의 성능을 낸다. 

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 두 가지 백엔드에서 각각의 연산 정밀도(INT8, FP16, FP32) 기준으로 AI 추론 성능을 비교한 결과, OpenVINO는 모든 테스트 항목에서 ONNX 대비 압도적인 성능 우위를 보였다. 

가장 눈에 띄는 항목은 Quantized(INT8) 테스트였다. OpenVINO는 14,061점을 기록하며 ONNX(7,268점) 대비 약 93.5% 더 높은 성능을 보여주었다. 이는 저전력 AI 연산에서 OpenVINO의 최적화가 얼마나 효과적인지를 입증한다.

Half Precision(FP16) 항목에서도 OpenVINO는 5,279점, ONNX는 1,601점으로 3.3배 이상의 성능 차이를 보였다. FP16 연산은 AI 모델 경량화와 실시간 반응성 확보에 중요한 지표로, 이 역시 OpenVINO의 최적화 이점을 잘 보여준다.

마지막으로 Single Precision(FP32) 테스트에서도 OpenVINO는 5,241점, ONNX는 3,371점으로 약 55.5% 높은 성능 차이를 기록했다. 이는 고정밀 AI 연산 영역에서도 OpenVINO가 안정적인 성능을 유지함을 시사한다.

이처럼 Razer Blade 16 R9 Zen5 R5080은 고성능 GPU 외에도 CPU/NPU 기반 AI 추론에서도 탁월한 결과를 보여주며, 게임뿐 아니라 생성형 AI, 영상 보정, 실시간 인식 등 다양한 AI 기반 생산성 업무에 최적화된 하이엔드 노트북임을 다시금 증명했다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

RTX 5080 Laptop GPU와 AMD Radeon 880M을 DirectML 기반 ONNX Runtime 환경에서 비교한 결과, RTX 5080은 모든 연산 정밀도(FP16, INT8, FP32) 항목에서 AMD GPU 대비 2~4배 이상의 성능 차이를 보이며 압도적인 연산 능력을 입증했다. 특히 생성형 AI나 실시간 고해상도 추론처럼 고성능을 요구하는 분야에서 RTX 5080은 ‘현존 최고 AI GPU’ 수준임을 다시 한번 확인시켜준다.

가장 인상적인 수치는 Half Precision(FP16) 항목에서 확인된다. RTX 5080은 44,264점으로, AMD 880M(12,904점) 대비 3.4배 이상의 성능 차이를 기록했다. FP16 연산은 최근 텍스트 생성, 이미지 변환, AI 필터 처리 등 다양한 생성형 AI 워크로드의 기본 포맷으로 사용되며, 해당 수치는 RTX 5080이 대규모 AI 모델 실행에 최적화되어 있음을 의미한다.

Quantized(INT8) 연산에서도 RTX 5080은 20,136점, AMD 880M은 6,447점을 기록했다. 이는 약 3.1배 차이로, 전력 효율성까지 고려된 INT8 영역에서조차 RTX 5080의 아키텍처 최적화가 돋보인다. Single Precision(FP32)에서는 RTX 5080이 26,576점, AMD 880M은 8,732점으로 약 3배 수준의 성능 격차를 나타냈다. FP32는 고정밀 이미지 처리나 시뮬레이션 기반의 AI 모델에서 중요하게 쓰이는 연산 방식으로, RTX 5080의 전방위적 활용 가능성을 보여준다.

결론적으로, Razer Blade 16의 RTX 5080은 단순한 게이밍 GPU를 넘어, AI 중심의 고부하 작업까지 커버할 수 있는 프리미엄 AI 컴퓨팅 엔진이라 평가할 수 있다. 반면 AMD 880M은 경량 AI 작업이나 AI 보조 기능 중심의 실용적 활용에 초점이 맞춰진 GPU로, AI 성능을 중점적으로 고려하는 사용자에게는 RTX 5080 기반 제품이 더욱 유리한 선택지가 될 것이다.

∴ Conclusion

Geekbench AI 테스트 종합 결과, Razer Blade 16 R9 Zen5 R5080은 고성능 RTX 5080 GPU를 통해 최상급의 생성형 AI 연산 능력을 갖추고 있으며, CPU/NPU 기반 OpenVINO 연산 역시 동급 대비 강력한 수준이다. AI 기반 업무가 일상화되는 환경에서 최고의 노트북 선택지 중 하나임을 증명하는 수치다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark 

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

Win ML

AMD 라이젠AI 9 365는 CPU, GPU, NPU 각 연산 유닛의 정밀도(Float32, Float16, Integer)에 따라 뚜렷한 성능 격차를 보이며, 연산 종류별로 최적의 경로가 다르다는 점을 명확히 보여주었다.

가장 높은 종합 점수를 기록한 것은 GPU Float16 정밀도로, 무려 1,909점을 기록했다. 이는 고속 영상 변환, 생성형 이미지 필터 등 실시간 AI 워크로드에서 GPU가 핵심 연산처리 장치로 작동한다는 것을 보여준다. GPU Float32 역시 1,811점으로 매우 높은 수치를 기록했고, GPU Integer는 481점으로 그 뒤를 이었다. 특히 Float16과 Float32 간 처리 시간 차이는 매우 작지만 성능 점수는 유사하게 나타나, FP16 최적화의 효율성을 강조한다.

CPU의 경우는 Integer 정밀도에서 184점으로 가장 높은 점수를 보였고, Float32는 109점, Float16은 53점으로 측정됐다. CPU는 상대적으로 연산 효율이 낮지만, 범용 작업과 경량 AI 기능에서는 일정 수준 대응이 가능하다.

GPU Float16 > GPU Float32 > CPU Integer > GPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

이처럼 Razer Blade 16은 CPU, GPU 각각에 최적화된 AI 연산 경로를 고르게 제공함으로써, 다양한 실시간 AI 응용처리에서 균형 잡힌 하드웨어 성능을 확보한 고성능 노트북으로 정의할 수 있다. 특히 GPU 기반 FP16 연산이 중심에 있는 사용 환경에서 최고의 성능을 발휘할 수 있다.

AI TensorRT

AITensorRT 벤치마크에서 RTX 5080은 모든 정밀도 환경에서 고르게 우수한 성능을 기록했으며, 특히 Integer 연산에서 독보적인 효율을 보여주며 하드웨어 수준의 양자화 최적화 능력을 입증했다. 가장 높은 점수는 GPU Integer 정밀도에서 기록되었으며, 총점 3,538점을 달성했다. MobileNet V3(0.27ms), ResNet 50(0.29ms), Inception V4(0.83ms), REAL-ESRGAN3(36.17ms) 등 다양한 AI 모델에서 빠른 처리 속도를 보이며, 저전력-고효율 AI 모델 환경에서 탁월한 성능을 확인할 수 있었다.

뒤를 이은 GPU Float16 환경에서는 2,921점을 기록하며 부동소수점 기반 추론에서도 매우 강력한 성능을 증명했다. 특히 Inception V4(1.01ms), YOLO V3(1.74ms), REAL-ESRGAN3(43.59ms) 등의 모델에서 빠른 반응 속도를 제공해, 실시간 객체 탐지나 비전 AI 응용에 최적화된 조건을 갖췄다. 마지막으로 GPU Float32 정밀도에서는 1,341점을 기록했다. 상대적으로 연산량이 많은 고정밀 모델에서도 안정적으로 성능을 유지하며, 특히 DeepLab V3(3.34ms), YOLO V3(5.42ms) 등 고정밀 처리 성능이 요구되는 영역에서 안정적 추론 결과를 제공했다.

결론적으로, AITensorRT를 활용한 RTX 5080의 AI 성능은 양자화 모델과 부동소수점 모델을 모두 아우르는 범용 고성능 솔루션으로 평가된다. 정밀도 대비 효율, 예측 가능성, 실시간 반응성 등 모든 측면에서 생성형 AI, 비전 인식, 초해상도 복원 등 실전 활용에 매우 적합한 AI 플랫폼임을 입증한 결과다.

AI Ryzen

AIRyzen 결과는 WinML 기반 CPU/GPU 테스트와는 벤치마크 엔진이 다르지만, 동일한 AI 모델 구성을 사용하고 있다는 점에서 비교적 일관된 성능 흐름 분석이 가능하다. 특히 NPU가 GPU Integer를 상회하는 성능을 기록한 점은, 향후 윈도우 기반 노트북에서도 NPU 활용도가 점차 확대될 가능성을 시사한다.

Razer Blade 16 R9 Zen5 R5080 (SSD 1TB)에 탑재된 AMD 라이젠AI 9 365 플랫폼은 전용 NPU(Neural Processing Unit)를 활용한 추론 성능 측정에서 우수한 결과를 나타냈다. Ryzen AI 2.19.0 기반의 독립 테스트 도구(AIRyzen 벤치마크)를 통해 측정된 이번 결과는, NPU가 정수 기반 양자화 모델에 최적화되어 있음을 다시 한번 입증했다.

정수 정밀도(Integer) 연산 기준으로 NPU는 총점 1,790점을 기록했으며, 주요 AI 모델 6종(MobileNet V3, ResNet 50, Inception V4, DeepLab V3, YOLO V3, REAL-ESRGAN3)에 대한 추론 시간도 매우 짧게 측정되었다.

이는 대부분의 모델에서 GPU Integer 대비 빠른 속도를 보여주는 수치로, 특히 초저지연성과 전력 효율이 중요한 엣지 환경이나 실시간 이미지 인식, 디바이스 내 AI 가속 기능 등에 강점을 보이는 구조다.

결론적으로, AMD의 라이젠AI 9 365는 단순한 보조 연산 유닛을 넘어서, 실제 AI 연산 환경에서 NPU를 주요 연산 엔진으로 활용할 수 있는 기반을 갖춘 SoC로 자리매김하고 있다.

∴ Conclusion

가장 높은 성능은 AITensorRT 기반의 GPU Integer 연산에서 측정된 3,538점으로, NVIDIA RTX 5080의 텐서 코어가 양자화 추론에서 강력한 효율을 발휘함을 입증했다. 이어서 GPU Float16(2,921점), Float32(1,341점)도 우수한 수치를 기록하며, 생성형 AI나 비전 기반 모델 추론에서도 안정적인 처리 능력을 보였다.

WinML 기반의 AMD GPU/CPU 연산에서는 GPU Float16(1,909점)과 Float32(1,811점)가 상대적으로 높은 성능을 보였으나, Integer 연산에서는 481점으로 다소 낮은 점수를 기록했다. CPU는 Integer(184점), Float32(109점), Float16(53점) 순으로 성능이 측정되었으며, 보조 연산 또는 경량 추론에 적합한 수준으로 평가된다.

특히 주목할 점은 Ryzen AI 전용 NPU에서 측정된 결과다. AIRyzen 벤치마크를 통해 정수 정밀도(Integer) 기반 1,790점을 기록했으며, YOLO V3, MobileNet V3, ResNet 50 등 주요 모델에서 3~5ms 내외의 빠른 추론 시간을 보여주었다. 이는 GPU Integer(481점)를 크게 상회하는 수치로, 엣지 연산, 저전력 실시간 처리, 디바이스 내 AI 기능 실행 등에 최적화된 구조임을 입증했다.

Razer Blade 16은 NVIDIA의 고성능 RTX 5080 GPU와 AMD의 NPU 연산 자원을 동시에 활용할 수 있는 하이브리드 AI 컴퓨팅 플랫폼으로 평가된다. AITensorRT 기반의 생성형 AI와 영상처리 성능, 그리고 Ryzen AI 기반의 경량 저전력 추론 성능이 병존하는 구조는, 실시간 생성, 비전 인식, 스마트 기능 자동화까지 아우를 수 있는 차세대 AI 노트북의 기준점이 되고 있다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

Stable Diffusion 1.5 INT8 모델(TensorRT 기반)은 총점 31,192점을 기록하며 가장 높은 점수를 나타냈다. 한 장당 생성 속도는 1.002초, 이미지 생성 수는 8장으로, 속도와 효율성 면에서 압도적인 성능을 보여준다. 이는 INT8 양자화 모델과 TensorRT 엔진의 궁합이 RTX 5080 GPU에서 얼마나 잘 최적화되어 있는지를 보여주는 대표적인 예다.

반면 Stable Diffusion 1.5 FP16 모델(TensorRT 기반)은 총점 2,778점, 생성 속도 2.25초로 INT8보다는 다소 느리지만, 여전히 실시간 이미지 생성이 가능한 수준이다. 총 16장의 이미지가 처리되었으며, 실용적인 FP16 기반 생성 성능을 확인할 수 있다.

또 다른 FP16 테스트(ONNXRuntime-DirectML 기반)에서는 AMD와 Olive 환경 모두에서 비슷한 결과가 나왔다. 총점은 각각 236점, 246점으로 TensorRT 대비 상당히 낮았으며, 생성 속도는 26.454초, 25.399초로 딥러닝 프레임워크와 드라이버 최적화의 중요성을 다시금 상기시켜준다.

마지막으로 SDXL FP16 모델은 총점 2,331점, 생성 속도는 16.085초로 측정되었다. 고해상도 및 디테일이 많은 대형 모델의 특성상, 일반적인 SD 1.5 모델보다 속도는 느리지만, TensorRT 엔진의 안정적 처리 능력은 여전히 돋보였다.

요약하자면, Razer Blade 16은 TensorRT 기반에서 INT8 양자화 모델에서 최고의 퍼포먼스를, FP16 모델에서도 준수한 결과를 제공하며, 이미지 생성 AI 분야에서도 실전 투입 가능한 고성능 AI 노트북임을 입증했다. ONNXRuntime 기반의 연산은 아직 한계가 있으나, 다양한 엔진을 통한 실험이 가능한 유연한 하드웨어 플랫폼이라는 점도 장점이다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 텍스트 생성 AI 벤치마크 결과, Razer Blade 16 R9 Zen5 R5080 (SSD 1TB)은 주요 경량 및 중형 LLM 모델에서 우수한 추론 성능을 입증했다. 이번 테스트는 첫 토큰 생성 시간, 초당 생성 토큰 수, 총 실행 시간 등을 기준으로 실제 사용 환경에 가까운 시나리오를 바탕으로 측정됐다.

가장 높은 점수를 기록한 모델은 Phi로, 종합 점수 3,569점을 기록했으며, 첫 토큰 생성 시간은 0.302초, 초당 생성 토큰 수는 150.08개, 총 실행 시간은 20.21초로 측정됐다. 반응 속도와 처리 효율 측면 모두에서 균형 잡힌 성능을 보이며, 경량 LLM 기반 활용 시 최적의 선택지로 평가된다.

이어 Mistral 모델은 종합 점수 3,459점, 초당 113.37개의 토큰 생성, 첫 토큰 생성 시간 0.432초, 총 실행 시간 26.89초를 기록하며, 실사용 환경에서도 안정적인 생성 능력을 보여줬다. 고속 추론과 비교적 짧은 초기 응답 시간은 챗봇, 요약, 대화형 시스템 등에서 유용할 것으로 보인다.

Llama3는 종합 점수 3,180점, 초당 생성 토큰 수 99.41개, 첫 토큰 생성 시간 0.399초, 총 실행 시간 30.32초로 나타났다. 대형 모델 대비 효율성이 돋보이며, 복합적 질문 처리나 응답 생성에서 준수한 성능을 확보했다.

마지막으로 Llama2는 종합 점수 3,354점, 첫 토큰 생성 시간 0.66초, 초당 생성 토큰 수 54.90개, 총 실행 시간은 53.72초로 측정됐다. 전반적인 처리 속도는 다소 느린 편이나, 정교한 문장 생성 및 안정성 측면에서는 여전히 경쟁력이 있는 모델로 평가된다.

이번 테스트를 통해 Razer Blade 16은 RTX 5080 GPU 기반의 연산 자원을 활용해, 다양한 텍스트 생성 AI 모델을 실시간에 가깝게 처리할 수 있음을 입증했다. 특히 Phi, Mistral과 같은 고속·고효율 모델에서의 성능은, 향후 로컬 환경에서의 생성형 AI 업무 적용 가능성을 뒷받침하는 핵심 지표로 작용할 전망이다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com