다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

MSI 벡터 16 HX AI A2XWIG-U9 QHD+ (SSD 1TB) (3,369,220원)은 인텔 코어 울트라 9 275HX 프로세서와 RTX 5080 GPU를 탑재한 하이엔드 게이밍 노트북으로, 강력한 퍼포먼스와 AI 연산 능력을 결합한 ‘AI 게이밍 플래그십’ 포지션을 지향한다. 16인치 QHD+ 패널과 240Hz 고주사율, 500nit 밝기의 디스플레이를 통해 e스포츠급 반응성과 시각 몰입도를 동시에 제공한다.

본체는 2.7kg의 중량으로 데스크탑 대체형 성격을 띠며, 게이밍뿐 아니라 3D 렌더링, 영상 편집 등 고부하 그래픽 작업에도 대응한다. 메모리는 16GB로 제공되며 교체가 가능해, 사용 목적에 따라 최대 용량 확장이 용이하다. 저장장치는 1TB NVMe SSD가 기본 탑재되고, 추가 슬롯 1개를 제공해 듀얼 스토리지 구성도 가능하다.

CPU는 인텔 코어 울트라 9 275HX(최대 5.4GHz)로, 16코어 22스레드 기반의 고성능 아키텍처를 갖췄으며, 내장 NPU는 13 TOPS AI 연산 성능을 지원한다. 그래픽카드는 RTX 5080(최대 TGP 175W)으로, AI 기반 DLSS 3.5·Ray Tracing·CUDA 연산 등 최신 기술을 모두 활용할 수 있다. 이 조합은 AI 크리에이티브 툴, 대규모 모델 추론, 4K 게이밍 환경에서 모두 최상급 퍼포먼스를 제공한다. GPU는 1334 TOPS 의 성능을 낸다.

전원은 USB-PD와 DC 어댑터를 모두 지원하며, 90Wh 배터리를 탑재해 전원 연결 없이도 일정 시간 고성능 작업이 가능하다. 프리도스(FreeDOS) 구성으로 출고되어, 사용자가 원하는 OS를 자유롭게 설치할 수 있다는 점도 특징이다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 환경에서 동일 모델을 세 가지 정밀도(INT8, FP16, FP32)로 테스트한 결과, CPU 기반 AI 연산은 ‘전형적인 고성능 게이밍 노트북’다운 결과를 보였다.

OpenVINO에서는 Quantized(INT8) 구간에서 15,731점을 기록하며, 동일 환경의 ONNX Runtime 대비 약 2.4배 높은 수치를 나타냈다. Half Precision(FP16)과 Single Precision(FP32)에서도 각각 9,110점, 9,080점으로 거의 동일한 성능을 보여, 정밀도 변화에 따른 성능 손실이 최소화된 것이 특징이다.

반면, ONNX Runtime의 경우 Quantized(INT8)에서 6,405점, FP32에서 5,026점, FP16에서는 1,809점으로, 전반적으로 OpenVINO 대비 낮은 점수를 기록했다. 특히 FP16에서 급격히 성능이 하락한 점은 ONNX 환경에서의 CPU 최적화 한계를 보여주는 부분이다.

즉, 이 시스템은 OpenVINO INT8 최적화 환경에서 압도적인 성능 효율을 보이는 구조로, AI 추론·경량 모델 처리·엣지 연산 등의 워크로드에 최적화되어 있다.

◎ DirectML Score 

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

RTX 5080 GPU를 탑재한 하이엔드 게이밍 노트북의 DirectML 환경에서의 정밀도별 AI 연산 성능 테스트 결과 명확한 부동소수점 중심 최적화 구조를 보여줬다.

먼저 Half Precision(FP16)에서 47,460점을 기록하며 세 구간 중 최고 성능을 달성했다. 이는 RTX 5080의 Tensor Core 기반 FP16 처리 효율이 극대화된 결과로, AI 이미지 생성·영상 인코딩·머신러닝 훈련 등 병렬 연산 중심의 워크로드에서 탁월한 퍼포먼스를 발휘함을 의미한다.

Single Precision(FP32)에서는 28,141점으로, FP16 대비 약 59% 수준이지만 여전히 높은 정밀도와 안정적인 결과를 유지했다. 이는 렌더링, 과학 계산, 데이터 시뮬레이션 등 고정밀 작업 환경에서 유용한 지표다.

반면 Quantized(INT8)에서는 21,947점으로 FP16 대비 약 46% 수준을 기록했다. 이는 INT8 최적화가 적용되지 않은 DirectML 환경의 특성 때문이며, 경량 모델보다는 고정밀 연산 중심의 고성능 GPU 구조임을 시사한다.

◎ NPU 

인텔 코어 울트라 9 275HX에 내장된 AI Boost NPU를 기반으로, OpenVINO 환경에서의 AI 연산 성능을 측정한 결과 고효율·고정밀 병행형 구조를 보여줬다.

테스트 결과, Quantized(INT8) 연산에서 15,134점을 기록하며 가장 높은 성능을 보였다. 이는 저전력 기반의 경량 모델 처리에서 NPU가 CPU·GPU 대비 뚜렷한 속도 효율을 제공함을 의미한다. Half Precision(FP16)에서도 9,827점, Single Precision(FP32)에서는 8,597점을 기록해, 정밀도가 높아질수록 처리량은 다소 감소하지만 안정적인 연산 흐름을 유지했다.

이러한 수치는 OpenVINO 최적화가 NPU의 병렬 AI 연산 구조와 높은 호환성을 갖고 있음을 보여준다. 특히 INT8 기반 추론에서의 높은 효율은 영상 인식, 음성 명령, 실시간 객체 감지 등 경량 AI 응용에 최적화된 결과다.

∴ Conclusion

MSI 벡터 16 HX AI A2XWIG-U9 QHD+ (SSD 1TB)의 AI 연산 벤치마크 결과를 종합하면, CPU·GPU·NPU의 세 가지 연산 축이 뚜렷하게 분화된 하이브리드 성능 구조를 보인다.

먼저 CPU(OpenVINO)는 Quantized(INT8) 구간에서 15,731점으로 가장 높은 점수를 기록했다. FP16(9,110점)과 FP32(9,080점) 간 성능 차이는 거의 없으며, 이는 정밀도 손실 없이 안정적인 연산을 유지하는 특징을 보여준다. 반면 CPU(ONNX)는 INT8에서 6,405점, FP16에서 1,809점, FP32에서 5,026점으로 OpenVINO 대비 약 2.5배 낮은 효율을 보였다. 즉, 인텔 기반 플랫폼에서 OpenVINO 최적화는 여전히 CPU 추론 효율의 핵심임을 입증한다.

다음으로 GPU(RTX 5080, DirectML)는 세 구간 중 가장 높은 절대 성능을 기록했다. FP16에서 47,460점으로 최고치를 달성했으며, FP32는 28,141점, INT8은 21,947점으로 나타났다. FP16 연산 비중이 가장 높다는 점은, RTX 5080이 Tensor Core 중심의 AI 병렬 연산에 최적화된 아키텍처임을 보여준다.

마지막으로 NPU(OpenVINO)는 INT8에서 15,134점, FP16에서 9,827점, FP32에서 8,597점을 기록하며 CPU(OpenVINO)와 유사한 효율 곡선을 그렸다. 이는 인텔 AI Boost NPU가 CPU와 동일한 OpenVINO 백엔드를 공유하며, 전력 효율 기반의 AI 추론을 담당한다는 점을 시사한다.

요약하자면, RTX 5080은 AI·그래픽 병렬처리의 절대적 주력, CPU는 정밀 연산과 일반 추론의 안정적 백업, NPU는 저전력·경량 모델 처리의 효율 담당이라는 구조로 역할이 명확히 분리되어 있다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

WinML 기반 AI 벤치마크 결과를 보면, CPU·GPU 각각의 연산 특성이 명확히 구분되며, 연산 정밀도(Float32, Float16, Integer)에 따라 성능 차이가 뚜렷하게 나타난다.

먼저 GPU 환경(RTX 5080)에서 Float16 정밀도가 1,754점으로 가장 높은 성능을 기록했다. 이는 Tensor Core의 FP16 최적화가 극대화된 결과로, 딥러닝·영상 생성·업스케일링 같은 부동소수점 연산 중심 워크로드에서 압도적인 처리량을 보여준다. 이어서 Float32(989점), Integer(492점) 순으로 측정되었으며, 양자화된 모델보다는 고정밀 연산에 최적화된 구조임을 확인할 수 있다.

CPU(OpenVINO 기반)에서는 Float32 183점, Integer 176점, Float16 66점으로 측정되었다. 정밀도 변화에 따른 격차는 크지 않지만, 정수 연산에서의 효율이 우세하여 경량 모델 추론이나 엣지 환경에서 활용 가치가 있다. 다만 GPU 대비 절대적인 처리량은 제한적이다.

 GPU Float16 > GPU Float32 > GPU Integer > CPU  Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

◎ Computer Vision Benchmark - AI OpenVino

OpenVINO 기반 AI 벤치마크 결과, CPU와 NPU 각각의 정밀도별 성능 특성이 명확히 구분되며, AI 연산 효율의 이원화 구조를 보여줬다.

먼저 CPU(OpenVINO)에서는 Integer 정밀도가 504점으로 가장 높은 수치를 기록했다. Float32(240점), Float16(244점)보다 약 2배 이상 빠른 연산 효율을 보이며, 양자화 모델 처리에 최적화된 CPU 경량화 성능을 입증했다. 실제 추론 속도 측정에서도 YOLO V3(18.42ms), ResNet50(2.79ms), Inception V4(7.96ms) 등에서 꾸준히 빠른 응답성을 보였다.

반면 NPU(Intel AI Boost)는 저전력 기반임에도 높은 성능 효율을 달성했다. Integer 정밀도에서 714점, Float16 정밀도에서 383점을 기록하며 CPU 대비 약 1.4~2.0배 향상된 처리 성능을 보였다. 특히 REAL-ESRGAN3(243.27ms) 및 YOLO V3(7.96ms) 테스트에서 딥러닝 업스케일링 및 실시간 객체 인식과 같은 경량 AI 응용에 탁월한 속도를 달성했다.

NPU Integer > CPU Integer > NPU Float16 > CPU Float16 = CPU Float32

▲ AI 연산 성능 순

AI TensorRT

AITensorRT 벤치마크 결과, RTX 5080 GPU의 강력한 병렬 연산 성능을 기반으로, 정밀도별 연산 효율이 뚜렷하게 구분되는 결과를 보였다.

가장 높은 성능은 Integer(정수형, INT8) 환경에서 나타났으며, 총점 4,045점을 기록했다. MobileNet V3(0.16ms), ResNet 50(0.25ms), Inception V4(0.77ms), YOLO V3(1.45ms), REAL-ESRGAN3(24.31ms) 등 모든 테스트 모델에서 최단 추론 시간을 달성했다. 이는 TensorRT가 INT8 양자화 모델을 완벽히 지원하며, 실시간 추론 및 엣지 AI 작업에 최적화된 구조임을 보여준다.

그 뒤를 이은 Float16(FP16) 환경에서는 3,241점을 기록했다. FP16은 대용량 이미지 생성, 객체 감지, 영상 분석 등 고속 부동소수점 연산이 필요한 워크로드에서 탁월한 효율을 보였다. 특히 YOLO V3(1.88ms), DeepLab V3(3.07ms), REAL-ESRGAN3(45.78ms)에서 실시간 추론 수준의 반응 속도를 보이며, 고품질과 속도를 동시에 만족시켰다.

마지막으로 Float32(FP32) 환경에서는 1,502점으로 측정되었다. Inception V4(3.06ms), DeepLab V3(3.72ms), REAL-ESRGAN3(132.96ms) 등의 결과에서 확인되듯, FP32는 절대적인 연산 안정성과 정밀도를 유지하면서도 합리적인 속도를 제공했다.

∴ Conclusion

MSI 벡터 16 HX AI A2XWIG-U9 QHD+ (SSD 1TB)의 AI 가속 성능 종합 결과를 보면, CPU·GPU·NPU의 각 백엔드별 강점이 뚜렷하게 구분되는 구조가 드러난다.

가장 인상적인 결과는 AITensorRT Integer 연산(4,045점)으로, 전체 환경에서 최고 성능을 기록했다. 이어서 GPU Float16(3,241점)과 GPU Float32(1,502점)이 뒤를 이으며, RTX 5080의 병렬 처리 능력이 부동소수점·양자화 연산 모두에서 탁월함을 입증했다. TensorRT의 정밀도 최적화가 AI 생성·추론·비전 워크로드 전반에 걸쳐 높은 효율을 보였다.

OpenVINO 환경에서는 CPU Integer(504점)와 NPU Integer(714점)가 안정적으로 높은 점수를 보였다. 특히 NPU Integer는 CPU 대비 약 1.4배 빠른 처리 효율을 보여, 저전력 AI 추론 및 백그라운드 연산에 적합한 구조임을 확인시켰다. CPU는 Float32(240점), Float16(244점)에서도 균형 잡힌 성능을 유지하며, 경량 모델 처리에 최적화되어 있다.

WinML 환경에서는 GPU Float16(1,754점), Float32(989점), Integer(492점)가 집계되어, 그래픽 연산과 AI 가속을 병행할 수 있는 안정적인 드라이버 호환성을 보여준다. CPU의 경우 Integer(176점), Float32(183점)로 제한적이었지만, OpenVINO 대비 범용성은 높았다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

이미지 생성 AI 벤치마크 결과를 보면, TensorRT 기반 SD 1.5 FP16 환경에서 가장 높은 성능을 기록했다. 총점은 1,438점, 이미지 한 장당 평균 생성 속도는 4.345초로, 16장 생성에서도 안정적인 처리 효율을 유지했다. 이는 FP16 연산을 활용한 Tensor Core 최적화 덕분에, 이미지 생성 모델에 필요한 고속 병렬 연산 구조가 완벽히 작동했음을 보여주는 결과다.

뒤를 이어 ONNX Runtime-DirectML AMD 환경은 총점 1,149점, 5.4367초/장, DirectML Olive는 1,049점, 5.957초/장으로 측정되었다. 두 엔진 모두 GPU 하드웨어 가속을 잘 활용했으며, AMD·NVIDIA 드라이버 최적화 수준에 따라 약 10~15%의 성능 차이가 나타났다.

고해상도 모델인 SDXL FP16(TensorRT)은 총점 714점, 평균 52.484초/장으로 SD 1.5 대비 약 12배 느린 처리 속도를 보였다. 이는 SDXL 모델이 더 큰 파라미터와 연산량을 요구하기 때문이다.

반면 OpenVINO 기반 SD 1.5 INT8은 총점 232점, 134.338초/장으로, 양자화 환경에서도 GPU 대비 현저히 낮은 처리 성능을 보였다. SDXL FP16(OpenVINO)은 총점 12점, 평균 2,898.902초/장으로 사실상 실시간 생성이 불가능한 수준이었다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 Text Generation Benchmark 결과, 경량·중형 언어 모델 처리에서 탁월한 성능을 보였다.

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 1,562점을 기록했다. 첫 토큰 생성 시간은 0.617초로 매우 빠르며, 초당 58.706 토큰(t/s)을 처리해 전체 실행 시간을 50.447초로 단축시켰다. 이는 초기 응답성·처리 효율 모두에서 균형 잡힌 최적화가 이루어졌음을 보여준다.

Mistral 모델은 종합 점수 1,281점으로 Phi보다는 낮지만, 여전히 우수한 성능을 보였다. 첫 토큰 생성 시간은 1.118초, 초당 40.279 토큰, 전체 실행 시간은 74.775초로 측정되었다. Phi에 비해 응답 속도는 다소 느리지만, 중형 LLM 환경에서 안정성과 일관성 면에서 실사용에 적합한 성능을 유지했다.

Llama3 및 Llama2는 테스트 구간에서 데이터가 집계되지 않았지만, 상위 두 모델의 결과만으로도 벡터 16 HX AI가 ONNX Runtime 기반 언어 생성 처리에 매우 최적화된 노트북임을 입증한다.

◎ Text Generation Benchmark - OpenVINO

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 994점을 기록했다. 첫 토큰 생성 시간은 0.62초로 빠른 응답성을 보여주었으며, 초당 23.936 토큰을 처리해 전체 실행 시간을 116.62초에 마무리했다. 이는 OpenVINO 환경에서 경량 언어 모델 처리에 최적화된 아키텍처를 보여주는 결과로, 실시간 대화형 응용에도 충분히 적합한 수준이다.

Mistral 모델은 종합 점수 889점, 첫 토큰 생성 시간 0.796초, 초당 13.82 토큰, 총 실행 시간 200.126초로, 중형 모델임에도 안정적인 성능을 발휘했다. Phi 대비 초기 응답은 약간 느리지만, 지속적 텍스트 생성 속도와 안정성이 균형 잡힌 결과를 보였다.

Llama3 모델은 842점으로 그 뒤를 이었다. 첫 토큰 생성 시간 0.713초로 응답 속도는 준수했으나, 초당 12.451 토큰, 총 실행 시간 220.763초로 전반적인 처리 효율은 Mistral보다 낮았다.

마지막으로 Llama2 모델은 835점으로 가장 낮은 성능을 기록했다. 첫 토큰 생성 시간 1.498초, 초당 7.722 토큰, 총 실행 시간 356.127초로, 대형 모델 구동 시 OpenVINO 최적화의 한계가 명확히 드러났다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com