다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED (SSD 1TB) (2,799,000원)는 인텔 코어 울트라 9 285H 프로세서와 RTX 4050 GPU를 탑재한 16인치 크리에이터·게이밍 겸용 노트북으로, 1.6kg의 경량 무게와 99.9Wh 초대형 배터리를 동시에 갖춘 것이 특징이다. ‘휴대성과 퍼포먼스, 두 마리 토끼를 잡은 프리미엄 모바일 워크스테이션’이라는 메시지를 던진다.

디스플레이는 3840x2400 UHD+ 해상도의 OLED 패널을 적용해, 400nit 밝기와 생생한 명암비로 영상 편집과 그래픽 작업 환경에 최적화됐다. 32GB 온보드 메모리는 교체가 불가능하지만, 넉넉한 용량으로 AI 연산·그래픽 편집·멀티태스킹까지 안정적인 처리 성능을 보장한다. 저장장치는 1TB NVMe SSD가 기본 제공되어 대용량 데이터 작업에도 여유롭다.

핵심은 인텔 울트라 9 285H CPU(최대 5.4GHz)와 RTX 4050 GPU 조합이다. NPU 13TOPS, GPU 194TOPS의 성능으로 AI 기반 영상·이미지 생성, 추론 연산에 강점을 보이며, GPU는 크리에이터용 애플리케이션과 고사양 게임에서 충분한 성능을 제공한다. 전원은 USB-PD 규격을 지원해 호환성과 휴대성이 뛰어나며, 99.9Wh 대용량 배터리는 장시간 외부 작업에서도 안정적인 운영을 가능케 한다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 환경에서 동일 모델을 다양한 정밀도(INT8, FP16, FP32)로 테스트한 결과, MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED의 CPU 기반 AI 연산은 다소 특이한 양상을 보였다.

우선 OpenVINO에서는 모든 정밀도 구간(INT8, FP16, FP32)에서 점수가 집계되지 않아, 최적화가 적용되지 않은 것으로 추정된다. 반면 ONNX Runtime에서는 세부 수치가 확인되었는데, Quantized(INT8)에서 8,558점을 기록하며 가장 높은 결과를 보였다. 이는 경량화된 모델 처리에 적합함을 보여주는 수치다.

Half Precision(FP16)에서는 1,978점, Single Precision(FP32)에서는 5,390점을 기록했다. FP16 대비 FP32 성능이 약 2.7배 높게 나타난 것은, 해당 CPU가 부동소수점 연산보다는 정밀도가 낮은 연산에 최적화되어 있음을 시사한다.

◎ DirectML Score 

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED는 RTX 4050 GPU와 인텔 Arc 140T GPU를 병행 탑재한 하이브리드 구조로, ONNX + DirectML 환경에서의 성능 측정 결과 GPU 연산에서 확실한 성능 편차를 드러냈다.

먼저 RTX 4050은 Half Precision(FP16)에서 21,968점을 기록해, 이미지 생성·영상 인코딩·음성 합성 같은 FP16 워크로드에 강력한 병렬 처리 성능을 입증했다. Quantized(INT8) 연산에서도 10,271점을 보여, 경량화된 모델을 통한 엣지 추론 환경에서 빠른 응답성과 전력 효율을 동시에 확보할 수 있다. Single Precision(FP32) 성능은 12,637점으로, 고정밀 연산이 필요한 데이터 분석·시뮬레이션·그래픽 편집에서도 안정적인 결과를 제공한다.

반면 인텔 Arc 140T는 내장형 GPU답게 상대적으로 낮은 점수를 기록했지만, 여전히 유의미한 성능을 보였다. FP16에서 7,899점, FP32에서 7,162점, INT8에서 4,951점을 기록하며, 저전력 기반의 서브 연산이나 보조적인 AI 워크로드에서는 충분히 활용 가능하다. 특히 Arc 140T는 CPU와 NPU 간의 협력 구조에서 경량 모델 처리 효율을 높이는 데 기여할 수 있다.

종합하면, RTX 4050은 고성능 외장 GPU로서 메인 AI/그래픽 연산을 담당하고, Arc 140T는 보조적·효율적 연산을 지원하는 이중 구조가 특징이다. 이를 통해 크리에이터·게이머·AI 워크로드 사용자 모두에게 폭넓은 선택지를 제공한다.

∴ Conclusion

MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED의 AI 벤치마크 결과를 종합하면, CPU·iGPU·외장 GPU의 역할 분담이 뚜렷하게 나타난다.

CPU 기반 추론에서는 Quantized(INT8)에서 8,558점을 기록해 가장 높은 수치를 보였다. 반면 FP16은 1,978점, FP32는 5,390점으로, 고정밀 연산보다 경량화된 연산에서 상대적으로 강점을 드러냈다. 이는 실시간 추론이나 모델 경량화가 중요한 환경에서 CPU 효율이 잘 발휘됨을 보여준다.

내장 GPU인 Arc 140T는 FP16에서 7,899점, FP32에서 7,162점, INT8에서 4,951점을 기록했다. 절대 성능은 외장 GPU 대비 낮지만, CPU보다 균형 잡힌 연산 성능을 제공해 보조 연산자 역할에 적합하다. 특히 FP16 성능이 CPU 대비 4배 가까이 높아, 저전력 기반의 그래픽/AI 연산에 효과적이다.

메인 GPU인 RTX 4050은 성능 격차가 압도적이다. FP16에서 21,968점으로 Arc 140T의 약 3배를 기록했으며, FP32에서도 12,637점, INT8에서 10,271점으로 모두 가장 높은 수치를 보여줬다. 특히 FP16 성능은 대규모 이미지 생성·영상 변환·합성 워크로드에서 확실한 경쟁력을 입증한다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

WinML 기반 AI 벤치마크 결과를 보면, CPU·GPU 간 성능 편차가 극명하게 나타난다. GPU는 Float16 연산에서 864점으로 가장 높은 성능을 보였다. 뒤이어 Float32가 429점, Integer가 204점으로 기록되었다. 특히 Float16 환경에서는 MobileNet V3(0.59ms), ResNet50(1.3ms), YOLO V3(5.84ms) 등 주요 비전 모델에서 매우 빠른 응답 속도를 보여, 이미지 생성·인식·딥러닝 기반 추론 워크로드에 최적화된 모습을 입증했다.

CPU는 Integer 정밀도에서 107점으로 가장 높았으며, Float32가 81점, Float16이 35점으로 뒤를 이었다. MobileNet V3에서는 1ms대의 처리 속도를 보였지만, Inception V4(82.3~94.6ms), YOLO V3(64.9~199ms) 등 고난도 모델에서는 GPU 대비 현저히 느린 속도를 기록했다. CPU는 경량 모델이나 저부하 환경에서는 충분히 활용 가능하나, 대규모 연산에서는 한계가 분명했다.

NPU의 정량 점수는 제시되지 않았으나, Integer 연산 기반에서 YOLO V3(59.34ms), DeepLab V3(90.52ms), REAL-ESRGAN3(635.04ms) 등 일부 비전 모델을 처리할 수 있는 수준으로 확인됐다. 이는 CPU 대비 일부 효율성을 제공하나, GPU에 비해 절대 성능 격차는 크다.

GPU Float16 > GPU Float32 > GPU Integer > CPU Integer > CPU Float32 > CPU Float16 > NPU Integer

▲ AI 연산 성능 순

◎ Computer Vision Benchmark - AI OpenVino

OpenVINO 기반 AI 벤치마크 결과, CPU, GPU, NPU 각각에서 정밀도별로 뚜렷한 성능 특성을 보였다. CPU에서는 Integer 정밀도에서 363점으로 가장 높은 수치를 기록했다. Float32(127점)와 Float16(126점)은 비슷한 수준으로, 부동소수점 연산보다는 정수 연산 최적화에서 강점을 드러냈다. 실제 모델 테스트에서도 YOLO V3(26.08ms), DeepLab V3(10.74ms) 등에서 Integer 연산이 상대적으로 빠른 응답 시간을 보여 경량 AI 모델이나 추론 중심 워크로드에서 활용도가 높다.

GPU는 Integer 정밀도에서 1,278점으로 압도적인 성능을 보여줬으며, Float16(757점), Float32(320점) 순으로 뒤를 이었다. 특히 ESRGAN3(138.91ms), YOLO V3(4.44ms) 테스트에서 GPU Integer는 매우 효율적인 처리 속도를 기록하며, 대규모 이미지 업스케일링과 고난도 비전 연산에 최적화된 모습을 보여줬다. GPU Float16도 757점으로 안정적인 성능을 보이며 Inception V4, DeepLab V3 같은 복잡한 모델에서 확실한 성능 향상을 제공했다.

NPU는 Integer(707점), Float16(381점)으로 측정됐다. CPU 대비 확연히 높은 점수를 보여주며, 보조 연산 장치로서 의미 있는 역할을 수행한다. YOLO V3(8.04~16.33ms), DeepLab V3(17.19~32.29ms)에서도 준수한 속도를 기록해, 저전력 환경에서 효율적인 AI 추론 가속기 역할을 입증했다.

GPU Integer > GPU Float16 > NPU Integer > GPU Float32 > NPU Float16 > CPU Integer > CPU Float32=CPU Float16

▲ AI 연산 성능 순

AI TensorRT

AI TensorRT 벤치마크에서 MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED는 GPU 정밀도별로 일관된 성능 향상을 보이며, 특히 Integer 연산에서 최상의 효율을 기록했다.

MobileNet V3(0.26ms), ResNet 50(0.52ms), Inception V4(1.23ms), YOLO V3(3.35ms), REAL-ESRGAN3(66.14ms) 등 모든 테스트에서 빠른 처리 속도를 확보하며, 양자화 모델 기반 저전력·고효율 AI 워크로드에 최적화된 결과를 보여줬다. ResNet 50(0.74ms), Inception V4(1.57ms), YOLO V3(4.08ms) 등 다양한 모델에서 안정적인 응답 속도를 보여, 영상 인식·객체 탐지·비전 AI 작업에 적합함을 입증했다. DeepLab V3(8.4ms), YOLO V3(10.82ms), REAL-ESRGAN3(375.09ms) 등 복잡한 모델 테스트에서도 꾸준한 성능을 유지하며, 고정밀 생성형 AI·이미지 업스케일링에서 의미 있는 결과를 제공했다.

∴ Conclusion

가장 눈에 띄는 것은 AITensorRT 기반 Integer 연산(2,088점)으로, 전체 구간에서 최고 성능을 기록했다. 이어서 GPU Float16이 1,539점, Float32가 701점을 기록하며, 고정밀 연산부터 경량화 모델까지 폭넓게 대응 가능한 구조임을 입증했다.

OpenVINO 환경에서는 GPU Integer가 1,278점, Float16이 757점으로 강세를 보였고, WinML에서도 GPU Float16(864점)과 Float32(429점)이 안정적인 수치를 보였다. 즉, GPU는 백엔드 종류와 관계없이 꾸준히 상위권 성능을 보여, 이 시스템의 핵심 가속기임을 확인할 수 있다.

CPU는 OpenVINO Integer에서 363점으로 가장 높은 수치를 기록했다. Float32(127점), Float16(126점)과 비교하면, 정수 연산에서 최적화된 성능이 드러난다. 반면 WinML 환경에서는 CPU Integer가 107점, Float32가 81점, Float16은 35점으로 전체적으로 제한적인 성능을 보였다. 이는 CPU가 경량 모델 처리나 보조 연산 역할에 적합함을 보여준다.

NPU는 OpenVINO Integer에서 707점, Float16에서 381점을 기록했다. GPU 대비 절대 성능은 낮지만, CPU보다는 높은 점수를 확보해 저전력·보조 AI 연산 가속기로서 의미 있는 역할을 수행할 수 있다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

SD 1.5 FP16 모델에서 TensorRT 엔진이 가장 높은 성능을 보였다. 총점은 1,438점, 이미지 한 장 생성 속도는 평균 4.345초로, 16장 이미지를 안정적으로 처리했다. 이는 FP16 부동소수점 연산 최적화가 잘 이루어진 환경에서의 대표적인 성능 지표라 할 수 있다.

뒤이어 ONNX Runtime-DirectML AMD 환경에서는 총점 1,149점, 평균 5.4367초의 생성 속도를 기록했으며, DirectML Olive 환경은 총점 1,049점, 평균 5.957초로 측정됐다. 두 환경 모두 16장 이미지 생성에서 안정적인 결과를 보여, GPU 드라이버 및 런타임 최적화 정도에 따라 차이가 있음을 확인할 수 있었다.

반면, SDXL FP16 모델은 TensorRT에서도 총점 714점, 평균 52.484초로 SD 1.5 대비 처리 속도가 크게 느려졌다. 특히 OpenVINO 기반 SD 1.5 INT8 모델은 총점 232점, 평균 134.338초로 다소 제한적인 성능을 보였으며, SDXL FP16(OpenVINO)은 총점 12점, 평균 2,898.902초로 사실상 실사용이 어려운 수준이었다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 Text Generation Benchmark 결과, MSI 프레스티지 프로 16 AI B2HVEG-U9 UHD+ OLED는 경량·중형 언어 모델에서 강력한 성능을 발휘했다.

가장 높은 성능을 기록한 것은 Phi 모델로, 종합 점수 1,562점을 기록했다. 첫 토큰 생성 시간이 0.617초로 빠른 초기 응답성을 보였으며, 초당 58.706 토큰을 처리해 전체 실행 시간을 50.447초로 단축시켰다. 이는 경량화된 모델 최적화 환경에서 매우 효율적인 성능을 제공함을 보여준다. Mistral 모델은 종합 점수 1,281점으로 Phi보다는 낮지만 여전히 준수한 결과를 기록했다. 첫 토큰 생성 시간은 1.118초, 초당 40.279 토큰을 생성하며 전체 실행 시간은 74.775초로 확인됐다. Phi 대비 초기 응답성과 처리 속도는 다소 떨어지지만, 중형 LLM 환경에서는 안정적인 성능을 유지하는 수준이다.

◎ Text Generation Benchmark - OpenVINO

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 994점을 기록했다. 첫 토큰 생성 시간은 0.62초로 빠른 응답을 보였으며, 초당 23.936 토큰을 처리해 전체 실행 시간을 116.62초에 마무리했다. 이는 경량 모델 최적화에 특화된 성능으로, 실시간 응답성이 요구되는 환경에서도 충분히 활용 가능하다.

Mistral 모델은 종합 점수 889점을 기록했다. 첫 토큰 생성 시간은 0.796초, 초당 13.82 토큰 처리 속도로, 전체 실행 시간은 200.126초였다. Phi보다는 느리지만 여전히 중형 모델군에서 안정적 성능을 제공하는 결과다. Llama3 모델은 종합 점수 842점으로 Mistral보다 소폭 낮았다. 첫 토큰 생성 시간은 0.713초로 준수했지만, 초당 12.451 토큰 처리 속도와 220.763초의 총 실행 시간으로, 상대적으로 효율성이 떨어졌다. 마지막으로 Llama2 모델은 종합 점수 835점으로 가장 낮았다. 첫 토큰 생성 시간은 1.498초로 가장 느렸고, 초당 7.722 토큰 처리 속도에 총 실행 시간은 356.127초로, 대형 모델 환경에서 OpenVINO 최적화의 한계가 드러났다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com