다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

AI 연산과 고사양 게임 모두를 정복할 수 있는 MSI의 최상위 플래그십 모델, MSI 레이더 A18 HX A9WJG-R9는 AMD 라이젠9 9955HX3D와 RTX 5090이라는 막강한 조합을 바탕으로 진정한 ‘헤비유저용 노트북’의 면모를 유감없이 드러낸다. 7,199,280원

45.72cm(18인치) 크기의 WQUXGA 해상도(3840x2400) 디스플레이는 Mini LED 기반에 1000nit 밝기와 120Hz 주사율을 지원한다. 탁월한 밝기와 명암 표현, 그리고 UHD+의 넓은 화면은 영상 편집, 색보정, 게임 플레이 등 모든 상황에서 디테일을 놓치지 않는다. 창작자와 게이머 모두를 위한 완벽한 비주얼 환경이다.

Zen5 아키텍처 기반의 AMD Ryzen 9 9955HX3D는 최대 5.4GHz 부스트 클럭을 제공하며, 다중 스레드 기반 AI 연산, 시뮬레이션, 3D 소프트웨어 구동까지 안정적이다. 여기에 175W TGP로 동작하는 RTX 5090은 현존 노트북 GPU 중 최상위 성능을 자랑하며, GPU TOPS 기준 1824에 달하는 추론 성능은 생성형 AI, 실시간 렌더링, 게임 스트리밍 작업 모두를 수월하게 처리한다.

64GB DDR5 메모리는 교체가 가능하며, 2TB NVMe SSD와 추가 저장 슬롯까지 갖춰 대용량 데이터 작업도 무리 없다. USB-PD + DC 이중 전원, 99.9Wh 배터리, 3.6kg의 무게는 고성능을 품은 데스크탑 대체형 노트북으로서의 완성도를 높인다.

게이밍, 영상 제작, AI 워크로드를 단 하나의 머신으로 해결하고 싶다면? 지금 이 모델보다 나은 선택은 없다. MSI 레이더 A18 HX는 ‘괴물 스펙’이라는 표현에 가장 근접한, 진정한 플래그십의 정의다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

ONNX Runtime 백엔드에서 추론 정밀도별 테스트 결과, Quantized (INT8) 연산에서 무려 11,219점을 기록하며, 고정소수점 기반 연산에 최적화되어 있음을 시사했다. Half Precision (FP16) 테스트에서도 2,387점을 기록해 일정 수준 이상의 부동소수점 연산 성능도 유지하고 있음을 보여준다. Single Precision (FP32) 기준 성능은 6,480점으로 고정밀도 연산에서도 여전히 우수한 효율을 자랑한다. 이는 생성형 AI, 실시간 추론, 고해상도 처리와 같은 복합 연산 워크로드에서 충분한 안정성을 제공할 수 있다는 근거가 된다.

결과적으로, MSI 레이더 A18 HX A9WJG-R9는 최신 AMD CPU와 고성능 GPU를 탑재한 하드웨어 기반에서 ONNX 백엔드의 추론 최적화 성능을 극대화할 수 있는 구조로, AI 개발자 및 모델 실험자에게 매력적인 플랫폼임이 입증되었다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

RTX 5090 GPU와 AMD GPU를 ONNX 환경의 DirectML 백엔드에서 동일 조건으로 테스트한 결과, RTX 5090이 전 연산 정밀도에서 압도적인 격차로 앞서는 성능을 보이며 하이엔드 GPU의 위상을 확실히 입증했다.

먼저 Half Precision(FP16) 연산에서는 RTX 5090이 56,294점을 기록하며, AMD의 2,090점 대비 약 26.9배 높은 성능을 보여주었다. 이는 AI 모델 학습 및 추론에서 FP16이 자주 활용되는 현실을 감안할 때, RTX 5090이 고성능 연산을 요구하는 환경에서 매우 강력한 해답이 된다는 점을 부각시킨다.

Quantized(INT8) 연산에서도 RTX 5090은 23,995점으로 AMD의 1,565점을 월등히 초과했다. 이는 모델 경량화나 모바일 환경 대상 추론을 진행하더라도, 고성능 GPU가 효율성과 속도 모두에서 우위를 점할 수 있음을 보여주는 대목이다.

마지막으로 Single Precision(FP32) 연산에서는 RTX 5090이 31,147점, AMD는 1,915점을 기록했다. 정밀도가 중요한 영상 생성, 실시간 딥러닝, 고해상도 이미지 편집 등의 시나리오에서 RTX 5090이 제공할 수 있는 연산 능력이 압도적이라는 것을 수치로 확인할 수 있다.

결론적으로 RTX 5090의 ONNX 추론 성능은 현존 노트북 GPU 중 최정점에 있으며, AMD GPU는 경량 작업이나 테스트 환경에는 적합하지만, 무거운 AI 워크로드에는 대응이 어려운 수준이다. 고성능 AI 작업을 고려하는 유저라면 RTX 5090 탑재 제품이 현 시점에서 가장 확실한 선택지로 평가된다.

∴ Conclusion

Geekbench AI 테스트 결과를 종합하면, MSI 레이더 A18 HX A9WJG-R9에 탑재된 RTX 5090 Laptop GPU는 ONNX + DirectML 조합에서 모든 연산 정밀도에서 독보적인 성능을 입증했다.

FP16 연산에서 56,294점, FP32에서 31,147점, Quantized(INT8) 기준으로는 23,995점을 기록했다. 이는 기존 CPU 기반 추론이나 보급형 GPU 대비 10배 이상 차이 나는 결과로, 생성형 AI 모델, 초고해상도 비디오 생성, 대규모 추론 작업에 최적화된 구조임을 보여준다.

반면, AMD GPU의 DirectML 기반 추론은 각 정밀도에서 1,500~2,000점대의 점수를 기록하며 RTX 계열 대비 비교적 제한적인 성능을 보여주었다. CPU 기반 ONNX 추론에서도 INT8 기준 11,219점, FP32 기준 6,480점으로 높은 수준이긴 하나, GPU 성능과는 직접적인 비교가 어려울 정도로 격차가 컸다.

특히 OpenVINO의 GPU 및 NPU 항목은 빈 칸으로 표시되어 있어, 현 시점에서는 해당 플랫폼에서의 가속기 추론 점수가 제공되지 않음을 의미한다. 이는 플랫폼 선택 시 ONNX + DirectML이 가진 호환성과 가속 잠재력이 더욱 부각되는 지점이다.

총평하자면, MSI 레이더 A18 HX는 RTX 5090의 연산력을 극한까지 활용할 수 있는 최적화된 플랫폼으로, AI 워크로드 중심의 사용자에게 있어 현재 기준 최고 성능의 노트북 중 하나임을 수치로 증명했다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

NVIDIA GeForce RTX 5090 Laptop GPU 기반의 WinML AI 연산 벤치마크 결과, 연산 장치(CPU, GPU) 및 정밀도(Float32, Float16, Integer)에 따라 성능 차이가 뚜렷하게 나타났다.

가장 뛰어난 성능은 GPU + Float16 조합에서 확인되었으며, 총점 1,909점으로 기록되었다. RTX 5090의 부동소수점 16비트 연산 최적화는 주요 AI 모델에서 매우 빠른 추론 속도를 이끌어냈다. 예를 들어, MobileNet V3는 0.38ms, YOLO V3는 3.41ms, ResNet 50은 0.51ms에 불과할 정도로 고속 연산을 보였다. 특히 REAL-ESRGAN3처럼 고해상도 업스케일링이 필요한 복잡한 비전 모델에서도 55.21ms라는 우수한 결과를 기록했다.

다음으로는 GPU Float32가 989점, GPU Integer는 541점을 기록했다. GPU Integer는 MobileNet V3에서는 빠른 속도를 보였으나, Inception V4나 DeepLab V3 같은 복잡한 모델에서는 처리 시간이 상대적으로 길어지는 경향이 나타났다. 예컨대, REAL-ESRGAN3에서는 174.17ms로, Float 계열 대비 약 3배 가까운 차이를 보였다.

CPU 연산 성능은 Integer 정밀도에서 244점으로 가장 높았으며, Float32는 209점, Float16은 77점으로 확인되었다. CPU Integer의 경우 MobileNet V3 기준 0.77ms로 빠르지만, 고부하 모델에서는 확연한 한계가 드러났다. 특히 REAL-ESRGAN3 처리 시간은 무려 4,109.59ms에 달해, GPU 대비 75배 이상 느린 속도를 보였다.

GPU Float16 > GPU Float32 > GPU Integer > CPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

결론적으로, MSI 레이더 A18 HX는 GPU 연산 중심의 AI 작업에서 매우 강력한 성능을 자랑하며, 특히 Float16 환경에서 WinML 기반 워크로드를 이상적인 속도로 소화해낸다. 이는 생성형 AI, 이미지 복원, 실시간 영상 추론 등 고성능 연산이 필요한 전문가용 워크플로우에 최적화된 구조임을 의미한다.

AI TensorRT

AITensorRT 기반 AI 벤치마크 결과, MSI 레이더 A18 HX A9WJG-R9에 탑재된 RTX 5090 Laptop GPU는 정밀도 별로도 고르게 우수한 성능을 보였으며, 특히 Integer 정밀도 환경에서 압도적인 추론 효율을 기록했다.

가장 높은 점수는 GPU Integer 정밀도 조합으로, 총점 4,216점을 기록했다. 이는 MobileNet V3: 0.24ms, YOLO V3: 1.21ms, REAL-ESRGAN3: 33.99ms 등 거의 모든 테스트 모델에서 뛰어난 속도와 처리 성능을 보여준 결과다. 정밀도는 낮지만 연산 병렬화와 경량화 최적화가 뛰어나, 양자화 모델 기반 실시간 응용에 특히 유리하다는 점을 방증한다.

그 뒤를 잇는 GPU Float16 환경도 3,525점이라는 높은 점수를 기록했다. YOLO V3: 1.60ms, Inception V4: 0.86ms, ResNet 50: 0.33ms 등 부동소수점 16비트 환경에서 빠르고 안정적인 추론을 지속적으로 유지했으며, 콘텐츠 생성, 스타일 전환, 객체 탐지와 같은 비전 기반 작업에 최적의 밸런스를 보여준다.

Float32 정밀도는 총점 1,473점으로, 가장 고정밀 추론이 필요한 환경에서 안정적으로 작동했다. REAL-ESRGAN3: 145.37ms처럼 연산 부하가 큰 고해상도 모델에서도 예측 가능한 수준의 처리 속도를 기록하며, 정밀성과 정확도가 중요한 분야에 적합함을 보여줬다.

∴ Conclusion

AI 연산 성능 비교 결과, WinML과 AITensorRT 백엔드 간의 처리 성능 차이가 뚜렷하게 나타났다. 특히 GPU 기반 추론에서는 AITensorRT가 WinML을 전 구간에서 압도하는 결과를 보였다.

먼저 GPU Integer 정밀도 환경에서 AITensorRT는 4,216점을 기록해 WinML의 541점 대비 7.8배 이상 높은 성능을 보여주었다. 양자화 기반의 모델을 활용하는 환경에서 AITensorRT가 얼마나 정교하게 최적화되어 있는지를 단적으로 보여주는 수치다.

GPU Float16 부문에서는 AITensorRT가 3,525점, WinML은 1,909점을 기록해 1.8배 수준의 차이를 보였으며, Float32 부문에서도 AITensorRT 1,473점, WinML 989점으로 격차가 존재했다. 이는 고정밀 추론부터 중간 정밀도 및 경량화 모델까지, NVIDIA의 TensorRT 최적화가 전 영역에 걸쳐 효율적으로 작동하고 있음을 방증한다.

반면, CPU 연산 성능은 AITensorRT 점수가 제공되지 않았고, WinML만이 Float32: 209점, Float16: 77점, Integer: 244점으로 측정되었다. 이는 WinML이 상대적으로 다양한 연산 환경에서 범용적인 CPU 지원을 제공하고 있다는 점에서 의미가 있지만, 절대적인 성능 면에서는 GPU + AITensorRT 조합을 따라가지 못하는 수준이다. 

결론적으로, AITensorRT + GPU 조합은 현존 노트북 AI 환경에서 가장 강력한 추론 성능을 발휘하는 구조로 평가된다. 고속 생성형 AI, 초해상도 비전 모델, 실시간 추론 등이 요구되는 고부하 워크로드 환경에서 RTX 5090 기반 MSI 레이더 A18 HX는 실질적 최적 솔루션임을 수치로 증명한 셈이다

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

Stable Diffusion(SD) 및 SDXL 모델을 대상으로 한 이미지 생성 벤치마크 테스트 결과, 연산 정밀도와 추론 엔진의 조합에 따라 성능 편차가 뚜렷하게 나타났다.

가장 높은 점수를 기록한 구성은 SD 1.5 INT8 + TensorRT 조합으로, 총점 32,686점, 생성 속도는 0.956초/1장으로 측정되었다. 다만 이 테스트는 8장 기준으로 실행되어 일부 항목과 비교 기준이 다르다는 점을 감안해야 한다. 그럼에도 불구하고 경량화된 INT8 추론 환경에서의 속도와 점수 모두 타의 추종을 불허할 만큼 우수한 결과다.

뒤이어 SD 1.5 FP16 + TensorRT는 총점 1,905점, 생성 속도 2.151초/1장으로 측정되었다. 정밀도는 높지만 속도와 품질 간 균형을 유지하는 구성으로 평가된다. 반면 동일한 모델을 ONNX Runtime - DirectML (AMD) 환경에서 실행한 경우는 총점 2,286점, 생성 속도 2.733초로 나타났다. 속도는 다소 느리지만, DirectML은 윈도우 환경에서의 호환성과 범용성 면에서 장점이 있는 백엔드로 해석된다.

SDXL FP16 모델은 상대적으로 높은 복잡도를 가지는 만큼 생성 시간이 길었다. ONNX-DirectML(AMD) 환경에서는 18.962초, ONNX-DirectML Olive 최적화 버전은 21.138초의 생성 속도를 기록했다. 총점은 각각 1,977점과 1,774점으로 SD 1.5 계열 대비 낮게 측정되었으며, 이는 SDXL 특유의 고해상도 멀티 컴포넌트 구조에 기인한 결과로 볼 수 있다.

결론적으로, MSI 레이더 A18 HX는 SD/SDXL 기반 이미지 생성 작업에서 다양한 백엔드 조합에 유연하게 대응할 수 있는 플랫폼임이 입증되었다. 특히 TensorRT INT8 환경에서는 1초 미만의 압도적인 생성 속도를 제공하며, FP16 및 DirectML 조합에서도 안정적인 퍼포먼스를 유지한다. 고정밀 이미지 생성과 실시간 프로토타이핑 모두를 요구하는 환경에 적합한 AI 생성용 워크스테이션형 노트북으로 평가할 수 있다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 텍스트 생성 AI 모델 벤치마크 결과, 모델별 성능 차이가 뚜렷하게 나타났으며, Phi 모델이 가장 우수한 결과를 기록했다. 본 테스트는 실시간 응답성, 추론 속도, 처리 효율을 종합적으로 평가하기 위해 설계된 벤치마크다.

먼저 Phi 모델은 종합 점수 3,594점, 첫 토큰 생성 시간 0.281초, 초당 생성 토큰 141.649개, 총 실행 시간 21.106초로 측정되었다. 가장 빠른 초기 응답성과 전체 처리 속도를 모두 갖춘 이상적인 조합으로, 실시간 대화형 AI 및 응답 지연이 민감한 환경에 적합한 성능을 보여주었다.

다음으로 Mistral 모델은 3,559점으로 종합 점수에서 근소한 차이로 2위를 차지했으며, 초당 106.059토큰, 첫 토큰 0.381초, 총 28.041초의 수행 시간을 보였다. Phi보다는 다소 무겁지만 여전히 빠른 처리 속도를 유지하는 고성능 모델이다.

LLaMA3는 3,181점, 첫 토큰 생성 0.368초, t/s 91.624, 총 수행 시간 32.324초로 확인되었으며, LLaMA2는 3,345점을 기록했으나 첫 토큰 생성 시간이 0.613초로 가장 길고 t/s 50.746, 총 57.463초로 속도와 효율 모두에서 가장 낮은 성능을 나타냈다.

결론적으로, MSI 레이더 A18 HX는 다양한 LLM(Local Language Model) 환경에서도 빠른 응답성과 안정적인 처리 속도를 제공하는 성능을 입증했다. 특히 Phi 및 Mistral과 같은 경량화 또는 최적화 모델에서는 실시간 텍스트 생성에도 무리가 없는 수준의 응답성을 보여주며, LLaMA 시리즈와 같은 중량급 모델에서도 충분한 워크로드를 감당할 수 있는 연산력을 제공한다. AI 기반 텍스트 생성 작업을 주요 활용처로 하는 사용자에게 강력한 선택지로 평가된다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com