다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

삼성전자 갤럭시북4 프로 NT940XGQ-A51A (1,229,900원)는 인텔 코어 울트라5 125H 프로세서와 Arc 기반 내장 GPU를 탑재한 14인치 프리미엄 모델로, 얇고 가벼운 디자인에 가벼운 AI 연산 성능까지 겸비한 제품이다. 

디스플레이는 2880x1800 해상도의 WQXGA+급 패널에 120Hz 주사율, 400nit 밝기를 갖춰 선명한 화질과 부드러운 스크롤을 동시에 지원한다. 16GB 온보드 메모리와 256GB NVMe SSD 구성은 가볍고 신속한 작업 환경에 적합하며, 듀얼 저장 슬롯으로 추후 확장성도 확보했다. 63Wh 배터리와 1.23kg의 무게는 외근이 잦은 직장인, 강의실을 이동하는 대학생 모두에게 이상적인 조합이다.

관전 포인트는 역시 인텔 코어 울트라5 125H 프로세서에 탑재된 NPU(Intel AI Boost)다. 이 NPU는 Copilot, 이미지 생성, 음성 요약 등 윈도우 기반의 AI 기능 가속에 핵심 역할을 수행하며, 11TOPS 수준의 연산 성능으로 경량 AI 모델 구동에도 충분한 성능을 발휘한다. Arc 내장 그래픽(7코어)은 웹 기반 작업이나 영상 소비에 안정적인 퍼포먼스를 제공한다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

AI 연산 성능은 OpenVINO Toolkit과 ONNX Runtime 두 백엔드를 기준으로 평가되었으며, 정밀도별 추론 처리 능력에서 확연한 차이를 드러냈다.

특히 Quantized(INT8) 연산에서 OpenVINO는 4,414점으로 ONNX(3,861점) 대비 약 14.3% 높은 성능을 보였다. 저전력 환경이나 경량 AI 모델 실행에서 자주 활용되는 INT8 연산에서 OpenVINO의 최적화가 빛을 발한 결과다.

Half Precision(FP16) 구간에서는 그 격차가 더욱 벌어진다. OpenVINO는 1,777점을 기록하며 ONNX의 810점보다 무려 119.5% 높은 점수를 나타냈다. 이는 AI 영상 처리나 실시간 추론처럼 FP16을 활용하는 작업에서 큰 차이를 만들어낼 수 있다.

Single Precision(FP32)에서는 ONNX가 2,131점, OpenVINO는 1,820점을 기록해 반대로 ONNX가 약 17% 높은 점수를 보였으나, 전반적인 AI PC 활용 맥락에서는 Quantized와 Half 연산에서의 우위가 더욱 실질적인 의미를 갖는다. 

◎ GPU Score

OpenVINO GPU 백엔드를 기반으로 한 AI 추론 성능 테스트에서 양자화(INT8)와 부동소수점 연산(FP16, FP32) 전반에서, OpenVINO의 하드웨어 최적화 효과가 뚜렷하게 나타났다.

Quantized(INT8) 연산에서는 15,781점을 기록하며, 경량화된 AI 모델을 빠르게 처리하는 데 적합한 성능을 보여준다. 이는 모바일 AI 또는 로컬 Copilot 실행과 같은 환경에서 실질적인 체감 성능 향상을 기대할 수 있는 수치다.

Half Precision(FP16)에서는 11,172점을 기록했다. 이 수치는 NPU가 처리하지 못하는 중간 복잡도의 부동소수점 AI 연산을 GPU가 효과적으로 커버할 수 있음을 시사한다. AI 기반 이미지 생성, 음성 변환 등의 작업에서 중추적인 역할을 수행할 수 있다.

Single Precision(FP32) 연산 역시 7,333점으로 측정되며, 정밀도를 요하는 추론 작업에서도 안정적인 결과를 보장한다. 전체적으로 볼 때, 갤럭시북4 프로의 Arc GPU는 OpenVINO 백엔드를 통해 AI 활용이 점점 고도화되는 환경에서 GPU 가속 성능을 유감없이 발휘할 수 있는 기반이 되어준다.

∴ Conclusion

NT940XGQ-A51A에 탑재된 다양한 연산 자원(CPU, GPU, NPU)의 AI 성능이 구체적으로 드러났다. 그래프에서 확인할 수 있듯이, DirectML Score(ONNX) 및 NPU Score(OpenVINO)는 측정이 불가능해 비교 대상에서 제외되었으며, 이는 소프트웨어·드라이버 호환성 또는 초기 최적화 미흡 등으로 인한 플랫폼 한계로 해석된다.

한편, 연산이 가능한 항목 중에서는 GPU(OpenVINO)의 성능이 가장 두드러졌다. Quantized(INT8) 기준으로 15,781점, Half Precision(FP16)에서 11,172점, Single Precision(FP32)에서도 7,333점을 기록하며, 전 범위 정밀도에서 안정적인 추론 성능을 확보했다. 특히 Arc 내장 GPU와 OpenVINO의 궁합은 INT8 최적화 환경에서 강력한 효율을 보여준다.

CPU 성능 역시 OpenVINO 기반에서 상대적으로 양호한 결과를 나타냈다. INT8에서는 4,414점, FP16은 1,777점, FP32는 1,820점으로 확인됐다. 반면 ONNX Runtime을 사용할 경우, CPU 점수는 전반적으로 낮아지는 경향을 보였다. 이는 OpenVINO의 플랫폼 특화 최적화가 성능 향상에 큰 영향을 미친다는 것을 의미한다.

이번 결과는 NPU와 DirectML 경로가 완전히 측정되지 못한 상태에서의 제한된 벤치마크였지만, CPU와 GPU 기반 AI 추론 성능만으로도 인텔 코어 울트라5 + Arc 조합이 실사용 AI 기능(Copilot 등)에 충분한 대응력을 가졌음을 시사한다. 

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - AI Open Vino

Computer Vision Benchmark는 GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과로 MobileNet V3, ResNet 50, Inception V4, DeepLab V3, YOLO V3, REAL-ESRGAN 모델을 대상으로 각각의 연산 속도를 측정했으며, 종합 점수를 통해 전반적인 성능을 평가할 수 있다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

AI 연산 성능을 정밀도(Float32, Float16, Integer)별로 비교한 결과, 인텔 AI Boost NPU의 Integer 모드는 종합 점수 528점으로 가장 우수한 성능을 기록했다. 특히 고해상도 이미지 복원 모델인 REAL-ESRGAN3(416.54ms), 객체 탐지 모델인 YOLO V3(9.6ms), 세그멘테이션 모델인 DeepLab V3(23.48ms)에서 빠른 처리 속도를 보이며, 실시간 AI 처리에 최적화된 하드웨어임을 입증했다.

NPU Float16 역시 281점을 기록하며 뒤를 이었다. MobileNet V3(0.9ms), ResNet 50(3.39ms), Inception V4(10.8ms) 등 다양한 모델에서 고른 속도를 기록하며, 저전력 모바일 AI 환경에서 유용한 선택지가 될 수 있음을 보여줬다.

* 정밀도 표현과 값은 긱벤치 AI와 다르지만 항목은 동일하다. Quantized(INT8)=Integer, Single(FP32)=Float32, Half(FP16)=Float16

GPU Integer 성능은 579점으로 NPU에 이어 높은 수준을 나타냈다. Inception V4(5.7ms), YOLO V3(11.34ms), REAL-ESRGAN3(402.6ms) 등 고성능 이미지·비디오 작업에서 빠른 추론을 가능하게 했으며, 연산 효율 면에서도 준수한 결과를 보였다. GPU Float16은 389점으로 DeepLab V3(15.06ms), YOLO V3(19.89ms), REAL-ESRGAN3(658.75ms) 등 실용적인 수준의 속도를 유지해 범용적인 AI 작업에 적합한 성능을 제공했다.

반면 GPU Float32는 218점으로 상대적으로 낮았지만, MobileNet V3(1.01ms), ResNet 50(5.18ms)에서 준수한 속도를 보이며 기초적인 AI 모델 처리에 무리는 없었다. CPU Integer는 126점으로 연산 능력에 제약이 있으나, YOLO V3(83.23ms), REAL-ESRGAN3(2,282.26ms) 등의 모델에서도 기본적인 AI 처리가 가능함을 보여주었다. CPU Float16과 Float32는 각각 43점, 42점으로 최하위권을 기록하며, 복잡한 AI 워크로드에는 적합하지 않은 것으로 나타났다.

NPU Integer > GPU Integer > NPU Float16 > GPU Float16 > GPU Float32 > CPU Integer > CPU Float16 > CPU Float32

▲ AI 연산 성능 순

결론적으로 생성형 AI, 실시간 추론 등 고성능이 요구되는 작업에는 NPU Integer가 가장 이상적인 선택이며, GPU Integer 및 Float16 조합도 고급 워크로드를 다루는 데 유용하다. 반면 CPU 기반 AI 연산은 기본적인 추론 처리용 보조 자원으로 활용하는 것이 현실적인 접근이다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

GPU와 CPU 기반 AI 추론 성능을 정밀도(Float32, Float16, Integer)별로 분석한 결과, GPU Float16이 종합 점수 147점으로 가장 우수한 성능을 기록했다. 특히 REAL-ESRGAN3(1271.03ms), YOLO V3(40.98ms), DeepLab V3(56.00ms) 등 연산량이 높은 모델에서 비교적 빠른 처리 속도를 보이며, 이미지 생성·분류·탐지 등 다양한 실시간 AI 응용에 최적의 선택지로 부상했다.

GPU Float32는 119점으로 중간 수준의 성능을 보이며, Inception V4(26.92ms), YOLO V3(55.93ms), REAL-ESRGAN3(2237.53ms) 등에서 안정적인 속도를 유지해 다양한 범용 워크로드에 대응 가능한 포맷으로 평가된다. 반면 GPU Integer는 67점으로 가장 낮은 GPU 점수를 기록했으며, DeepLab V3(348.97ms), YOLO V3(128.11ms), REAL-ESRGAN3(1340.47ms) 등에서 처리 속도가 느려, 실시간성이 요구되는 AI 환경에는 적합하지 않은 것으로 나타났다.

CPU 기반 연산에서는 Integer 정밀도가 80점으로 가장 높은 성능을 보였다. MobileNet V3(1.72ms), ResNet 50(10.51ms) 등 경량 모델에서는 빠른 추론이 가능했지만, 고성능 AI 모델인 YOLO V3(78.02ms), REAL-ESRGAN3(9087.05ms)에서는 처리 시간이 급격히 증가하며 한계를 드러냈다. CPU Float32는 49점, Float16은 20점으로 전체 항목에서 낮은 성능을 보였고, 특히 Float16은 거의 모든 항목에서 가장 느린 속도를 기록했다.

GPU Float16 > GPU Float32 > CPU Integer > GPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

결론적으로, AI 노트북 환경에서는 GPU 기반 Float16 정밀도가 가장 안정적인 성능을 제공하며, 고연산 처리나 실시간 AI 작업에 적합하다. CPU는 Integer 정밀도가 그나마 효율적이지만, 전반적인 AI 활용에 있어서는 GPU 가속이 필수임이 이번 결과를 통해 명확히 드러났다.

∴ Conclusion

OpenVINO vs WinML, 두 AI 백엔드의 비교 결과는 AI 연산 환경별 최적화 수준에서 뚜렷한 차이를 보여준다. 특히 OpenVINO는 GPU 및 NPU 환경에서 WinML 대비 압도적인 성능 우위를 나타냈다.

NPU 부문에서 OpenVINO는 Integer 연산 528점, Float16 연산 281점을 기록했으며, 이는 WinML에서는 측정조차 되지 않은 영역으로, 전용 AI 연산기(NPU)에 대한 OpenVINO의 최적화 역량이 두드러진다. GPU 환경에서도 Integer 연산에서 OpenVINO 579점, WinML은 67점으로 무려 8.6배 이상 차이를 보였고, Float16에서도 각각 389점 vs 147점으로, OpenVINO가 월등한 점수를 기록했다.

CPU 기반에서는 성능 차이가 상대적으로 적게 나타났다. Float32 연산에서는 OpenVINO 42점, WinML 49점으로 오히려 WinML이 소폭 우세했으며, Float16은 각각 43점 vs 20점, Integer는 126점 vs 80점으로 OpenVINO가 앞서긴 했지만 1.5\~2배 내외의 격차에 그쳤다. 이는 WinML이 CPU 환경에서 비교적 범용적이고 안정적인 추론을 제공한다는 점을 시사한다.

결론적으로, OpenVINO는 인텔 기반 하드웨어 특성을 정밀하게 반영한 백엔드로, 특히 GPU·NPU 중심의 AI 연산 환경에서는 WinML 대비 전반적으로 월등한 성능을 발휘한다. 반면 WinML은 CPU 범용성 중심의 기본 연산에 한정된 대응력을 보이며, 고성능·고속 응답이 필요한 실시간 AI 응용에서는 OpenVINO가 사실상 독보적인 선택지로 평가된다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

이번 벤치마크에서 Stable Diffusion 1.5 INT8 + OpenVINO 조합은 가장 뛰어난 생성 성능을 보여주었다. 총점은 1,121점, 이미지 생성 속도는 1장당 27.975초, 총 8장 생성으로 측정되었으며, 동일 장비 기준으로 다른 모델과 정밀도 구성에서는 결과가 나오지 않거나 실행이 불가한 상황이 확인되었다.

실제 활용 시에는 고해상도 이미지 생성보다는 빠른 컨셉 아트, 썸네일 생성, 반복적인 이미지 변형 테스트 등에 적합하며, 모바일 또는 울트라씬 노트북과 같은 제약 있는 연산 환경에서도 충분한 퍼포먼스를 보장한다.

◎ Text Generation Benchmark - OpenVINO

Text Generation Benchmark는 자연어 처리를 이용한 텍스트 생성 성능을 측정하는 테스트로, 언어 모델이 주어진 입력을 기반으로 문장을 생성하는 속도와 품질을 평가한다. 이는 챗봇, 자동 번역, 요약 생성 등 다양한 언어 기반 AI 응용 분야에서 중요한 지표가 된다.

토큰 : AI 모델이 텍스트를 처리하는 기본 단위로, 자연어 처리(NLP)에서 텍스트를 작은 조각으로 나누어 모델이 이해하고 생성할 수 있도록 하는 역할을 한다.

OpenVINO 환경에서 수행한 생성형 AI 모델 추론 성능 평가 결과, Phi 모델이 총점 333점으로 가장 우수한 성능을 기록했다. 첫 토큰 생성 시간은 3.797초, 초당 생성 토큰 수는 16.424 t/s, 총 실행 시간은 189.929초로 측정되어, 응답 속도와 처리 효율 모두에서 균형 잡힌 성능을 보여준다. Phi는 실시간 대응이 중요한 AI 대화형 시스템이나 요약, 생성 업무에 최적화된 모델로 평가된다.

다음으로는 Mistral 모델이 총점 267점을 기록했다. 첫 토큰 생성 시간 6.633초, 초당 생성 토큰 10.346 t/s, 총 실행 시간 309.331초로, 처리량은 Phi 대비 다소 낮지만 여전히 안정적인 추론 결과를 제공하며, 중간급 생성형 AI 응용에 적합하다.

Llama3 모델은 총점 253점으로 세 번째를 기록했다. 첫 토큰 생성 시간은 5.763초, 초당 생성 토큰 수는 9.073 t/s, 총 실행 시간은 325.933초였다. 반응 속도는 Mistral보다 빠르지만 전체 처리 효율 면에서는 다소 뒤처지는 결과를 보였으며, 경량 작업이나 보조 응용에 적합한 성능으로 평가된다. 한편, Llama2 모델은 OpenVINO 환경에서 실행 불가, ONNX Runtime 기반 테스트도 측정 불가로 확인되어 본 평가에서는 제외되었다.

Phi >  Mistral > Llama3

▲ OpenVINO 기반 AI 연산 성능 순위

종합적으로 볼 때, OpenVINO 환경에서는 Phi 모델이 성능과 응답성 모두에서 가장 이상적인 선택지로 평가되며, Mistral과 Llama3는 중간급 성능을 원하는 사용자에게 실용적인 대안이 될 수 있다. ONNX Runtime 기반에서는 이번 테스트에서 연산 실행이 불가능한 것으로 나타났으며, 플랫폼 호환성과 최적화 여부에 따른 제한점이 명확히 드러난 결과라 할 수 있다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com