다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다!

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

오늘의 벤치마크 대상은 삼성전자 갤럭시북5 프로360 NT960QHA-K51A (2,127,000원 / SSD 512GB)이다. 프리미엄 2in1 AI 노트북 라인업으로 터치 및 S펜 지원을 바탕으로 창작, 필기, 프리젠테이션 등 다양한 활용이 가능하다. CPU는 인텔 코어 울트라5 226V(최대 4.5GHz) 모델로, 일상적인 업무와 AI 연산 기능 모두에 안정적인 성능을 제공하며, NPU는 40TOPS 성능을 갖춰 Copilot과 같은 AI 기능을 원활하게 지원한다. 

그래픽은 인텔 Arc Graphics 130V(7코어) 내장 GPU를 탑재해 고해상도 영상 시청과 라이트한 그래픽 작업까지 커버할 수 있다. 또한 16GB LPDDR5x 온보드 메모리와 512GB NVMe SSD가 기본 장착돼, 사무용 및 인강용으로는 충분한 성능과 저장 공간을 제공하며, 저장 슬롯도 하나 마련돼 확장 가능성도 갖췄다.

디스플레이는 16인치 AMOLED 터치 패널로 2880x1800(WQXGA+) 해상도와 120Hz 주사율, 400nit 밝기를 지원해 부드러운 시각 경험을 제공하며, 힌지를 완전히 접어 태블릿처럼 사용할 수 있는 360도 회전 구조도 특징이다. 76Wh의 대용량 배터리와 USB-PD 충전도 지원해, 휴대성과 실용성 모두를 고려한 완성도 높은 AI 노트북이다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

테스트 결과, OpenVINO 백엔드는 전반적으로 ONNX 대비 우수한 AI 추론 성능을 보여주었다. 특히 Quantized(INT8) 연산에서 OpenVINO는 7144점을 기록하며, ONNX의 4392점보다 약 62.7% 높은 점수를 기록했다. 이는 양자화 모델 최적화 측면에서 OpenVINO의 강력한 처리 성능을 입증하는 결과다.

Half Precision(FP16) 연산에서도 OpenVINO는 1894점, ONNX는 1174점으로 약 61.3% 더 높은 성능을 보였으며, Single Precision(FP32) 부문에서도 OpenVINO가 2745점, ONNX는 2265점으로 21.2% 우위를 차지했다.

결론적으로 OpenVINO는 모든 정밀도 범주에서 ONNX를 상회하며, 특히 양자화 모델(Quantized INT8) 연산에서 가장 두드러진 성능 차이를 보였다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

Intel Arc 130V GPU를 기반으로 한 삼성전자 갤럭시북5 프로360에서 ONNX + DirectML 환경으로 진행한 벤치마크 결과, Half Precision(FP16) 연산에서 12,735점을 기록하며 매우 우수한 성능을 보였다. 이는 Arc 130V GPU가 FP16 연산에 최적화된 구조와 병렬 처리 효율을 갖추고 있어, 고속의 부동소수점 AI 추론 작업에 강점을 발휘한다는 점을 보여준다.

또한 Single Precision(FP32) 점수는 6,574점으로, 고정밀 계산이 요구되는 복잡한 AI 모델 처리나 고해상도 생성형 콘텐츠 환경에서도 충분한 성능을 제공한다. 반면, Quantized(INT8) 연산에서는 4,768점을 기록해 다소 낮은 점수를 보였는데, 이는 Arc 130V가 INT8 양자화 연산에 대해 최적화 정도가 제한적이거나, 드라이버와 프레임워크 간의 연산 활용 효율에서 손실이 발생했을 가능성을 시사한다.

결과적으로 갤럭시북5 프로360은 FP16 및 FP32 연산 환경에서 강력한 AI 연산 성능을 갖춘 모델이며, 고부하 AI 작업에도 안정적인 플랫폼으로 평가할 수 있다.

◎ GPU Score

GPU Score는 그래픽 카드의 AI 성능을 확인할 수 있는 지표다. 이번 테스트에 사용된 노트북은 내장 GPU(Intel Arc 140V)를 탑재하고 있으며, OpenVINO 백엔드를 통해 테스트가 수행됐다. 이 GPU는 일반적으로 고성능 AI 연산에 특화되어 있지 않지만, 최근 내장 그래픽도 INT8 양자화 연산에 최적화된 경향을 보인다.

GPU OpenVINO 테스트 결과, 삼성전자 갤럭시북5 프로360 NT960QHA-K51A는 전반적으로 매우 우수한 AI 연산 성능을 보여주었다.

Quantized(INT8) 연산에서 25,773점을 기록하며 가장 높은 성능을 나타냈으며, 이는 Intel Arc 130V GPU가 정수 기반 양자화 모델 처리에 탁월한 최적화를 이뤘음을 의미한다. 특히 이 점수는 동일 노트북의 ONNX 기반 DirectML INT8 점수인 4,768점보다 약 5.4배 높은 수치다.

Half Precision(FP16) 연산에서도 23,430점을 기록해, 복잡한 AI 모델에서도 빠른 연산을 지원하며, Single Precision(FP32) 연산 점수는 9,433점으로, FP16 대비 약 40% 수준이다. 이는 해당 GPU가 FP16 환경에서 더 뛰어난 병렬 처리 성능을 발휘함을 시사한다.

결론적으로, 갤럭시북5 프로360은 OpenVINO 기반 GPU 연산 환경에서 특히 INT8 및 FP16 연산에 강력한 성능을 발휘하며, 생성형 AI, 실시간 추론, 멀티모달 연산 등 고성능 AI 작업에 적합한 플랫폼으로 평가된다.

◎ NPU Score

해당 테스트는 OpenVINO 백엔드 + NPU (Intel AI Boost) 환경에서 진행되었으며, NPU가 장착된 최신 플랫폼의 AI 연산 성능을 보여준다.

이번 테스트 결과, 삼성전자 갤럭시북5 프로360 NT960QHA-K51A에 탑재된 Intel AI Boost (NPU)는 Quantized(INT8) 연산에서 31,779점을 기록하며 매우 뛰어난 AI 추론 성능을 보였다. 이는 NPU가 정수 기반 양자화 모델 처리에 최적화된 구조를 가지고 있음을 보여주며, 실시간 추론이나 배터리 효율이 중요한 환경에서 탁월한 선택임을 시사한다.

Half Precision(FP16) 연산 점수는 20,666점으로, 여전히 우수한 수준이지만 INT8보다는 다소 낮은 수치를 보였다. Single Precision(FP32)에서는 2,730점을 기록했으며, 이는 NPU 아키텍처가 고정밀 부동소수점보다는 경량화된 모델에 특화되어 있다는 점을 반영한다.

종합하면, Intel AI Boost NPU는 INT8 기반 AI 추론에 최적화된 고속·저전력 연산 유닛으로, 경량화된 AI 모델, Copilot 기능, 온디바이스 음성 인식 및 번역 등 실시간 응답성이 중요한 AI 작업에서 특히 강력한 성능을 발휘한다.

∴ Conclusion

이번 벤치마크 결과에 따르면, 삼성전자 갤럭시북5 프로360 NT960QHA-K51A에 탑재된 NPU(OpenVINO)는 AI 추론 특화 프로세서답게 Quantized(INT8) 환경에서 31,779점이라는 가장 높은 성능을 기록하며 두드러진 효율을 보였다. 이는 동일 환경의 GPU(25,773점), CPU(7,144점)와 비교해도 압도적으로 높은 수치로, NPU가 INT8 연산에 최적화된 구조임을 명확히 보여준다.

또한, 발열과 전력 소모가 적은 구조 덕분에 모바일 및 노트북 환경에서 매우 유리한 전력 효율성과 반응성을 제공하며, 배터리 기반 작업이 증가하는 현대의 사용 환경에서 NPU는 고정밀 FP32 대신 INT8 기반 경량 추론을 중심으로 AI 서비스를 구현하는 데 최적의 선택지로 평가된다.

종합하면, NPU는 AI 처리 성능뿐만 아니라 에너지 효율성 면에서도 뛰어난 경쟁력을 보이며, 생성형 AI, 실시간 음성 비서, 번역 등 다양한 AI 활용 시나리오에서 핵심 부품으로 자리 잡고 있다. 차세대 AI 노트북을 구성하는 데 있어, NPU는 그 중심에 설 수 있는 충분한 가능성을 증명했다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - AI Open Vino

Computer Vision Benchmark는 GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과로 MobileNet V3, ResNet 50, Inception V4, DeepLab V3, YOLO V3, REAL-ESRGAN 모델을 대상으로 각각의 연산 속도를 측정했으며, 종합 점수를 통해 전반적인 성능을 평가할 수 있다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

GPU, NPU, CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과, NPU Integer는 종합 점수 1,711점으로 전체 벤치마크 중 가장 높은 성능을 기록했다. 특히 고난도 이미지 복원 작업인 REAL-ESRGAN3에서 91.27ms, 객체 탐지 모델인 YOLO V3에서 3.46ms, DeepLab V3에서 4.32ms라는 빠른 처리 속도를 보이며, AI 추론 특화 하드웨어로서의 면모를 확실히 입증했다.

NPU Float16 역시 931점으로 강력한 효율을 보였다. REAL-ESRGAN3(175.82ms), YOLO V3(7.37ms), Inception V4(3.6ms) 등 다양한 모델에서 GPU와 유사한 속도를 구현하면서도, 전력 효율 면에서는 더 우수한 선택지로 평가된다. 특히 MobileNet V3(0.42ms), ResNet 50(1.39ms) 등 경량 모델에서의 성능은 휴대성을 중시하는 배터리 기반 디바이스에 최적화된 솔루션임을 보여준다.

* 정밀도 표현과 값은 긱벤치 AI와 다르지만 항목은 동일하다. Quantized(INT8)=Integer, Single(FP32)=Float32, Half(FP16)=Float16

GPU Integer는 1,312점으로 높은 성능을 기록했으며, REAL-ESRGAN3(121.56ms), YOLO V3(4.11ms), Inception V4(3.12ms) 등에서 빠른 추론 속도를 보였다. 이는 AI 가속에 특화된 GPU 연산 구조의 강점을 잘 보여주는 사례다. GPU Float16은 874점으로 전반적으로 균형 잡힌 성능을 발휘하며, 다양한 워크로드에서 안정적이고 빠른 결과를 제공한다.

CPU Integer는 218점으로 상대적으로 낮은 점수지만, YOLO V3(45.74ms), REAL-ESRGAN3(1553.16ms) 수준의 결과로, 고부하 작업에는 제한이 있지만 일반적인 추론 환경에서는 유의미한 성능을 제공할 수 있다.

NPU Integer > GPU Integer > NPU Float16 > GPU Float16 > GPU Float32 > CPU  Integer > CPU Float16 > CPU Float32

▲ AI 연산 성능 순

고성능 생성형 AI 및 실시간 추론 환경에서는 NPU Integer가 최고의 선택지이며, 전반적인 처리 효율과 안정성을 고려하면 GPU Float16 및 Integer 역시 매우 유효한 대안이다. 반면 CPU 기반 연산은 간단한 AI 응용에 적합하며, 전력 대비 성능을 고려할 때 NPU 및 GPU 대비 활용도가 제한적이다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 추론 성능을 비교한 결과, GPU Float16이 종합 점수 480점으로 가장 뛰어난 성능을 기록했다. 특히 복잡한 이미지 복원 모델인 REAL-ESRGAN3(364.46ms)에서도 빠른 처리 속도를 보여주었으며, YOLO V3(10.05ms), DeepLab V3(19.77ms) 등 고연산 AI 모델에서도 안정적인 추론 성능을 발휘했다. 이는 GPU 환경에서 가장 최적화된 정밀도 포맷으로, 속도와 에너지 효율을 동시에 만족시키는 구성으로 평가된다.

GPU Float32는 235점을 기록해 중간 수준의 성능을 보였고, DeepLab V3(27.21ms), YOLO V3(37.56ms) 등에서 무난한 처리 속도를 보였다. 다양한 환경에 대응할 수 있는 범용적인 정밀도 옵션으로 적합하다. 반면 GPU Integer는 58점으로 상대적으로 낮은 점수를 기록했고, 특히 DeepLab V3(685.12ms), YOLO V3(89.76ms), REAL-ESRGAN3(1543.48ms) 등에서 처리 속도가 크게 지연되며 실시간 처리가 필요한 AI 워크로드에는 적합하지 않은 것으로 분석된다.

CPU 환경에서는 Integer 정밀도가 111점으로 가장 높은 점수를 기록했다. MobileNet V3(1.26ms), ResNet 50(8.12ms) 등 경량 모델에서 효율적인 성능을 보였으나, REAL-ESRGAN3(5931.4ms), YOLO V3(66.54ms) 등 고난도 모델에선 한계를 드러냈다. CPU Float32는 66점, Float16은 33점으로 전체적으로 낮은 성능을 기록했다. 특히 Float16은 거의 모든 항목에서 가장 느린 결과를 보이며, AI 추론 용도로는 부적합한 포맷으로 판단된다.

GPU Float16 > GPU Float32 > CPU Integer > GPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

고성능 AI 연산이 필요한 작업 환경에서는 GPU Float16이 최적의 선택지로 부각되며, 균형 잡힌 성능과 범용성을 중시한다면 GPU Float32가 좋은 대안이 될 수 있다. CPU 기반 연산은 경량 모델 위주나 보조적 AI 처리에 적합하며, 고난도 AI 작업에는 제한적일 수 있다.

∴ Conclusion

삼성전자 갤럭시북5 프로360의 AI 추론 프레임워크 성능 비교 결과에 따르면, OpenVINO는 전반적으로 WinML 대비 우수한 최적화 성능을 보여주었다. 특히 GPU 연산에서는 OpenVINO의 Integer 점수 1312점, Float16 점수 874점으로, WinML의 Integer(58점), Float16(480점) 대비 2배 이상 성능 격차를 보였다. 이는 Intel Arc 그래픽 기반 구조에서 OpenVINO가 연산 파이프라인과 병렬 처리 효율을 더욱 효과적으로 활용하고 있음을 의미한다.

또한 NPU 연산 성능에서도 OpenVINO는 Float16(931점), Integer(1711점)로 고성능을 발휘했으며, 이는 WinML이 해당 연산에 대한 최적화가 부족한 것과 대조된다. 반면, CPU 환경에서는 양쪽 프레임워크 간 큰 차이를 보이지 않았다. Float32 기준으로 OpenVINO(69점), WinML(66점), Float16에서는 OpenVINO(70점), WinML(33점)으로 소폭 우세하거나 비슷한 수준에 머물렀다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다.  

SD 1.5 INT8 + OpenVINO

INT8 양자화 기반 경량 모델로, 속도와 효율 모두 최상이다. 적은 연산 자원으로도 빠른 처리 속도를 제공해, 노트북·모바일 등 저전력 환경에서 최적이며, 모델 경량화 효과가 돋보이며, 실용성과 휴대성을 동시에 갖춘 조합이다.

SDXL FP16 + OpenVINO

고해상도(1024px 이상) 이미지 생성이 가능한 고품질 중심 모델. 시각적 완성도는 뛰어나나, 속도는 느려 실시간 응답 환경에는 부적합. 고퀄리티 이미지 출력이 필요한 비실시간 환경에서 유효한 선택지다.

SD 1.5 FP16 + OpenVINO

속도와 품질의 균형을 지향하는 조합. 일반적인 고화질 이미지 생성 용도에 적합하며, OpenVINO의 최적화 덕분에 FP16 정밀도에서도 안정적이고 빠른 처리 가능하다.

SD 1.5 FP16 + ONNXRuntime-DirectML

동일한 모델이라도 엔진에 따라 성능 차이가 뚜렷함을 보여주는 사례. ONNXRuntime-DirectML 조합은 느린 속도와 낮은 점수로 실용성에서 아쉬움. 일반적인 생성형 AI 작업에서는 권장되지 않는 조합이다.

◎ Text Generation Benchmark - OpenVINO

Text Generation Benchmark는 자연어 처리를 이용한 텍스트 생성 성능을 측정하는 테스트로, 언어 모델이 주어진 입력을 기반으로 문장을 생성하는 속도와 품질을 평가한다. 이는 챗봇, 자동 번역, 요약 생성 등 다양한 언어 기반 AI 응용 분야에서 중요한 지표가 된다.

토큰 : AI 모델이 텍스트를 처리하는 기본 단위로, 자연어 처리(NLP)에서 텍스트를 작은 조각으로 나누어 모델이 이해하고 생성할 수 있도록 하는 역할을 한다.

OpenVINO 환경을 기반으로 생성형 AI 모델의 추론 성능을 측정한 결과, 가장 뛰어난 성능을 보인 모델은 Phi였다. Phi는 종합 점수 887점을 기록했으며, 첫 토큰 생성 시간은 1.032초, 초당 생성 토큰 수는 31.73개, 총 실행 시간은 93.314초로 측정되었다. 이는 전체 모델 중 가장 빠른 응답성과 높은 처리량을 보인 수치로, 실시간 텍스트 생성, 요약 등 즉각적인 반응이 필요한 작업에 최적화된 모델임을 보여준다.

Phi >  Mistral > Llama3 > Llama2 

▲ AI 연산 성능 순

그 뒤를 이은 Mistral은 종합 점수 823점, 첫 토큰 생성 시간 1.442초, 초당 생성 토큰 수 21.418개, 총 실행 시간 136.414초로, 속도와 품질 간의 균형 잡힌 성능을 나타냈다. Phi보다는 다소 느리지만, 여전히 안정적인 활용이 가능한 실용적 모델로 평가된다.

Llama3는 종합 점수 796점, 첫 토큰 생성 시간 1.274초, 초당 생성 토큰 수 19.899개, 총 실행 시간 139.406초로 측정되었다. 첫 응답 속도는 Mistral보다 빠르지만, 전체 실행 시간이 길고 처리량이 다소 낮아 중장기 연산 환경에서는 아쉬움을 남겼다. 균형형 모델로서 기본적인 성능은 확보했지만, 최적화 측면에서는 개선의 여지가 있는 것으로 보인다. 한편, Llama2는 이번 테스트에서 결과값이 기록되지 않아 평가에서 제외되었다. 이는 OpenVINO 환경에서의 호환성이나 최적화 수준이 낮아, 해당 시스템에서는 활용도가 제한적일 가능성을 시사한다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com