다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

차세대 인공지능 시대를 겨냥한 비보북 S 16 M5606KA-RI083 (1,258,000원)는 AMD의 최신 라이젠AI 5 340 프로세서를 탑재한 16인치 AI 특화 노트북으로 1.5kg의 경량 바디에 고해상도 디스플레이, 고속 저장장치, 최신 NPU 기반 AI 연산까지 겸비하며, “AI 활용이 일상화되는 시대의 노트북은 이렇게 바뀐다”는 메시지를 던진다.

디스플레이는 2880x1800 WQXGA+ 해상도, 120Hz 주사율, 400nit 밝기로 콘텐츠 감상과 문서 작업 모두를 아우른다. 16GB 온보드 메모리와 1TB SSD 조합은 빠른 응답성과 넉넉한 저장 공간을 동시에 확보했고, 75Wh 배터리는 최대 14시간 사용을 지원해 이동이 잦은 직장인이나 대학생에게도 적합하다.

관전 포인트는 역시 AMD 라이젠AI 5 340 프로세서와 Radeon 840M 내장 그래픽의 조합이다. 특히 CPU 내부에 통합된 NPU(Neural Processing Unit)는 Copilot 등 윈도우 기반 AI 기능이나 경량 AI 모델 추론에 있어 전용 가속기의 역할을 하며, ‘AI PC’라는 새로운 카테고리에 설득력을 부여한다. NPU의 계산속도는 50TOPS의 성능을 보여준다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 두 가지 백엔드에서 각각의 추론 정밀도별 결과를 비교한 테스트 결과, OpenVINO는 전반적으로 ONNX보다 높은 추론 성능을 보이며 CPU 기반 AI 처리에 강점을 드러냈다.

가장 두드러진 차이는 Quantized(INT8) 연산에서 나타났다. OpenVINO는 무려 10,646점을 기록하며 ONNX의 6,889점 대비 약 54.5% 더 높은 성능을 보여주었다. 이는 경량화된 모델이 주로 활용되는 엣지 환경이나 모바일 디바이스에서 OpenVINO가 최적화에 강하다는 점을 방증한다.

Half Precision(FP16) 연산에서도 OpenVINO는 3,823점을 기록, ONNX(1,662점) 대비 2.3배 이상의 성능 차이를 나타냈다. 부동소수점 연산에 있어서도 OpenVINO의 최적화가 효과적으로 작동하고 있음을 보여준다.

Single Precision(FP32)에서는 OpenVINO가 3,807점, ONNX가 3,128점을 기록하며, 상대적으로 차이는 적지만 여전히 OpenVINO가 우위를 유지했다. 이는 정밀한 연산이 필요한 고해상도 AI 작업에서도 일관된 성능을 기대할 수 있다는 의미로 해석된다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

AMD 라이젠AI 5 340 프로세서와 Radeon 840M GPU를 기반으로, ONNX + DirectML 환경에서의 AI 연산 정밀도별 점수를 살펴보자. Half Precision(FP16) 연산에서는 5,853점을 기록해 해당 기기의 병렬 연산 최적화 구조가 잘 반영된 것으로 나타났다. 이는 텍스트 생성, 음성 합성, 이미지 변환 등 부동소수점 연산 중심의 AI 워크로드에서 안정적인 속도를 기대할 수 있는 결과다.

Quantized(INT8) 연산 성능은 3,551점으로 측정되었다. 이는 전력 대비 효율이 중요한 모바일 AI 환경에서 준수한 성능을 보여주는 수치이며, OpenVINO와의 비교에서도 적절한 범주 내에서의 실용성을 확보하고 있다. Single Precision(FP32) 연산에서는 4,484점을 기록했다. 이는 복잡하고 정밀한 AI 연산에서는 다소 제한적일 수 있으나, 일반적인 실시간 추론 작업이나 고화질 이미지 처리 정도에는 충분히 대응 가능한 수준이다.

∴ Conclusion

ASUS 비보북 S 16 M5606KA-RI083의 Geekbench AI 벤치마크 결과를 종합하면, CPU 기반 AI 추론에서는 OpenVINO가 ONNX 대비 모든 정밀도(INT8, FP16, FP32)에서 우위를 보였으며, 특히 INT8 연산에서 10,646점으로 가장 높은 수치를 기록했다. 반면, GPU 연산에서는 ONNX Runtime-DirectML 환경이 FP16(5,853점)과 FP32(4,484점)에서 두각을 나타냈고, INT8은 상대적으로 낮은 성능(3,551점)을 보였다. 이처럼 연산 백엔드와 정밀도 조합에 따라 성능 편차가 명확히 드러나며, OpenVINO는 CPU에 최적화된 백엔드로, ONNX + DirectML은 GPU 부동소수점 연산에 적합한 구성이란 점이 확인됐다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

AMD 라이젠AI 5 340 플랫폼은 WinML 기반 AI 벤치마크에서도 뚜렷한 연산 성능 차이를 보였다. CPU, GPU, NPU 등 각 연산 장치별로 지원되는 정밀도(Float32, Float16, Integer)에 따라 성능 편차는 극명했다.

가장 높은 점수를 기록한 것은 NPU Integer 정밀도로, 무려 1,808점을 기록하며 CPU와 GPU를 압도하는 성능을 보였다. 이는 NPU가 양자화 모델에 최적화되어 있음을 방증하며, 실시간 음성 처리, 이미지 분류, 스마트 기능 실행 등 경량화 AI 응용에서 독보적이다.

GPU 환경에서는 Float16 정밀도가 176점으로 가장 우수했다. 뒤이어 GPU Float32는 130점, GPU Integer는 38점으로, 정밀도와 최적화 수준에 따라 성능 격차가 크다는 점이 확인됐다. 특히 GPU Integer의 낮은 점수는 범용 GPU에서의 양자화 처리 효율 한계를 보여준다.

CPU 환경에서는 Integer 정밀도가 162점으로 가장 높았으며, Float32는 89점, Float16은 46점으로 뒤를 이었다. 이는 CPU 기반 AI 연산이 상대적으로 제한적이지만, 경량 모델이나 저부하 환경에서는 일정 수준 대응이 가능함을 보여준다.

NPU Integer > GPU Float16 > CPU Integer > GPU Float32 > CPU Float32 > GPU Integer > CPU Float16

▲ AI 연산 성능 순

∴ Conclusion

결론적으로, WinML 환경에서도 NPU가 단연 최고의 연산 성능을 자랑하며, GPU는 FP16 기반 AI 워크로드에서 실용성을 보였다. 반면 CPU는 보조 연산용으로 제한적 활용이 권장되며, 고속 추론이 요구되는 작업에는 NPU 또는 GPU 중심의 아키텍처 설계가 필수적임을 이번 테스트가 입증했다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

Stable Diffusion 1.5 FP16 모델을 ONNX Runtime-DirectML 엔진 기반으로 테스트한 결과, SD 1.5 FP16 모델은 총점 102점을 기록했으며, 이미지 한 장을 생성하는 데 평균 60.728초가 소요되었다. 해당 점수는 유사 노트북 대비 상대적으로 높은 점수로 시스템이 일정 수준 이상의 최적화된 FP16 연산을 효율적으로 처리하고 있음을 의미한다. 총 16장의 이미지 생성이 완료되었으며, DirectML 엔진을 통해 원활한 추론이 진행된 것으로 보인다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 Text Generation Benchmark에서 Phi 모델을 통해 측정된 유일한 성능 데이터를 확보했다. 해당 테스트는 텍스트 생성 AI 모델의 실제 응답성 및 처리 효율을 측정하는 벤치마크로, 모델별 실시간 추론 성능의 방향성을 가늠할 수 있다.

Phi 모델은 종합 점수 217점을 기록했으며, 첫 토큰 생성 시간은 10.088초, 초당 생성 토큰 수는 18.589개, 총 실행 시간은 243.469초로 측정되었다. 절대적인 처리 속도 자체는 중간 수준이지만, 상대적으로 경량화된 하드웨어 환경에서도 안정적인 텍스트 생성을 구현해낸 것이 인상적이다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com