다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

GIGABYTE 게이밍 A16 3VH (SSD 512GB) (1,899,000원)는 AMD 라이젠 7(Zen4) 260 프로세서(최대 5.1GHz)와 RTX 5060 GPU를 탑재한 16인치 게이밍·그래픽 작업용 노트북이다. 2.2kg 무게와 76Wh 배터리를 갖추었으며, USB-PD와 DC 전원 방식을 모두 지원해 실내외 활용성이 뛰어난 것이 특징이다. “고성능 게이밍과 크리에이터 작업을 동시에 아우르는 합리적 선택지”라는 메시지를 전한다.

디스플레이는 2560x1600(WQXGA) 해상도의 16:10 화면비 패널로, 400nit 밝기와 165Hz 주사율을 지원한다. 고주사율 덕분에 게임에서는 매끄러운 움직임을, 그래픽 작업에서는 정밀한 색 표현과 높은 해상도를 제공한다. 메모리는 16GB가 기본 탑재되어 있으며, 사용자가 직접 교체·확장이 가능하다. 저장 장치는 512GB NVMe SSD 1개가 기본 장착되며, 여분 슬롯을 포함해 최대 2개까지 확장할 수 있어 대용량 게임과 작업 파일 관리에 유연하다.

핵심은 AMD 라이젠 7 CPU와 RTX 5060 GPU의 조합이다. AI 연산을 위한 NPU 16 TOPS, GPU TOPS 572 TOPS 성능이 포함되어 최신 AI 애플리케이션과 콘텐츠 제작 작업에도 대응할 수 있다. 프리도스(FreeDOS) 환경으로 제공되어, 사용자가 원하는 OS를 설치할 수 있다는 점도 유연성을 높인다. 최대 14시간의 사용 시간을 제공하는 배터리와 실용적 전원 옵션은 게이밍뿐 아니라 장시간의 그래픽 작업 환경에서도 안정적인 퍼포먼스를 뒷받침한다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 환경에서 동일 모델을 다양한 정밀도(INT8, FP16, FP32)로 테스트한 결과, GIGABYTE 게이밍 A16 3VH (SSD 512GB)의 CPU 기반 AI 연산은 확실한 성능 차이를 보여주었다.

우선 OpenVINO 최적화 환경에서는 모든 정밀도에서 확실한 우위를 기록했다. Quantized(INT8) 모드에서 15,921점을 기록해, 동일 조건에서 ONNX Runtime(4,522점) 대비 약 3.5배 높은 성능을 보였다. Half Precision(FP16)과 Single Precision(FP32) 역시 각각 5,086점과 5,078점으로 집계되어, 거의 동등한 처리 속도를 보이면서도 ONNX의 FP16(1,073점), FP32(2,220점) 대비 뚜렷한 차이를 보였다.

즉, OpenVINO 환경에서는 정밀도 구간에 따른 편차가 적고 안정적인 성능을 유지하는 반면, ONNX Runtime에서는 INT8 최적화에서만 의미 있는 결과를 보이고 FP16, FP32에서는 급격히 성능이 저하되는 양상을 보인다. 이는 GIGABYTE 게이밍 A16 3VH가 탑재한 AMD 라이젠7(Zen4) 260 CPU가 OpenVINO 최적화된 경량·부동소수점 연산에 특히 강점을 지니고 있음을 시사한다.

◎ DirectML Score 

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

GIGABYTE 게이밍 A16 3VH (SSD 512GB)는 RTX 5060 외장 GPU와 Radeon 780M 내장 GPU를 함께 탑재해, DirectML 환경에서의 GPU 연산 성능을 확인할 수 있었다. 테스트 결과, 두 GPU는 정밀도 구간(INT8, FP16, FP32)에 따라 확연히 다른 성능 양상을 보였다.

먼저 RTX 5060은 확실한 압도력을 보여주었다. Half Precision(FP16)에서 30,046점을 기록하며, 이미지 생성·영상 인코딩·합성 등 FP16 기반 워크로드에 최적화된 강력한 성능을 입증했다. Quantized(INT8) 구간에서도 12,561점으로 높은 수치를 보여, 엣지 추론과 전력 효율성을 동시에 확보했다. Single Precision(FP32) 역시 15,880점을 기록, 고정밀 연산 환경에서도 안정적인 성능을 제공한다.

반면 Radeon 780M은 내장 GPU의 한계를 보이면서도 보조 GPU로서 의미 있는 성능을 나타냈다. FP16에서 8,239점, FP32에서 4,473점, INT8에서 3,229점을 기록해, 저전력 기반의 보조 연산이나 가벼운 AI 추론, 멀티태스킹 보조 처리에는 충분히 활용 가능하다. 특히 CPU 및 NPU와 협력 구조를 형성할 경우, Radeon 780M은 경량 워크로드 분산 처리에 유용한 역할을 할 수 있다.

∴ Conclusion

GIGABYTE 게이밍 A16 3VH (SSD 512GB)의 AI 벤치마크 결과를 종합하면, CPU·iGPU·외장 GPU의 연산 특성이 뚜렷하게 구분된다. 먼저 CPU 기반 추론에서는 OpenVINO 최적화가 확실한 우위를 보였다. Quantized(INT8) 모드에서 15,921점으로 ONNX(4,522점) 대비 약 3.5배 높은 성능을 기록했으며, FP16(5,086점)과 FP32(5,078점) 역시 ONNX 대비 안정적이고 균형 잡힌 결과를 보였다. 이는 경량화 모델 추론뿐 아니라 고정밀 연산에서도 CPU가 일정한 퍼포먼스를 발휘함을 보여준다.

내장 GPU인 AMD Radeon 780M은 보조 연산자로서 의미 있는 결과를 남겼다. FP16에서 8,239점, FP32에서 4,473점, INT8에서 3,229점을 기록하며, CPU보다 높은 부동소수점 처리 성능을 발휘했다. 특히 FP16 성능은 CPU 대비 약 1.6배 높아, 저전력 기반의 보조 연산에 효과적이다.

메인 외장 GPU인 RTX 5060은 압도적인 성능을 과시했다. FP16에서 30,046점으로 Radeon 780M의 약 3.6배, CPU(OpenVINO)의 약 6배를 기록했다. FP32에서도 15,880점, INT8에서 12,561점으로 모든 연산 정밀도에서 가장 높은 수치를 보였다. 이는 대규모 이미지 생성, 영상 변환, 합성 등 GPU 가속이 중요한 워크로드에서 RTX 5060이 주도적인 역할을 한다는 것을 의미한다.

종합하면, GIGABYTE 게이밍 A16 3VH는 CPU(OpenVINO) 기반의 안정적 추론 + Radeon 780M의 보조적 역할 + RTX 5060의 고성능 연산이라는 3중 구조를 통해 게이밍, 크리에이티브, AI 워크로드 모두에 최적화된 성능 분담을 실현했다고 볼 수 있다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

WinML 기반 AI 벤치마크 결과를 종합하면, GIGABYTE 게이밍 A16 3VH (SSD 512GB)의 CPU·GPU·NPU 간 성능 차이가 뚜렷하게 드러난다.

먼저 GPU가 압도적인 성능을 보였다. Float16 정밀도에서 1,045점으로 최고 수치를 기록했으며, Float32가 517점, Integer가 279점으로 뒤를 이었다. 특히 Float16 연산에서는 MobileNet V3(0.57ms), ResNet50(0.99ms), YOLO V3(5.54ms) 등 주요 비전 모델에서 매우 빠른 처리 속도를 보여, 이미지 생성·인식·딥러닝 추론 같은 워크로드에 최적화된 모습을 입증했다.

CPU는 Integer에서 136점으로 가장 높은 성능을 보였고, Float32가 100점, Float16이 46점으로 뒤를 이었다. MobileNet V3(0.79~1.18ms)에서는 빠른 속도를 보였으나, Inception V4(35~70ms), YOLO V3(43~137ms), REAL-ESRGAN3(5,588~10,594ms) 등 복잡한 모델에서는 GPU 대비 크게 뒤처졌다. CPU는 경량 모델이나 저부하 환경에 적합하지만, 고난도 연산에서는 확실한 한계가 드러났다.

GPU Float16 > GPU Float32 > GPU Integer > CPU Integer > CPU Float32 > CPU  Float16

▲ AI 연산 성능 순

AI TensorRT

AI TensorRT 벤치마크 결과를 보면, GIGABYTE 게이밍 A16 3VH (SSD 512GB)는 GPU 정밀도별 성능에서 뚜렷한 계층적 차이를 보여줬다. 우선 Integer 연산에서 2,375점을 기록하며 최상위 성능을 달성했다. MobileNet V3(0.31ms), ResNet 50(0.42ms), Inception V4(1.18ms), YOLO V3(2.45ms), REAL-ESRGAN3(54.97ms)까지 모든 테스트에서 가장 빠른 응답 속도를 확보했다. 이는 양자화 모델 기반의 저전력·고효율 AI 워크로드에서 탁월한 최적화 결과를 입증한 것이다.

Float16 연산은 1,866점으로 뒤를 이었으며, Inception V4(1.42ms), DeepLab V3(5.08ms), YOLO V3(2.94ms) 등 복잡한 모델에서도 안정적인 속도를 유지했다. 특히 고해상도 이미지 변환과 영상 처리 같은 실시간 응용 분야에서 GPU의 병렬 처리 능력이 강력하게 발휘됐다.

Float32 연산은 833점을 기록했으며, 상대적으로 높은 정밀도를 요구하는 모델에서 의미 있는 결과를 보였다. DeepLab V3(6.56ms), YOLO V3(7.58ms), REAL-ESRGAN3(329.72ms) 같은 테스트에서도 꾸준히 처리 속도를 유지해, 데이터 분석·그래픽 작업·정밀 추론 환경에 적합함을 보여줬다.

∴ Conclusion

종합하면, GIGABYTE 게이밍 A16 3VH는 GPU가 메인 가속기, CPU는 보조 연산, NPU는 경량·저전력 워크로드 지원이라는 3중 구조를 보여주며, AI 연산 전반에서 강력한 범용성을 제공한다고 평가할 수 있다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

GIGABYTE 게이밍 A16 3VH (SSD 512GB)의 Stable Diffusion 1.5 벤치마크 결과를 종합하면, 정밀도와 엔진별로 성능 편차가 극명하게 드러난다. 먼저 SD 1.5 INT8 (TensorRT) 환경이 가장 뛰어난 성능을 보였다. 총점은 15,815점, 이미지 한 장 생성 속도는 평균 1.976초, 8장 이미지를 안정적으로 처리하며 압도적인 효율을 입증했다. INT8 양자화 모델의 장점이 극대화된 결과로, 속도와 효율 면에서 가장 실사용성이 높다.

다음으로 SD 1.5 FP16 (TensorRT)는 총점 1,212점, 이미지 생성 속도 5.155초(16장)로 측정되었다. FP16 연산 최적화 덕분에 부동소수점 기반 환경에서도 안정적인 결과를 제공하며, 그래픽 생성·편집 워크로드에서 활용도가 높다. 반면 ONNX Runtime-DirectML Olive 환경에서는 총점 117점, 평균 53.23초(16장), DirectML AMD 환경은 총점 119점, 평균 52.116초(16장)으로 나타나, 동일 FP16이라도 TensorRT 대비 10배 이상 느린 속도를 기록했다. 이는 런타임 최적화 및 드라이버 수준 차이에 기인한 것으로 분석된다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 Text Generation Benchmark 결과, GIGABYTE 게이밍 A16 3VH (SSD 512GB)는 경량·중형 언어 모델 처리에서 안정적인 성능을 보였다. 가장 높은 성능을 기록한 것은 Phi 모델로, 종합 점수 1,955점을 달성했다. 첫 토큰 생성 시간은 0.497초로 빠른 초기 응답성을 보였으며, 초당 74.16 토큰을 생성해 전체 실행 시간을 40.095초로 단축시켰다. 이는 경량화 모델 최적화 환경에서 가장 효율적인 선택지임을 입증한다.

Mistral 모델은 종합 점수 1,809점으로 Phi보다는 낮았지만 준수한 성능을 보여줬다. 첫 토큰 생성 시간은 0.758초, 초당 54.575 토큰, 총 실행 시간은 54.934초로, 중형 LLM 워크로드에서 안정적인 결과를 제공했다. Llama3 모델은 종합 점수 1,615점으로 다소 뒤처졌다. 첫 토큰 생성 시간은 0.748초로 Mistral과 유사했으나, 초당 47.977 토큰, 총 실행 시간 62.052초로 처리 속도가 떨어졌다. 이는 장기 텍스트 생성보다는 비교적 짧은 응답 환경에 적합하다.

종합하면, Phi > Mistral > Llama3 순으로 성능 우위를 보였으며, 특히 Phi 모델은 빠른 응답성과 높은 처리량을 동시에 제공해, 실시간 텍스트 생성 워크로드에서 가장 경쟁력 있는 모델로 평가된다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com