다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

HP 오멘 16-ap0074AX (SSD 512GB) (1,970,000원)은 AMD 라이젠 AI 7 350 프로세서와 RTX 5060 GPU를 탑재한 퍼포먼스 중심의 16인치 게이밍 노트북으로, AI 연산과 그래픽 성능을 균형 있게 결합한 ‘AI 게이밍 스탠더드’ 모델이다. 2560x1600(WQXGA) 해상도의 16인치 디스플레이는 500nit 밝기와 240Hz 주사율을 지원해, e스포츠급 반응 속도와 뛰어난 색 표현력을 동시에 확보했다.

2.45kg의 무게로 휴대성과 데스크탑 대체 성능을 절충했으며, 게임뿐 아니라 영상 편집, 3D 모델링 등 그래픽 작업용으로도 충분한 스펙을 갖췄다. 메모리는 32GB로 여유롭게 구성되어 있으며, 슬롯 교체가 가능해 향후 확장성도 보장된다. 저장장치는 512GB NVMe SSD 1개로 구성되며, 추가 슬롯 1개를 통해 듀얼 스토리지 확장도 가능하다.

CPU는 AMD 라이젠 AI 7 350(최대 5.0GHz)으로, 내장 NPU가 50 TOPS의 AI 연산 성능을 제공한다. 이를 통해 영상 인식, 음성 처리, AI 어시스턴트 등 로컬 AI 기능을 빠르고 효율적으로 처리할 수 있다. GPU는 RTX 5060(최대 TGP 115W)으로, DLSS 3·Ray Tracing·Tensor 연산 등 최신 AI 그래픽 기술을 지원해 고해상도 게이밍과 실시간 그래픽 처리에 강점을 보인다. (GPU 572 TOPS)

전원은 USB-PD와 DC 어댑터를 모두 지원하며, 70Wh 배터리를 탑재해 휴대 중에도 안정적인 전력 공급이 가능하다. 프리도스(FreeDOS) 환경으로 출고되어, 사용자가 원하는 운영체제를 자유롭게 설치할 수 있다는 점 또한 특징이다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 환경에서 동일 모델을 세 가지 정밀도(INT8, FP16, FP32)로 테스트한 결과, CPU 기반 AI 연산에서도 준수한 최적화 효율을 보였다.

OpenVINO에서는 Quantized(INT8) 구간에서 13,342점을 기록하며, 동일 환경의 ONNX Runtime 대비 약 1.85배 높은 성능을 나타냈다. Half Precision(FP16)과 Single Precision(FP32)에서도 각각 4,962점과 5,028점으로, 정밀도 간 성능 차이가 거의 없는 균형 잡힌 결과를 보였다. 이는 AMD 라이젠 AI 7 350 프로세서의 NPU 50TOPS 구조와, OpenVINO의 연산 최적화가 유기적으로 작용한 결과로 해석된다.

반면 ONNX Runtime의 경우 Quantized(INT8)에서 7,203점, FP16에서 1,737점, FP32에서 3,356점으로, 전반적으로 OpenVINO 대비 낮은 점수를 기록했다. 특히 FP16 정밀도 구간에서는 성능 저하 폭이 크게 나타나, ONNX 환경의 CPU 최적화 한계를 확인할 수 있었다.

결론적으로 OpenVINO INT8 환경에서 약 85% 이상의 성능 우위를 확보하며, AI 추론·경량 모델 처리·엣지 기반 연산에 특화된 구조를 지녔다. 즉, GPU뿐 아니라 CPU 단에서도 효율적인 AI 연산이 가능한 “밸런스형 AI 게이밍 노트북”으로 평가된다.

◎ DirectML Score 

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

HP 오멘 16-ap0074AX (SSD 512GB)는 RTX 5060 외장 GPU와 Radeon 860M 내장 GPU를 모두 탑재한 하이브리드 구조로, ONNX + DirectML 환경에서의 벤치마크 결과 명확한 성능 격차를 드러냈다.

RTX 5060은 Half Precision(FP16)에서 33,547점을 기록하며, 그래픽 연산·AI 추론·딥러닝 워크로드 전반에서 탁월한 성능을 입증했다. Quantized(INT8) 연산에서도 13,182점, Single Precision(FP32) 구간에서 16,864점을 기록해, 모든 정밀도 구간에서 Radeon 860M 대비 약 3배 이상의 성능 우위를 보였다. 특히 FP16에서의 고성능은 Stable Diffusion·Luma·Runway 등 생성형 AI 툴 실행 시 프레임 처리 효율과 추론 속도 향상으로 이어진다.

반면 Radeon 860M은 내장 GPU 특성상 절대 성능은 낮지만, 에너지 효율 중심의 성능을 보여주었다. FP16 구간에서 10,235점, FP32에서 6,787점, INT8에서 4,926점을 기록해, 저전력·보조 연산 환경에 적합한 수준으로 평가된다. 특히 CPU 내 NPU(50TOPS)와의 협업 시에는 로컬 AI 모델이나 경량화된 ONNX 네트워크를 효율적으로 처리할 수 있다.

결론적으로, HP 오멘 16은 RTX 5060이 메인 AI·그래픽 연산을 전담하고, Radeon 860M이 보조적·저전력 연산을 담당하는 듀얼 구조를 통해, 크리에이티브·게이밍·AI 추론 등 다양한 시나리오에서 성능과 효율을 모두 잡은 “AI 게이밍 하이브리드 시스템”으로 평가된다.

∴ Conclusion

CPU(OpenVINO)는 Quantized(INT8) 구간에서 13,342점으로 최고점을 기록했으며, Half(FP16)와 Single(FP32) 구간에서도 각각 4,962점, 5,028점으로 안정적인 수치를 보였다. 반면 CPU(ONNX)에서는 INT8 7,203점, FP16 1,737점, FP32 3,356점으로 전반적으로 OpenVINO 대비 약 1.8배 낮은 효율을 보였다. 이는 AMD 플랫폼에서도 OpenVINO 최적화가 CPU 기반 추론 성능 향상에 유효함을 의미한다.

다음으로 GPU 성능 비교(DirectML 기준)에서는 외장 GPU RTX 5060과 내장 GPU Radeon 860M 간의 격차가 두드러졌다. RTX 5060은 FP16 구간에서 33,547점으로 최고치를 기록했으며, FP32는 16,864점, INT8은 13,182점으로 나타났다. 특히 FP16 성능이 압도적으로 높은 것은 Tensor Core 기반 FP16 연산 구조가 AI 생성형 워크로드에 최적화되어 있기 때문이다.

반면 Radeon 860M은 FP16 10,235점, FP32 6,787점, INT8 4,926점으로 RTX 5060 대비 약 3분의 1 수준의 절대 성능을 보였다. 다만 CPU 내 통합형 GPU로서 저전력·보조 연산 효율은 높아, 로컬 AI 추론이나 엣지 환경에서의 역할을 담당하기 적합하다.

결론적으로 RTX 5060이 AI·그래픽 연산의 주력, 라이젠 AI 7 350의 CPU·NPU가 정밀 추론과 효율적 병렬 처리의 보조 역할을 수행하는 구조로, AI 추론·콘텐츠 제작·게이밍 환경 모두에서 높은 균형성과 효율성을 확보한 ‘AI 게이밍 하이브리드 노트북’으로 평가된다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

WinML 기반 AI 연산 벤치마크 결과를 보면, HP 오멘 16-ap0074AX (SSD 512GB)는 CPU·GPU·NPU 세 가지 연산 유닛이 명확히 역할을 분담한 하이브리드 AI 구조를 보여준다. 각 연산 단위는 정밀도(Float32·Float16·Integer)에 따라 성능 차이가 뚜렷하며, 특히 NPU 중심의 효율적 처리 구조가 두드러진다.

먼저 NPU(라이젠 AI 7 350, 50TOPS)는 Integer 구간에서 1,889점을 기록하며 전체 중 가장 높은 성능을 보였다. 이는 MobileNet V3(0.22ms), ResNet 50(0.77ms), Inception V4(1.6ms) 등 주요 모델에서 가장 낮은 지연시간(latency)을 달성하며, 로컬 AI 추론·음성 인식·이미지 처리 등 경량 모델 중심의 워크로드에서 절대적인 효율을 발휘한다.

GPU(RTX 5060)는 Float16 정밀도에서 1,262점, Float32에서 564점, Integer에서 283점을 기록했다. FP16 연산에서의 두드러진 성능은 Tensor Core를 통한 대규모 행렬 연산 병렬화 덕분이며, 영상 생성, 업스케일링(REAL-ESRGAN3 108.54ms), 딥러닝 기반 이미지 복원 등의 워크로드에서 최적화된 처리 속도를 보였다.

반면 CPU(라이젠 AI 7 350)는 Float32 107점, Float16 62점, Integer 147점으로 GPU·NPU 대비 낮은 절대 성능을 보였으나, 정수 연산 효율이 우세해 모델 양자화(INT8) 환경에서 실용적인 연산 자원으로 활용 가능하다. 특히 MobileNet V3와 DeepLab V3 같은 소형 네트워크에서는 GPU 대비 전력 효율 측면에서 유리하다.

NPU Integer > GPU Float16 > GPU Float32 > GPU Integer > CPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

AI TensorRT

AITensorRT 벤치마크 결과, RTX 5060 GPU는 정밀도별 연산 효율에서 뚜렷한 차이를 보이며, 정수형 연산(INT8) 환경에서 가장 높은 성능을 기록했다.

가장 인상적인 결과는 Integer(INT8) 구간으로, 총점 2,559점을 달성했다. MobileNet V3(0.31ms), ResNet 50(0.41ms), Inception V4(1.09ms), DeepLab V3(3.54ms), YOLO V3(2.35ms), REAL-ESRGAN3(47.65ms) 등 모든 모델에서 가장 짧은 추론 시간을 기록하며, 실시간 AI 추론 및 엣지 환경 최적화에 매우 적합한 결과를 보였다.

그 다음은 Float16(FP16) 구간으로 2,030점을 기록했다. FP16은 대규모 이미지 생성이나 영상 분석 등 고속 부동소수점 연산이 필요한 워크로드에서 강점을 보이며, YOLO V3(2.58ms), Inception V4(1.45ms), REAL-ESRGAN3(87.63ms) 등에서 FP32 대비 3배 이상 빠른 처리 속도를 나타냈다. 이는 RTX 5060의 Tensor Core가 FP16 연산을 효율적으로 병렬 처리한 결과다.

마지막으로 Float32(FP32) 구간에서는 911점을 기록했다. 상대적으로 속도는 느리지만, 높은 정밀도를 유지해 Inception V4(4.63ms), DeepLab V3(5.81ms), YOLO V3(7.26ms) 등에서 안정적인 추론 결과를 제공했다.

∴ Conclusion

HP 오멘 16-ap0074AX (SSD 512GB)의 AI 가속 성능 종합 결과를 보면, CPU·GPU·NPU의 세 가지 연산 축이 서로 다른 백엔드 최적화 환경에서 강점을 분명히 드러내는 구조로 나타났다.

가장 높은 성능은 AITensorRT Integer(2,559점) 구간으로, RTX 5060 GPU가 INT8 정수형 양자화 모델에서 압도적인 효율을 보였다. 이는 Tensor Core의 정수 연산 최적화 덕분으로, 실시간 추론·비전 처리·엣지 AI 작업에 최적화된 구조임을 입증한다. 이어서 FP16(2,030점)과 FP32(911점)이 뒤를 이었으며, 대규모 영상·이미지 생성형 AI 환경에서도 안정적 성능을 유지했다.

WinML 환경에서는 GPU의 Float16(1,262점), Float32(564점), Integer(283점) 순으로 기록되었다. FP16에서의 높은 수치는 WinML이 RTX 5060의 병렬 연산 구조를 효과적으로 활용하고 있음을 보여준다. 한편, CPU는 Integer(147점), Float32(107점), Float16(62점)으로 상대적으로 낮지만, 정수 연산 효율이 높은 안정형 구조로 평가된다.

NPU(OpenVINO 기반)는 Integer 구간에서 1,889점을 기록해, 저전력·고효율 연산에 최적화된 모습을 보였다. 이는 CPU 대비 약 12배 높은 성능 효율로, 음성 인식·사진 보정·로컬 AI 추론 등의 백그라운드 처리에서 뛰어난 효율을 발휘한다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

이미지 생성 AI 벤치마크 결과를 보면, TensorRT 기반 SD 1.5 INT8 환경에서 가장 높은 성능을 기록했다. 총점은 18,416점, 이미지 한 장당 평균 생성 속도는 1.697초로, 테스트된 모든 환경 중 가장 빠른 결과를 보였다. 이는 INT8 양자화 모델이 RTX 5060의 Tensor Core INT8 최적화 경로를 최대한 활용한 결과로, 효율성과 처리 속도 모두에서 압도적인 우위를 보였다.

그 다음으로는 SD 1.5 FP16 (TensorRT) 환경으로, 총점 1,415점, 1장당 4.416초의 속도를 기록했다. INT8 대비 처리 시간은 다소 길지만, FP16 특유의 고품질 이미지 생성 능력과 정밀도 유지력 덕분에 실사용 시 균형 잡힌 성능을 제공한다. 특히 장시간 반복 생성에도 발열이나 쓰로틀링 없이 일정한 속도를 유지했다.

반면 ONNX Runtime–DirectML 기반 SD 1.5 FP16 환경에서는 AMD 엔진이 총점 195점, Olive 엔진이 181점으로 TensorRT 대비 현저히 낮은 결과를 보였다. 생성 속도는 각각 31.95초/장과 34.45초/장으로, Tensor Core를 직접 활용하지 못하는 DirectML 백엔드의 한계를 확인할 수 있다.

SDXL FP16 (TensorRT) 모델은 총점 1,100점, 34.074초/장으로 SD 1.5 대비 약 8~10배 느린 결과를 기록했다. 이는 모델 파라미터 수가 대폭 증가함에 따라 VRAM 점유율과 연산량이 크게 늘어난 탓이다. 다만, 대형 모델 특유의 세밀한 디테일 표현력은 유지되어 고해상도 생성 작업에는 여전히 유효하다.

◎ Text Generation Benchmark - ONNX

ONNX Runtime 환경에서 수행된 Text Generation Benchmark 결과, 경량~중형 언어 모델 처리에 탁월한 응답 속도와 추론 효율을 보였다.

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 1,628점을 기록했다. 첫 토큰 생성 시간은 0.574초, 초당 59.348 토큰(t/s)을 처리하며, 전체 실행 시간을 49.624초로 단축시켰다. 이는 초기 응답성과 처리 효율 모두에서 균형 잡힌 결과로, HP 오멘 16의 CPU-NPU-GPU 하이브리드 연산 구조가 언어 모델 추론에 효과적으로 작용했음을 보여준다.

Mistral 모델은 종합 점수 1,447점, 첫 토큰 생성 시간 0.956초, 초당 43.897 토큰, 전체 실행 시간 68.063초로 측정되었다. Phi보다는 다소 느리지만, 안정성과 연속 처리 효율이 뛰어나 중형 LLM 환경에서 실용적인 퍼포먼스를 제공했다.

Llama3는 종합 점수 1,249점, 첫 토큰 생성 시간 1.003초, 초당 38.539 토큰, 전체 실행 시간 77.676초로 나타났다. 모델 크기 대비 일정한 처리 효율을 유지하며, 멀티 태스크 및 오프라인 텍스트 생성 워크로드에서도 충분한 응답성을 보였다.

Llama2는 테스트 구간에서 데이터가 집계되지 않았으나, 상위 세 모델의 결과만으로도 HP 오멘 16이 ONNX Runtime 기반 AI 텍스트 생성 및 로컬 언어 모델 추론에 최적화된 노트북임을 입증했다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com