다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

에이서 프레데터 헬리오스 네오 16S 슬림 AI PHN16S-71-91JF (2,298,000원)는 인텔 코어 울트라 9 275HX와 RTX 5060 외장그래픽을 탑재한 16인치 하이엔드 노트북으로, 무게는 2.3kg이지만 퍼포먼스는 데스크톱급에 가깝다. 고사양 게이밍은 물론 AI 생성 작업이나 영상 편집 등 복합적인 연산에 특화된 제품으로, “게이밍과 생성AI, 양쪽을 모두 아우르는 차세대 성능의 기준”을 제시한다.

디스플레이는 2560x1600 WQXGA 해상도에 240Hz 고주사율, 400nit 밝기를 갖춰 몰입감 있는 그래픽 작업이나 게임 플레이 환경에 최적화되었다. 32GB의 넉넉한 메모리와 1TB NVMe SSD는 대용량 작업이나 고속 캐시 처리에 강점을 지니며, 듀얼 SSD 슬롯 구성으로 확장성도 챙겼다. 배터리는 76Wh 용량으로 USB-PD 및 DC 충전 모두를 지원한다.

이 제품의 핵심은 인텔 코어 울트라 9 275HX의 내장 NPU다. 13 TOPS의 연산 성능을 기반으로, Copilot을 포함한 다양한 생성형 AI 기능을 온디바이스에서 빠르게 처리할 수 있다. RTX 5060 GPU(115W TGP)와의 조합은 영상 생성(GPU 572 TOPS), AI 트레이닝, 실시간 렌더링 등에서 강력한 하드웨어 시너지를 낸다. 게이밍 중심의 DNA를 계승하면서도 AI 시대에 발맞춘 기술을 갖춘 ‘올인원 고성능 머신’으로 요약할 수 있다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 두 가지 백엔드에서 각각의 추론 정밀도별 결과를 비교한 테스트 결과, OpenVINO는 전반적으로 ONNX보다 높은 추론 성능을 보이며 CPU 기반 AI 처리에 강점을 드러냈다. 가장 두드러진 차이는 Quantized(INT8) 연산에서 나타났다. OpenVINO는 13,341점을 기록하며 ONNX의 9,175점 대비 약 45.5% 더 높은 성능을 보여주었다. 이는 경량화된 모델이 주로 활용되는 엣지 환경이나 모바일 디바이스에서 OpenVINO가 최적화에 강하다는 점을 방증한다.

Half Precision(FP16) 연산에서도 OpenVINO는 8,113점을 기록, ONNX(2,045점) 대비 약 4배 가까운 성능 차이를 나타냈다. 부동소수점 연산에 있어서도 OpenVINO의 최적화가 효과적으로 작동하고 있음을 보여준다. Single Precision(FP32)에서는 OpenVINO가 8,117점, ONNX가 6,179점을 기록하며, 상대적으로 차이는 적지만 여전히 OpenVINO가 우위를 유지했다. 이는 정밀한 연산이 필요한 고해상도 AI 작업에서도 일관된 성능을 기대할 수 있다는 의미로 해석된다.

종합하면, 에이서 프레데터 헬리오스 네오 16S 슬림 AI는 온디바이스 AI 연산에서 안정적이고 강력한 퍼포먼스를 제공하는 하이브리드 노트북임을 입증했다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

ONNX + DirectML 환경을 통한 AI 연산 정밀도별 점수를 살펴보면 Half Precision(FP16) 연산에서는 34,922점을 기록해 해당 기기의 GPU 병렬 연산 최적화 구조가 잘 반영된 것으로 나타났다. 이는 텍스트 생성, 음성 합성, 이미지 변환 등 부동소수점 연산 중심의 AI 워크로드에서 매우 빠른 처리 속도와 안정적인 응답성을 기대할 수 있는 결과다.

Quantized(INT8) 연산 성능은 14,045점으로 측정되었다. 이는 전력 대비 연산 효율이 중요한 모바일·로컬 AI 환경에서도 준수한 성능을 보여주는 수치다. 특히 경량화 모델을 활용하는 Copilot 같은 온디바이스 AI 기능에서 실용성을 높여준다. Single Precision(FP32) 연산에서는 17,788점을 기록했다. 이는 복잡하고 정밀한 AI 연산이 요구되는 초해상도 이미지 처리나 멀티모달 AI 추론 환경에서도 충분히 대응 가능한 수준임을 보여준다.

종합하면, ONNX + DirectML 환경에서 헬리오스 네오 16S는 FP16 연산 최적화에 강점을 가진 GPU 기반 AI 머신으로, 경량 연산부터 고정밀 추론까지 두루 소화할 수 있는 성능을 입증했다.

◎ GPU, NPU

외장 GPU뿐 아니라 NPU 환경까지 포함한 테스트에서도 OpenVINO 툴킷은 효율적인 AI 추론 성능을 발휘하며, 특히 경량화된 모델 처리(Quantized, INT8)에서 뚜렷한 강점을 보였다.

OpenVINO GPU 테스트에서 Quantized(INT8) 연산은 13,219점을 기록했고, 동일 환경에서 NPU는 15,222점으로 GPU보다 더 높은 점수를 냈다. 이는 저전력·고효율 AI 워크로드에서 NPU 최적화가 강력히 작동하고 있음을 보여주는 결과다.

Half Precision(FP16) 연산에서는 GPU가 8,861점, NPU가 9,958점을 기록하며, 두 연산 자원이 모두 안정적인 성능을 제공했다. Single Precision(FP32) 연산에서는 GPU가 5,642점, NPU가 8,234점으로 측정되어, 정밀한 연산 환경에서는 NPU가 더 높은 처리력을 보였다.

∴ Conclusion

Geekbench AI 벤치마크 결과를 종합하면, 플랫폼과 정밀도(INT8, FP16, FP32) 조합에 따라 성능 특성이 명확히 갈린다는 점이 확인됐다.

CPU 기반 AI 추론에서는 OpenVINO가 ONNX 대비 모든 정밀도에서 우위를 보였다. 특히 Quantized(INT8) 연산에서는 13,341점으로 ONNX의 9,175점보다 약 45% 높은 성능을 기록했다. FP16(8,113점)과 FP32(8,117점) 구간에서도 OpenVINO가 ONNX(각각 2,045점, 6,179점)를 크게 앞지르며, 인텔 CPU와의 최적화된 결합력을 보여주었다.

GPU 연산에서는 상황이 달라졌다. OpenVINO GPU는 INT8 연산에서 13,219점으로 준수한 성능을 보였지만, ONNX Runtime + DirectML 조합은 FP16(34,922점)과 FP32(17,788점)에서 압도적인 성능을 기록하며, 부동소수점 연산 환경에서 GPU 병렬 연산 최적화가 강하게 작동함을 입증했다.

또한 NPU 기반 OpenVINO는 INT8(15,222점), FP16(9,958점), FP32(8,234점)에서 GPU 대비 안정적인 성능과 더 나은 전력 효율을 동시에 확보하며 온디바이스 AI 연산에 최적화된 모습을 보였다.

결과적으로, OpenVINO는 CPU와 NPU 연산에서 강점을 지닌 백엔드이며, ONNX + DirectML은 GPU 부동소수점 연산에 특화된 최적화 환경이라는 점이 확인됐다. 헬리오스 네오 16S는 CPU·GPU·NPU 모두를 활용할 수 있는 구조를 갖추며, “멀티 AI 실행 플랫폼”이라는 새로운 가능성을 보여준 것이다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

CPU 환경에서는 Integer 정밀도(159점)가 가장 높은 성능을 보였으며, Float32(152점), Float16(55점)이 뒤를 이었다. MobileNet V3와 ResNet50과 같은 경량 모델에서는 응답 시간이 빠르게 나왔지만, Inception V4·DeepLab V3·REAL-ESRGAN3와 같은 복잡한 모델에서는 처리 시간이 상대적으로 길게 측정됐다. 이는 CPU 기반 AI 연산이 범용성은 확보하지만, 고부하 환경에서는 한계가 있음을 보여준다.

GPU에서는 Float16 정밀도(1,156점)가 압도적으로 가장 높은 점수를 기록했다. Float32는 571점, Integer는 277점으로 측정되었다. 특히 ResNet50, Inception V4, YOLO V3 등 부동소수점 연산에 최적화된 모델에서 GPU Float16이 뛰어난 처리 속도를 보였으며, 고해상도 이미지 복원(REAL-ESRGAN3) 같은 비전 작업에서도 GPU가 가장 안정적이었다.

 GPU Float16 > GPU Float32 > GPU Integer > CPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

◎ Computer Vision Benchmark - AI OpenVino

OpenVINO 환경에서 실행된 컴퓨터 비전 벤치마크를 통해 CPU, GPU, NPU 각각의 특성을 드러냈다. 정밀도(Float32, Float16, Integer)별 성능 차이가 뚜렷하게 나타나면서, 실제 활용 시 어떤 연산 장치와 설정이 적합한지 확인할 수 있었다.

CPU 환경에서는 Integer 정밀도(367점)가 가장 높은 점수를 기록했다. Float16(197점)과 Float32(190점)는 거의 비슷한 성능을 보였으나, Integer는 복잡한 연산 모델에서도 상대적으로 짧은 지연 시간을 확보하며 확연한 우위를 보였다. YOLO V3와 ESRGAN3와 같이 실시간 응답성이 중요한 모델에서도 Integer 방식은 CPU 기반 환경에서 안정적인 처리 속도를 보여줬다.

GPU에서는 Integer 정밀도(478점)가 가장 높은 성능을 기록했으며, Float16(319점), Float32(184점) 순으로 뒤를 이었다. 특히 ESRGAN3 업스케일링 테스트에서 GPU Integer는 546ms 수준으로 CPU Integer보다 빠른 응답성을 확보해, 대규모 이미지 업스케일링 같은 고부하 작업에서 GPU의 강점을 입증했다.

NPU는 전용 AI 연산 장치답게 가장 두드러진 결과를 보였다. Integer 정밀도에서 708점으로 최고치를 달성했고, Float16 역시 385점으로 GPU와 CPU 대비 높은 수치를 기록했다. Inception V4와 ResNet50 같은 복잡한 모델에서도 빠른 응답 시간을 확보하며, 실시간 이미지 분석·업스케일링·경량 AI 모델 처리에서 최적화된 모습을 보였다.

NPU Integer > NPU Float16 > GPU Integer > CPU Integer > CPU Float16 > GPU Float16 

> CPU Float32 > GPU Float32

▲ AI 연산 성능 순

AI TensorRT

AI TensorRT 벤치마크 결과, GPU Integer 정밀도에서는 총점 2,697점을 기록하며 최상위 성능을 달성했다. MobileNet V3(0.19ms), ResNet 50(0.39ms), Inception V4(1.08ms), YOLO V3(2.05ms), REAL-ESRGAN3(74.17ms) 등 주요 비전 모델에서 빠른 추론 속도를 보여주며, 양자화 모델 기반의 저전력·고효율 AI 워크로드에 최적화된 모습을 확인할 수 있었다.

그 뒤를 이은 GPU Float16은 총점 2,217점으로, 부동소수점 환경에서도 우수한 응답성을 보였다. Inception V4(1.36ms), DeepLab V3(3.91ms), REAL-ESRGAN3(85.69ms) 등에서 안정적인 성능을 발휘하며, 영상 분석·객체 인식과 같은 실시간 AI 응용 분야에서 탁월한 선택지를 제공한다.

마지막으로 GPU Float32 정밀도는 총점 925점으로, 상대적으로 낮은 점수지만 고정밀 연산 환경에서의 안정성을 입증했다. DeepLab V3(5.78ms), YOLO V3(7.67ms), REAL-ESRGAN3(289.56ms) 등 고부하 모델에서도 일관된 성능을 유지해, 생성형 AI 및 고정밀 영상 처리에 적합함을 보여준다.

∴ Conclusion

이번 성능 테스트는 CPU, GPU, NPU 전 영역에 걸쳐 OpenVINO, WinML, AITensorRT 환경에서의 추론 성능을 측정한 것으로, 실제 AI 활용 시나리오에 대한 다각적 분석을 가능하게 했다.

가장 주목할 부분은 GPU 부문이다. AITensorRT 기반 Integer 연산에서 2,697점을 기록하며 전체 최고 성능을 달성했다. 이어서 Float16(2,217점), Float32(925점) 순으로 뒤를 이었는데, 이는 고정밀 연산부터 경량화 모델까지 GPU가 전방위적으로 최적화되어 있음을 보여준다. 특히 Integer 정밀도는 양자화 모델 기반 AI 추론에서 저전력·고효율을 동시에 확보할 수 있음을 입증했다.

OpenVINO 환경에서는 GPU Integer가 478점, Float16이 319점으로 강세를 보였다. CPU Integer도 367점으로 확인되어, 범용 연산 환경에서의 안정적인 대응력을 입증했다. 흥미로운 점은 NPU 부문으로, Float16은 385점, Integer는 708점을 기록해 GPU보다는 낮지만 특정 저전력 AI 워크로드에서 활용 가능성을 보여줬다.

반면 WinML 환경에서는 GPU Float16(1,156점)과 Float32(571점)에서 비교적 높은 점수가 측정되었으나, CPU Float16은 55점으로 가장 낮은 수치를 기록했다. 이는 윈도우 네이티브 ML 환경에서의 최적화 편차를 보여주는 사례로, GPU 중심의 워크로드에는 적합하지만 CPU 기반 고속 연산에는 한계가 있음을 시사한다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

에이서의 프레데터 헬리오스 네오 16S 슬림 AI는 최신 AI 워크로드 최적화가 적용된 게이밍·크리에이터 노트북으로, 특히 이미지 생성(AI Image Generation) 성능에서 두드러진 결과를 보였다. Stable Diffusion 1.5 및 SDXL 모델을 기반으로 TensorRT, OpenVINO, DirectML 등 다양한 엔진 환경에서 벤치마크가 진행됐다.

테스트 결과 가장 눈에 띄는 항목은 Stable Diffusion 1.5 INT8 모델을 TensorRT 엔진으로 실행했을 때였다. 총점 15,973점을 기록하며 전체 항목 중 최고치를 달성했고, 이미지 한 장당 생성 속도는 평균 1.956초로 측정되었다. 이는 경량화 모델 최적화의 극대화를 보여주는 결과로, 대량 이미지 생성 시 압도적인 효율성을 확보할 수 있음을 입증한다.

FP16 환경에서는 다소 편차가 존재했지만, TensorRT 기반 SD 1.5 FP16 모델은 총점 1,285점과 초당 4.86초의 처리 속도를 보여 안정성과 속도의 균형을 갖췄다. 반면, OpenVINO 및 DirectML 환경에서는 점수가 상대적으로 낮았고, 특히 OpenVINO 기반 SDXL FP16 모델은 총점 53점, 이미지당 706초에 달하는 속도로 한계가 드러났다.

차세대 모델인 SDXL FP16의 경우, TensorRT 엔진에서 총점 992점, 이미지당 37.7초라는 준수한 결과를 기록했다. DirectML 기반 실행은 561~712점으로 다소 낮았으나, 여전히 실사용 가능성을 확인할 수 있었다. 다만 OpenVINO에서는 속도가 크게 저하되어 제한적인 활용에 그쳤다.

이번 결과는 헬리오스 네오 16S 슬림 AI가 TensorRT 기반 워크로드에서 가장 강력한 성능을 발휘한다는 점을 명확히 보여준다. INT8 최적화에서는 압도적인 성능으로 대량 이미지 생성 작업에 최적이며, FP16 환경에서도 안정적인 대응력을 갖췄다. 반면, OpenVINO 엔진에서는 상대적으로 속도가 떨어져, 추후 소프트웨어 최적화가 필요할 것으로 보인다.

◎ Text Generation Benchmark - ONNX

Phi 모델은 종합 점수 2,107점으로 가장 높은 성능을 기록했다. 첫 토큰 생성 시간이 0.433초에 불과했으며, 초당 75.092 토큰을 처리해 총 실행 시간은 39.283초로 측정되었다. 이는 본 기기의 빠른 초기 응답성과 전반적인 처리 효율을 잘 보여준다.

Mistral 모델은 1,953점으로 두 번째로 높은 성능을 나타냈다. 첫 토큰 생성 시간은 0.688초, 초당 57.587 토큰을 기록했으며, 전체 실행 시간은 51.685초로 Phi에 비해 다소 느린 양상을 보였다. Llama3는 종합 점수 1,666점으로 중간 수준의 성능을 보였다. 첫 토큰 생성 시간은 0.738초, 초당 50.42 토큰, 총 실행 시간은 59.235초로 측정되어 상대적으로 응답성에서 뒤처졌다.

한편, Llama2 모델은 측정이 완료되지 않아 유효한 점수를 기록하지 못했다. 이는 초거대 모델급 환경에서 본 기기의 최적화 한계가 드러날 수 있음을 의미한다. 결론적으로, 에이서 프레데터 헬리오스 네오 16S 슬림 AI는 Phi 및 Mistral 같은 경량·중형 LLM 모델에서 탁월한 응답성과 효율성을 발휘하며, 대형 모델인 Llama3까지도 안정적으로 처리할 수 있는 성능을 갖춘 것으로 평가된다. 다만, Llama2급 초거대 모델에서는 실행 한계가 발생할 수 있어, 실제 사용 시 목적에 맞는 모델 선택이 중요하다.

◎ Text Generation Benchmark - OpenVINO

OpenVINO 환경에서 측정된 Text Generation Benchmark 결과, 에이서 프레데터 헬리오스 네오 16S 슬림 AI는 경량 및 중형 언어 모델에서 두각을 드러냈다. 특히 Phi 모델이 종합 점수 323점으로 가장 높은 성능을 기록하며, 첫 토큰 생성 시간은 4.616초, 초당 18.855 토큰을 처리해 전체 실행 시간을 174.617초로 마쳤다. 이는 네 모델 중 가장 빠르고 효율적인 결과다.

뒤이어 Mistral 모델은 278점을 기록했으며, 첫 토큰 생성 시간 7.398초, 초당 12.572 토큰으로 266.309초의 총 실행 시간을 보였다. Llama3는 264점으로 근소하게 뒤처졌는데, 첫 토큰 생성 시간이 6.511초였음에도 초당 11.143 토큰에 그쳐 총 실행 시간은 281.428초로 다소 늘어났다. 반면 Llama2는 269점으로 점수상으로는 Mistral과 유사했지만, 첫 토큰 생성 시간이 13.085초로 가장 길었고, 초당 7.018 토큰 처리에 머물러 466.8초의 긴 실행 시간을 기록했다.

종합적으로, OpenVINO 최적화 환경에서 Phi 모델과 같은 경량 LLM에서 가장 효율적인 성능을 발휘하며, Mistral과 Llama3에서도 안정적인 결과를 제공한다. 그러나 Llama2급 대형 모델에서는 초기 응답성과 전체 처리 속도 모두 크게 저하되는 모습을 보여, 초거대 언어 모델보다는 중형 이하 모델에 최적화된 플랫폼임을 입증했다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com