다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

경량 노트북 시장의 해답, 그램16 16ZD90RU-GX54K (1,148,990원)은 인텔 13세대 i5 프로세서를 기반으로 한 16인치 대화면 초경량 노트북으로, 단 1.199kg의 무게에 WQXGA 고해상도 디스플레이, 대용량 배터리, 듀얼 SSD 슬롯까지 갖춘 진정한 모바일 워크머신이다.

디스플레이는 2560x1600(WQXGA) 해상도에 350nit 밝기를 제공, 문서 작업은 물론 넷플릭스·유튜브 시청까지 눈이 편안한 사용 경험을 보장한다. 램은 16GB 온보드로 구성돼 업그레이드는 어렵지만, 기본 성능은 부족함 없이 설계되었으며, 저장장치는 256GB NVMe SSD에 추가 슬롯 1개가 마련돼 향후 확장성도 놓치지 않았다. 80Wh 배터리는 종일 사용할 수 있는 충분한 용량을 자랑한다.

눈여겨볼 점은 초경량 바디에 USB-PD 충전 방식까지 더해졌다는 것. 특히 학생, 직장인 등 휴대성과 배터리를 중시하는 사용자에게 알맞은 선택지다. 고성능보단 실용성 중심의 ‘현실적인 노트북’을 찾는다면, 이 모델이 정답이 될 수 있다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

OpenVINO Toolkit과 ONNX Runtime 두 가지 백엔드에서 각각의 추론 정밀도별 성능을 비교한 결과, LG전자 그램16 16ZD90RU-GX54K는 CPU 기반 AI 연산에서도 인텔 플랫폼에 최적화된 OpenVINO의 강점을 뚜렷하게 보여주었다.

Quantized(INT8) 연산에서는 OpenVINO가 4,374점, ONNX는 3,308점을 기록하며 약 32% 가까운 성능 차이를 보였다. 이는 가벼운 모델을 중심으로 한 엣지 AI나 배터리 기반 디바이스에서 OpenVINO의 효율성과 최적화가 유효함을 시사한다.

Half Precision(FP16) 환경에서는 OpenVINO가 2,102점, ONNX는 730점으로 2.8배 이상 차이가 났으며, Single Precision(FP32) 연산에서도 각각 2,130점 vs 1,756점으로 OpenVINO가 소폭 우위를 보였다.

CPU만으로도 AI 추론을 처리하는 작업 환경에서, 그램16과 같은 저전력 초경량 노트북이 OpenVINO 백엔드를 활용할 경우 안정적이고 높은 효율의 연산이 가능하다는 실질적인 메시지를 제공한다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

인텔 기반 초경량 노트북임에도 불구하고, DirectML 환경에서의 ONNX Runtime 연산 테스트에서도 준수한 AI 연산 성능을 보여주며, AI 작업용 서브 머신으로서의 가능성도 보여준다.

Quantized(INT8) 연산에서는 1,515점, Half Precision(FP16)에서는 2,381점, Single Precision(FP32)에서는 2,311점을 기록했다. 특히 FP16과 FP32에서는 2천점 이상을 꾸준히 유지하며, 단순한 사무용이나 휴대성 중심 노트북이 아닌, AI 연산에서도 일정 수준의 처리를 감당할 수 있는 노트북임을 입증했다.

◎ GPU

내장 GPU인 Iris Xe 기반 환경에서도 OpenVINO 툴킷을 통해 놀라운 수준의 AI 연산 성능을 보여주며, CPU뿐만 아니라 GPU 경량 추론에서도 확실한 효율을 입증했다.

OpenVINO GPU 테스트에서 Quantized(INT8) 연산은 8,285점으로 가장 높은 수치를 기록하며, 저전력 AI 환경에 특화된 OpenVINO의 강점을 그대로 드러냈다. Half Precision(FP16)은 5,039점, Single Precision(FP32)은 3,620점으로 나타나, 내장 그래픽 기반의 저소비 전력 시스템에서도 고정밀 AI 연산을 안정적으로 수행할 수 있음을 보여준다.

특히 이 수치는 고가의 전용 GPU 없이도, OpenVINO 최적화를 통해 상당 수준의 AI 성능을 확보할 수 있다는 점에서 주목할 만하다. 

∴ Conclusion

Geekbench AI 벤치마크 결과를 종합하면, 인텔 내장 GPU와 CPU만으로도 다양한 연산 백엔드 환경에서 상당한 AI 처리 성능을 보이며, ‘실제 사용할 수 있는 AI 서브머신’의 면모를 확인시켜준다.

우선 CPU 기반 추론에서는 OpenVINO가 ONNX 대비 모든 정밀도(INT8, FP16, FP32)에서 우위를 확보했다. 특히 Quantized(INT8) 환경에서 OpenVINO는 4,374점, ONNX는 3,308점으로, 약 32% 이상 높은 결과를 보여줬다. FP16, FP32 연산에서도 OpenVINO가 소폭이지만 꾸준히 앞서는 모습을 보였다.

DirectML GPU 연산에서는 ONNX Runtime 기반의 FP16이 2,381점, FP32는 2,311점을 기록하며, 같은 환경의 INT8(1,515점)보다 50% 이상 높았다. 이는 DirectML이 양자화 연산보다는 부동소수점 연산에서 효율이 더 뛰어남을 시사한다.

가장 인상적인 결과는 OpenVINO GPU 연산에서 나왔다. Quantized(INT8)은 무려 8,285점, FP16은 5,039점, FP32는 3,620점으로, 내장 GPU 환경에서 이례적으로 높은 수치를 기록했다. 이는 OpenVINO가 인텔 하드웨어에 특화된 최적화 기술을 바탕으로, CPU와 GPU 모두에서 강력한 효율을 발휘함을 보여준다.

이처럼 연산 백엔드(OpenVINO vs ONNX), 실행 환경(CPU vs GPU), 정밀도(INT8 vs FP16 vs FP32)에 따라 성능 양상이 극명하게 갈리는 점은, AI 워크로드 설계 시 플랫폼과 백엔드 선택이 얼마나 중요한지를 실증하는 지표가 된다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - WinML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

WinML 기반 Computer Vision 벤치마크에서 CPU와 GPU 각각의 정밀도별 연산 성능 차이를 명확히 드러내며, 이 노트북이 실제 AI 비전 작업에 어느 정도 대응할 수 있는지를 가늠하게 해준다.

우선 CPU 연산에서는 Integer 정밀도가 72점으로 가장 높은 점수를 기록하며, YOLO, ResNet50, ESRGAN3 등의 모델에서도 상대적으로 빠른 응답 속도를 보였다. 이는 양자화 모델 기반의 추론에서 CPU가 일정 수준의 효율을 확보할 수 있음을 보여준다. Float32는 50점으로 무난한 수준의 균형 잡힌 성능을 보였지만, Float16은 20점으로 점수가 급격히 떨어져 CPU 환경에서는 FP16 연산이 비효율적이라는 점이 확인되었다.

GPU 연산에서는 전반적으로 높은 성능이 측정되었으며, 특히 Float16 정밀도에서 87점을 기록해 가장 우수한 결과를 보였다. 주요 모델 대부분에서 짧은 처리 시간을 유지하며, 실시간 이미지 분석이나 영상 기반 응용에 적합한 연산 특성을 보였다. Float32 역시 76점으로 높은 수준을 유지해 GPU가 부동소수점 기반 AI 추론에 강점을 가지고 있음을 재확인시켰다. 반면, GPU Integer 연산은 측정 불가로 나타나, 양자화 모델 최적화 측면에서는 한계를 보였다.

결론적으로 그램16 16ZD90RU-GX54K는 고성능 외장 GPU나 NPU가 탑재되지 않았음에도, OpenVINO와 WinML 환경에서 GPU 기반 부동소수점 연산만으로도 꽤 실질적인 비전 AI 성능을 확보하고 있다. 

◎ Computer Vision Benchmark - AI OpenVino

AI OpneVINO 기반 AI 벤치마크 테스트에서도 CPU와 GPU 성능을 바탕으로 각각의 정밀도별 특성과 응답 시간을 보여주며, 실제 AI 응용 작업에 있어 현실적인 대응력을 입증했다.

CPU 연산에서는 Integer 정밀도가 가장 높은 110점을 기록했다. Float32와 Float16은 각각 48점으로 동일하게 측정되었으며, 이는 CPU에서 부동소수점 연산과 양자화 모델의 효율 차이를 반영한다. 실제 YOLO V3와 ESRGAN3 등의 테스트에서도 Integer 연산이 눈에 띄게 빠른 응답 시간을 보여준다.

GPU 환경에서는 Integer 정밀도가 316점으로 압도적인 결과를 기록했으며, Float16은 176점, Float32는 107점으로 뒤를 이었다. 특히 ESRGAN3에서 GPU Integer는 870ms로 측정되며, CPU보다 3배 이상 빠른 처리 속도를 보여준다. GPU의 정밀도별 응답 성능 차이는 DeepLab, YOLO, Inception 등 다양한 모델에서 일관되게 확인된다.

GPU Integer > GPU  Float16 > GPU Float32 > CPU Integer > CPU Float32 = CPU Float16

▲ AI 연산 성능 순

∴ Conclusion

AI OpenVINO와 WinML 두 환경 모두에서 GPU 기반 FP16 연산이 가장 우수한 실사용 성능을 보여주었으며, 특히 OpenVINO의 Integer 최적화는 CPU 및 GPU 모두에서 돋보이는 결과를 기록했다. 반면 CPU 기반 연산은 정밀도에 따라 편차가 크며, 특히 WinML에서의 FP16 성능은 20점으로 현저히 낮아 고속 연산보다는 백그라운드 작업이나 보조 추론용으로 한정하는 것이 합리적이다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

Stable Diffusion 1.5 INT8 모델은 총점 617점을 기록했으며, 이미지 한 장을 생성하는 데 약 50.631초가 소요되었다. 총 8장의 이미지가 생성되었으며, INT8 정밀도로 양자화된 모델답게 빠른 추론 속도와 높은 효율을 보여주어 내장 GPU 환경에서도 충분히 활용 가능한 성능을 입증했다. 반면, SDXL FP16 모델은 총점 33점에 그쳤고, 이미지 한 장 생성에 1,119.272초가 소요되었으며 총 16장의 이미지를 생성하는 데 상당한 시간이 필요했다. 이는 SDXL과 같은 대규모 고정밀 모델을 NPU나 고성능 외장 GPU 없이 실행하기에는 현실적인 한계가 존재함을 명확히 보여주는 결과다.

◎ Text Generation Benchmark - OpenVINO

경량 LLM(Large Language Model) 실행 환경에서 실질적인 텍스트 생성 성능을 보여주는 대표 사례로, OpenVINO 최적화를 거친 다양한 모델(Phi, Mistral, Llama3, Llama2)을 기준으로 비교 분석되었다.

가장 뛰어난 성능을 기록한 Phi 모델은 종합 점수 237점을 기록했으며, 첫 토큰 생성 시간이 6.913초, 초당 생성 토큰 수는 15.157개, 총 실행 시간은 226.404초로 측정되었다. 이는 가장 빠른 응답성과 높은 처리 속도를 동시에 보여준 사례로, 고성능 외장 GPU 없이도 경량화된 자연어 추론 모델을 실사용에 적용할 수 있는 가능성을 입증한다.

Mistral 모델은 종합 점수 195점, 첫 토큰 생성 시간 11.532초, 초당 생성 토큰 수 9.627개, 총 실행 시간 360.422초를 기록했다. 중급 규모의 모델임에도 불구하고 반응성과 처리 효율이 균형을 이루며, 복잡한 연산 없이도 충분한 문장 생성 능력을 보여주었다.

Llama3는 187점, 첫 토큰 10.358초, 초당 8.919개의 토큰 생성, 총 실행 시간은 362.942초였으며, Llama2는 155점, 첫 토큰 21.674초, 초당 3.83개, 총 실행 시간 967.498초로 가장 낮은 처리 효율을 나타냈다. 특히 Llama2는 응답 시간과 속도 모두에서 저사양 시스템에 부담을 주는 수준이었으며, 이로 인해 고사양 연산 장치 없이 실행하기에는 다소 비효율적이라는 평가를 받는다.

결과적으로, 그램16은 Phi와 같은 경량 AI 모델에는 매우 적합한 텍스트 생성 플랫폼이며, 복잡한 문장 생성과 대화형 AI 기능이 필요한 경우에도 일정 수준까지는 대응 가능함을 확인시켜주는 테스트 결과라 할 수 있다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com