다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다!

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

오늘의 벤치마크 대상은 에이서 스위프트 14 AI SF14-61T-R5B5(1,679,000원/SSD 512GB)이다. 에이서의 AI 노트북 라인업으로, 휴대성과 긴 배터리 수명을 자랑하는 제품이다. CPU는 AMD 라이젠 AI 9 365(5.0GHz)로, 멀티태스킹과 AI 작업에 적합한 성능을 제공한다. 그래픽은 내장 Radeon 880M을 탑재하여 일반적인 사무 작업 및 인강용으로 무난하다. (50TOPS) 램은 32GB로 고정되어 있으며, 램 교체는 불가능하다. 저장장치는 NVMe SSD 512GB가 기본 제공되며, 추가 M.2 슬롯을 통해 확장이 가능하다. 배터리는 75Wh로 최대 26.5시간 사용이 가능하며, USB-PD를 통해 빠른 충전을 지원한다. 1.32kg의 가벼운 무게와 14인치 화면 크기로, 휴대성이 뛰어난 노트북이다.

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

테스트 결과, OpenVINO 백엔드는 전반적으로 ONNX 대비 뛰어난 AI 추론 성능을 보여주었다. 특히 Quantized(INT8) 연산에서는 OpenVINO가 11,030점을 기록하며, ONNX의 3,219점보다 약 242.6% 높은 점수를 기록했다. 이는 OpenVINO가 양자화 모델 최적화에서 압도적인 성능 우위를 보인다는 것을 의미한다.

Half Precision(FP16) 연산에서도 OpenVINO는 4,275점으로, ONNX의 1,463점 대비 약 192.2% 높은 수치를 기록해 부동소수점 연산 최적화에서도 강력한 효율을 입증했다. 반면 Single Precision(FP32) 연산에서는 ONNX가 6,701점으로 OpenVINO의 4,146점을 앞서며 약 61.6% 더 높은 점수를 보였다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

AMD Radeon 880M GPU를 기반으로 한 에이서 스위프트 14 AI SF14-61T-R5B5 모델에서 ONNX + DirectML 환경으로 진행한 벤치마크 결과, Half Precision(FP16) 연산에서 11,427점을 기록하며 매우 뛰어난 성능을 보였다. 이는 AMD의 최신 내장 그래픽 아키텍처가 FP16 부동소수점 연산에 최적화되어 있으며, 연산 효율과 대역폭 활용 측면에서 강점을 지녔다는 것을 의미한다.

또한, Single Precision(FP32) 점수는 7,841점으로 고해상도 이미지 처리, 딥러닝 모델 실행 등 고정밀 연산 환경에서도 충분한 성능을 제공한다. 복잡한 모델이나 생성형 AI 활용에도 안정적인 결과를 기대할 수 있다. 반면, Quantized(INT8) 연산에서는 5,858점으로 다소 아쉬운 결과를 보였다. 이는 해당 GPU가 INT8 기반 추론 연산에서는 구조적 최적화가 상대적으로 부족하거나, 현재의 DirectML 파이프라인에서 INT8 성능을 최대한 끌어내지 못했을 가능성을 시사한다.

종합적으로 볼 때, 스위프트 14 AI는 FP16 및 FP32 정밀도 기반 AI 활용에 있어 강력한 연산 성능을 제공하며, 휴대성과 성능을 모두 갖춘 AI 최적화 울트라북으로 평가할 수 있다.

∴ Conclusion

이번 벤치마크 결과에 따르면, CPU 기반 OpenVINO 백엔드는 Quantized(INT8) 연산에서 11,030점을 기록하며 가장 높은 성능을 보여주었다. 이는 ONNX CPU(3,219점)나 ONNX GPU(5,858점, DirectML) 대비 확연히 높은 수치로, OpenVINO가 INT8 최적화에 있어 매우 강력한 추론 프레임워크임을 보여준다.

반면, Half Precision(FP16) 및 Single Precision(FP32) 연산에서는 DirectML 기반 ONNX GPU 백엔드가 각각 11,427점과 7,841점을 기록하며 성능 우위를 점했다. 이는 AMD Radeon 880M 내장 GPU가 FP16 및 FP32 연산에서 뛰어난 병렬 처리 능력을 발휘함을 의미한다. 특히 FP16 연산에서 CPU 기반 OpenVINO(4,275점) 대비 2.6배 이상의 성능 격차를 보였다.

한편, ONNX CPU 백엔드는 FP32 연산에서 6,701점을 기록하며 의외의 강세를 보였지만, INT8과 FP16에서는 상대적으로 낮은 성능을 보였다. 이는 정밀 연산 처리에는 CPU도 경쟁력이 있으나, 양자화 및 경량 연산에서는 GPU 및 최적화 백엔드가 우위에 있다는 것을 시사한다.

결론적으로, OpenVINO는 INT8 기반 경량 AI 모델 추론에서, DirectML은 FP16 및 FP32 부동소수점 연산에서 각각 최고의 성능을 발휘하며, 작업 유형에 따라 백엔드 선택 전략이 달라져야 함을 보여준다. AI 활용 목적이 명확할수록, 이에 맞는 연산 엔진 선택이 성능 효율을 극대화하는 열쇠가 된다.

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark

위 그래프는 GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과로 MobileNet V3, ResNet 50, Inception V4, DeepLab V3, YOLO V3, REAL-ESRGAN 모델을 대상으로 각각의 연산 속도를 측정했으며, 종합 점수를 통해 전반적인 성능을 평가할 수 있다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

* 정밀도 표현과 값은 긱벤치 AI와 다르지만 항목은 동일하다. Quantized(INT8)=Integer, Single(FP32)=Float32, Half(FP16)=Float16

GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과, 전체 벤치마크에서 GPU Float16이 종합점수 327점으로 가장 높은 성능을 기록했다. 특히 고성능 이미지 복원 작업인 REAL-ESRGAN3에서 301.8ms, 객체 탐지 모델 YOLO V3에서 15.67ms, 그리고 Inception V4에서는 16.63ms라는 빠른 처리 속도를 보여주며, AI 추론에 최적화된 연산 구조임을 입증했다.

GPU Float32 역시 246점으로 우수한 성능을 보였다. 다양한 모델에서 안정적인 처리 속도를 제공했으며, 특히 REAL-ESRGAN3(561ms)와 YOLO V3(24.17ms)에서 준수한 연산 효율을 보였다. 이는 정밀도를 유지하면서도 AI 워크로드를 안정적으로 처리하고자 할 때 적절한 선택지로 평가된다. 반면 CPU Integer는 169점으로 CPU 기반 정밀도 중 가장 높은 점수를 기록했다. MobileNet V3(0.93ms), ResNet 50(4.77ms)에서는 매우 빠른 처리 속도를 보였으나, 복잡한 모델인 REAL-ESRGAN3(4824.34ms)에서는 크게 뒤처지는 모습을 보였다.

CPU Float32는 108점으로 전반적인 균형 잡힌 성능을 보여줬지만, 복잡한 연산에서는 한계를 드러냈다. 특히 YOLO V3(85.35ms)나 REAL-ESRGAN3(3860.04ms) 같은 고연산 모델에서는 시간이 많이 소요되어, 고성능 요구에는 다소 부적합하다. GPU Integer는 78점으로 상대적으로 낮은 점수를 보였으며, 특히 YOLO V3(99.8ms)나 REAL-ESRGAN3(1533.07ms)에서 성능 저하가 두드러졌다. 이는 정수 연산 기반 AI 추론에서 GPU의 효율성이 제한적일 수 있음을 시사한다.

마지막으로 CPU Float16은 48점으로 가장 낮은 종합점수를 기록했다. REAL-ESRGAN3(3907.25ms), YOLO V3(139.41ms) 등 모든 모델에서 높은 처리 시간을 보였으며, CPU에서는 여전히 FP16 연산 최적화가 부족하다는 점을 보여준다.

GPU Float16 > GPU Float32 > CPU Integer > CPU Float32 > GPU Integer > CPU Float16

▲ AI 연산 성능 순

종합적으로 볼 때, 생성형 AI, 영상 처리, 실시간 추론 등 고성능 환경에서는 GPU Float16이 최적의 선택지이며, 전반적인 안정성과 연산 품질까지 고려한다면 GPU Float32도 매우 유효한 대안이 될 수 있다. CPU 기반 연산은 보조 용도나 저전력 추론에 적합한 수준이다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다.  

SD 1.5 FP16 + ONNXRuntime-DirectML – 동일한 모델을 사용했음에도 불구하고, ONNXRuntime 기반 DirectML 엔진에서의 성능은 93점으로 비교적 낮은 점수를 기록했으며, 이미지 1장당 66.931초가 소요되어 매우 느린 속도를 보였다. 총 생성된 이미지 수는 16장이며, 평가 항목 전반에서 ‘낮은 점수, 느린 속도’라는 지적을 받았다.

◎ Text Generation Benchmark

Text Generation Benchmark는 자연어 처리를 이용한 텍스트 생성 성능을 측정하는 테스트로, 언어 모델이 주어진 입력을 기반으로 문장을 생성하는 속도와 품질을 평가한다. 이는 챗봇, 자동 번역, 요약 생성 등 다양한 언어 기반 AI 응용 분야에서 중요한 지표가 된다.

토큰 : AI 모델이 텍스트를 처리하는 기본 단위로, 자연어 처리(NLP)에서 텍스트를 작은 조각으로 나누어 모델이 이해하고 생성할 수 있도록 하는 역할을 한다.

OpenVINO 환경에서 생성형 AI 모델의 추론 성능을 평가한 결과, Phi 모델이 종합 점수 355점으로 가장 우수한 성능을 기록했다. 첫 토큰 생성 시간은 5.875초, 초당 생성 토큰 수는 28.89 t/s로 매우 빠른 처리 속도를 보였으며, 총 실행 시간도 134.706초로 짧아 응답성·효율성 모두 뛰어난 모델로 평가된다.

그 뒤를 이은 Mistral은 285점을 기록했다. 첫 토큰 생성 시간은 10.533초, 초당 생성 토큰은 18.766 t/s, 총 실행 시간은 218.051초로, 실시간 응용에는 다소 느릴 수 있으나 안정적이고 균형 잡힌 성능을 제공한다.

Llama3는 종합 점수 236점, 첫 토큰 10.523초, 초당 생성 토큰 14.428 t/s, 총 실행 시간 262.537초로 Mistral보다 전반적인 수치가 떨어지는 편이다. 하지만 여전히 중급 이상 활용에는 실용적인 성능을 보인다.

반면 Llama2는 237점으로 유사한 점수를 기록했으나, 첫 토큰 생성 시간 18.148초, 초당 생성 토큰 7.528 t/s, 총 실행 시간 488.272초로 성능이 가장 낮았다. 실시간 응답이 중요한 환경에서는 비추천되는 구성이다.

Phi > Mistral > Llama3 = Llama2

▲ OpenVINO 기반 생성형 AI 모델 성능 순위

종합하면, OpenVINO 최적화 환경에서는 Phi 모델이 생성 속도, 응답 시간, 전체 처리 효율성 면에서 모두 탁월한 성능을 보여주며, 고성능 AI 활용에 가장 적합하다. Mistral과 Llama3는 중간급 용도로, Llama2는 비교적 제한적인 환경에서의 활용에 적합한 수준이다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com