다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다. 국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

	Acer Swift SF16-51
제품소개		긱벤치 AI		프로키온 AI

오늘의 벤치마크 대상은 에이서 스위프트 16 AI SF16-51-70J2(1,681,000원/SSD 512GB)이다. 스위프트 16 AI는 에이서의 AI 특화 고성능 노트북 라인업으로, 인공지능 연산 및 멀티태스킹 중심의 작업에 최적화된 제품이다. CPU는 인텔 코어 울트라7 258V(최대 4.8GHz)로, 고부하 작업에서도 우수한 퍼포먼스를 제공하며, NPU는 47TOPS에 달하는 성능을 통해 Copilot과 같은 AI 기능 활용에 뛰어난 대응력을 보인다. 그래픽은 인텔 Arc Graphics 140V 내장 GPU를 탑재해 영상 편집 및 고해상도 콘텐츠 작업에도 안정적인 성능을 발휘한다. 램은 32GB LPDDR5x 온보드 메모리로 구성돼 여유롭고, 저장장치는 1TB PCIe 4.0 NVMe SSD까지 탑재되어 빠른 데이터 처리와 넉넉한 저장 공간을 동시에 제공한다. 디스플레이는 16인치 3K OLED 패널로, 2880x1800(WQXGA+) 해상도와 120Hz 주사율, 최대 500nit 밝기를 지원해 생생한 화질과 부드러운 화면 전환이 가능하다. 배터리는 69Wh 용량으로 최대 20시간 사용이 가능하며, 65W USB-PD 충전을 지원해 높은 휴대성과 효율적인 전력 사용을 구현하고 있다.

	Acer Swift SF16-51
제품소개		긱벤치 AI		프로키온 AI

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

정밀도	데이터 형식	속도	정확도	특징
㉠ Quantized	INT8 (8비트 정수)	가장 빠름	낮음	속도 최적화, 모바일 AI
㉡ Half	FP16 (16비트 부동소수점)	중간	중간	속도-정확도 균형
㉢ Single	FP32 (32비트 부동소수점)	가장 느림	가장 높음	정밀 연산, AI 훈련

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

CPU Score	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	7791	2071	2977
ONNX	4972	1297	2465

테스트 결과 OpenVINO 백엔드는 전반적으로 ONNX 대비 뛰어난 AI 추론 성능을 보여주었다.

특히 Quantized(INT8) 연산에서는 OpenVINO가 7791점을 기록하며, ONNX의 4972점보다 약 56.7% 더 높은 점수를 보였다. 이는 OpenVINO가 양자화 모델 최적화에서 명확한 성능 우위를 보인다는 것을 나타낸다.

Half Precision(FP16) 연산에서도 OpenVINO는 2071점을 기록해 ONNX의 1297점 대비 59.6% 높은 수치를 기록했으며, 부동소수점 연산 최적화에서도 OpenVINO가 효과적으로 작동함을 알 수 있다. 또한 Single Precision(FP32) 연산에서도 OpenVINO는 2977점, ONNX는 2465점으로 OpenVINO가 20.8% 더 우수한 결과를 보여주었다.

결과적으로 OpenVINO는 모든 정밀도 범주에서 ONNX를 앞서며, 특히 양자화된 AI 모델의 효율성과 성능 측면에서 두드러진 강점을 보였다.

◎ DirectML Score

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

DirectML Score	Quantized (INT8)	Half (FP16)	Single (FP32)
ONNX	4407	10697	6574

Intel Arc 140V GPU를 기반으로 한 에이서 스위프트 16 AI SF16-51-70J2 모델에서 ONNX + DirectML 환경으로 진행한 벤치마크 결과, Half Precision (FP16) 연산에서 10,697점을 기록하며 매우 우수한 성능을 보였다. 이는 Intel Arc 140V가 FP16 연산에 최적화된 구조를 갖추고 있으며, 효율적인 병렬 연산 처리 능력을 바탕으로 고속의 부동소수점 추론이 가능하다는 점을 보여준다.

또한, Single Precision (FP32) 점수는 6,574점으로, 복잡한 AI 모델 처리나 정밀 연산 환경에서도 충분한 성능을 제공한다. 이는 고해상도 영상 분석이나 생성형 AI 활용에서도 무난한 결과로 해석된다. 다만, Quantized (INT8) 연산에서는 4,407점으로 다소 낮은 점수를 기록하였다. 이는 동일 GPU가 INT8 양자화 연산 처리에 있어 최적화 수준이 상대적으로 떨어지거나, 연산 파이프라인 활용에서 효율이 제한되었을 가능성을 시사한다.

종합하면, 스위프트 16 AI는 FP16 및 FP32 정밀도 환경에서 강력한 AI 연산 성능을 보여주며, 고성능 AI 활용에 적합한 플랫폼으로 평가할 수 있다.

◎ GPU Score

GPU Score는 그래픽 카드의 AI 성능을 확인할 수 있는 지표다. 이번 테스트에 사용된 노트북은 내장 GPU(Intel Arc 140V)를 탑재하고 있으며, OpenVINO 백엔드를 통해 테스트가 수행됐다. 이 GPU는 일반적으로 고성능 AI 연산에 특화되어 있지 않지만, 최근 내장 그래픽도 INT8 양자화 연산에 최적화된 경향을 보인다.

GPU OpenVINO 테스트 결과, Quantized (INT8) 연산에서 25,999점을 기록하며 가장 높은 성능을 보였다. 이는 INT8 양자화 기반 모델 처리에 있어 매우 높은 연산 효율을 보여준 것으로, Intel Arc 140V GPU가 정수 연산에 최적화된 구조를 갖추고 있음을 입증하는 수치다.

GPU Score	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	25999	24027	9470

Half Precision (FP16) 연산에서도 24,027점으로 우수한 결과를 나타냈으며, 이는 Single Precision (FP32) 점수인 9,470점 대비 약 2.5배에 달하는 수치다. 이와 같은 결과는 해당 GPU가 FP32보다 FP16 환경에서 더욱 뛰어난 병렬 연산 성능을 발휘함을 시사한다.

종합하면, OpenVINO 기반의 GPU 연산 환경에서는 특히 INT8 및 FP16과 같은 고속 연산 구조에서 탁월한 성능을 발휘하며, 생성형 AI 또는 실시간 추론 등 고성능 작업에서 유리한 플랫폼임을 확인할 수 있다.

◎ NPU Score

해당 테스트는 OpenVINO 백엔드 + NPU (Intel AI Boost) 환경에서 진행되었으며, NPU가 장착된 최신 플랫폼의 AI 연산 성능을 보여준다.

이번 테스트 결과, Intel AI Boost (NPU)는 양자화 기반 추론(INT8)에서 탁월한 성능을 보였다. Quantized Score는 36,549점으로, 동일 테스트 범주 내에서 가장 높은 수치를 기록했으며, 이는 NPU가 INT8 정수 연산에 최적화된 아키텍처를 바탕으로 높은 효율을 발휘하고 있음을 입증한다.

NPU Score	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	36549	23525	2931

반면, Half Precision (FP16) 연산에서는 23,525점, Single Precision (FP32) 연산에서는 2,931점으로 비교적 낮은 점수를 보였다. 특히 FP32 연산 점수는 NPU 성능 중 가장 낮은 항목으로, 고정밀 부동소수점 연산보다는 경량화된 모델 및 실시간 AI 응답성에 최적화되어 있음을 보여준다.

종합하면, Intel AI Boost NPU는 특히 INT8 환경에서 강력한 성능을 발휘하며, 고속·저전력 AI 추론에 적합한 하드웨어 플랫폼으로 판단된다.

∴ Conclusion

이번 벤치마크 결과에 따르면, NPU(OpenVINO)는 AI 추론 특화 프로세서답게 Quantized(INT8) 환경에서 36,549점이라는 가장 높은 성능을 기록하며 두드러진 효율을 보였다. 이는 동일 환경의 GPU(25,999점), CPU(7,791점)와 비교했을 때 압도적인 수치로, NPU가 INT8 연산에 최적화된 구조임을 잘 보여준다.

또한 발열과 전력 소모가 적은 설계 특성 덕분에, 모바일 및 노트북 환경에서 매우 유리한 전력 효율성과 반응성을 제공할 수 있다. 특히 배터리 기반 작업이 증가하는 현대의 사용 환경에서, NPU는 고정밀 부동소수점 대신 경량화된 INT8 추론 위주 AI 서비스를 구현하는 데 최적의 선택지로 평가된다.

종합하면, NPU는 AI 처리 성능뿐 아니라 에너지 효율성 면에서도 높은 경쟁력을 갖추고 있어, 차세대 생성형 AI 노트북의 핵심 부품으로서 큰 가능성을 보여준다.

	Acer Swift SF16-51
제품소개		긱벤치 AI		프로키온 AI

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - AI Open Vino

Computer Vision Benchmark는 GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과로 MobileNet V3, ResNet 50, Inception V4, DeepLab V3, YOLO V3, REAL-ESRGAN 모델을 대상으로 각각의 연산 속도를 측정했으며, 종합 점수를 통해 전반적인 성능을 평가할 수 있다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

GPU, NPU, CPU의 Float16, Float32, Integer 정밀도별 AI 연산 성능을 비교한 결과, NPU Integer는 종합 점수 1,647점으로 전체 벤치마크 중 가장 높은 성능을 기록했다. 특히 고난도 이미지 복원 작업인 REAL-ESRGAN에서 91.12ms, 객체 탐지 모델인 YOLO V3에서 3.61ms, DeepLab V3에서 4.14ms라는 빠른 처리 속도를 보이며, AI 추론 특화 하드웨어로서의 면모를 확실히 입증했다.

NPU Float16도 915점의 높은 점수를 기록하며 강력한 효율을 보였다. REAL-ESRGAN(218.56ms), YOLO V3(7ms), Inception V4(3.39ms) 등 다양한 모델에서 GPU 수준의 빠른 속도를 구현하면서도, 전력 효율 측면에서는 더욱 유리한 선택지로 평가된다. 특히 MobileNet V3(0.44ms), ResNet 50(1.39ms) 등 경량 모델에서의 성능은 배터리 기반 디바이스에 적합한 솔루션임을 보여준다.

* 정밀도 표현과 값은 긱벤치 AI와 다르지만 항목은 동일하다. Quantized(INT8)=Integer, Single(FP32)=Float32, Half(FP16)=Float16

GPU Integer는 1,223점으로 높은 성능을 기록했다. 특히 REAL-ESRGAN(118.81ms), YOLO V3(3.67ms), Inception V4(3.5ms) 등에서 뛰어난 속도를 보이며, AI 가속을 위한 GPU 연산 구조의 우수성을 입증했다. 한편 GPU Float16은 805점으로 전체적으로 균형 잡힌 성능을 보였다. REAL-ESRGAN(229.88ms), YOLO V3(6.54ms), DeepLab V3(5.7ms) 등 다양한 워크로드에서 안정적이며 빠른 추론 결과를 보였다. 복합 연산이 요구되는 Inception V4(5.32ms) 같은 모델에서도 준수한 성능을 보이며, 연산 품질과 속도를 고르게 유지하고자 할 때 이상적인 정밀도 포맷이다. CPU Integer는 228점으로 제한적이지만, REAL-ESRGAN(1628.61ms), YOLO V3(44.63ms) 수준의 성능으로 기본적인 AI 추론 환경에서는 여전히 유의미한 역할을 할 수 있다. 

    

N PU  Int eger  >  GPU  Integer >  N PU  Float16 >  GP U  Float16 >  GP U  Float32 >  CPU   Integer >  C PU  Float16 >  CPU  Float32

▲ AI 연산 성능 순

종합하면, 고성능이 필요한 생성형 AI 및 실시간 추론 환경에서는 NPU Integer가 최고의 선택지이며, 전반적인 효율과 안정성을 고려하면 GPU Float16과 Integer 역시 매우 유효한 대안임을 확인할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

GPU와 CPU의 Float16, Float32, Integer 정밀도별 AI 추론 성능을 비교한 결과, GPU Float16이 종합 점수 398점으로 가장 뛰어난 성능을 기록했다. 복잡한 이미지 복원 모델인 REAL-ESRGAN에서도 862.36ms의 빠른 처리 속도를 보여주었으며, YOLO V3(9.77ms), DeepLab V3(19.92ms)와 같이 높은 연산량을 요구하는 모델에서도 안정적인 성능을 유지했다. 이는 GPU 환경에서 가장 최적화된 정밀도 포맷으로, 효율성과 속도를 모두 만족시키는 선택지로 평가된다.

GPU Float32는 224점으로 중간 수준의 성능을 보였으며, 전반적으로 균형 잡힌 결과를 나타냈다. DeepLab V3(30.44ms), YOLO V3(34.14ms)에서 무난한 성능을 보여주며, 다양한 환경에 대응 가능한 범용적인 정밀도 포맷으로 적합하다. 반면, GPU Integer는 59점으로 낮은 성능을 기록했다. DeepLab V3(566.95ms), YOLO V3(107.9ms) 등에서 처리 시간이 상대적으로 길어, 고해상도 모델 연산이나 실시간 응답이 필요한 작업에는 적합하지 않은 것으로 확인된다.

GPU Float16 > GPU Float32 > CPU Integer > GPU Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

CPU 환경에서는 Integer 정밀도가 113점으로 가장 높은 점수를 기록했다. MobileNet V3(1.23ms), ResNet 50(8.02ms)와 같은 경량 모델에서 효율적인 성능을 보였지만, REAL-ESRGAN(5910.63ms)이나 YOLO V3(65.42ms) 등에서는 속도 저하가 두드러졌다. CPU Float32는 63점, Float16은 33점을 기록하며 전체적으로 낮은 성능을 보였다. 특히 Float16은 REAL-ESRGAN(8798.91ms), YOLO V3(251.5ms) 등 거의 모든 항목에서 가장 느린 처리 속도를 보여, AI 추론 작업에는 적합하지 않은 것으로 분석된다.

∴ Conclusion

OpenVINO는 전반적으로 높은 AI 추론 성능을 보여주며, 특히 GPU Integer(1,223점)와 GPU Float16(805점) 환경에서 WinML 대비 두 배 이상의 성능 격차를 나타냈다. 또한, NPU 정밀도별 연산에서도 OpenVINO는 Float16(915점), Integer(1,647점)로 강력한 최적화를 보여주며, WinML보다 더 세밀한 하드웨어 활용이 가능한 것으로 나타났다.

반면, WinML은 CPU 환경에서는 OpenVINO와 유사한 수준의 성능을 보였으나, GPU Integer 환경에서는 59점으로 급격히 낮아지는 모습을 보였다. 이는 GPU 연산 구조를 WinML이 제대로 활용하지 못하고 있음을 시사하며, 고속 병렬 연산이 중요한 AI 추론 환경에서는 성능 손실로 이어질 수 있다.

종합하면, OpenVINO는 하드웨어별 최적화 성능에서 일관되게 우위를 점하고 있으며, 특히 GPU 및 NPU 기반 연산 환경에서 WinML 대비 명확한 성능 우세를 보였다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다.  

모델 및 정밀도	총점 (최대)	생성 속도 (s/1장)	이미지 수	엔진	비고
SD 1.5 INT8	2319	13.475	8	OpenVINO	초고속, 경량화 모델
SDXL FP16	368	101.674	16	OpenVINO	고해상도 생성, 속도는 느림
SD 1.5 FP16	341	18.282	16	OpenVINO	중간 수준 성능
SD 1.5 FP16	93	66.931	16	ONNXRuntime-DirectML	낮은 점수, 느린 속도

SD 1.5 INT8 + OpenVINO

총점 2,319점, 이미지 1장당 생성 속도 13.475초로, 속도와 효율 모두 가장 우수한 결과를 보였다. INT8 정밀도는 양자화 기반 경량 모델로, 연산 자원 소모를 최소화하면서도 처리 속도는 극대화된다. 특히 노트북이나 모바일 등 저전력 환경에서 성능 저하 없이 빠른 생성이 가능하다는 점에서 실용성과 휴대성 면에서 최적의 조합이라 할 수 있다. 생성 이미지 수는 8장이며, 모델 경량화의 효과가 돋보였다.

SDXL FP16 + OpenVINO

총점은 368점, 이미지 생성 속도는 101.674초/1장으로, 고품질 이미지를 제공하는 대신 속도 면에서는 크게 뒤처졌다. SDXL은 고해상도(1024px 이상) 이미지 생성이 가능한 최신 모델로, 시각적 완성도와 품질 면에서는 최상급 수준을 보인다. 그러나 실시간 응답이 필요한 환경에는 적합하지 않으며, 생성 시간에 여유가 있는 상황에서 고퀄리티 출력이 필요할 때 선택할 수 있는 조합이다.

SD 1.5 FP16 + OpenVINO

총점 341점, 생성 속도는 18.282초/1장으로 성능과 품질 간의 균형을 추구하는 조합이다. 일반적인 고화질 생성 작업에 적합하며, 속도와 품질 사이에서 적절한 선택지를 제공한다. OpenVINO 엔진의 최적화 효과로 FP16 정밀도에서도 안정적인 추론 성능을 유지하며, 생성 이미지 수도 16장으로 실용적이다.

SD 1.5 FP16 + ONNXRuntime-DirectML

총점은 93점으로 가장 낮았고, 이미지 1장당 생성 속도는 66.931초로 성능 저하가 뚜렷하게 나타났다. 동일한 모델이라 하더라도 사용하는 엔진에 따라 성능 차이가 크게 발생할 수 있음을 보여주는 사례다. 특히 ONNXRuntime-DirectML 조합은 속도 면에서 느리고, 최적화가 미흡해 일상적인 생성형 AI 작업에 불리한 선택이 될 수 있다.

종합하면, INT8 + OpenVINO 조합이 속도와 효율성 우선, SDXL은 고품질을 우선, SD 1.5 FP16은 균형 잡힌 선택지, ONNX 기반 환경은 성능 면에서 보완이 필요한 조합으로 평가된다.

◎ Text Generation Benchmark - OpenVINO

Text Generation Benchmark는 자연어 처리를 이용한 텍스트 생성 성능을 측정하는 테스트로, 언어 모델이 주어진 입력을 기반으로 문장을 생성하는 속도와 품질을 평가한다. 이는 챗봇, 자동 번역, 요약 생성 등 다양한 언어 기반 AI 응용 분야에서 중요한 지표가 된다.

토큰 : AI 모델이 텍스트를 처리하는 기본 단위로, 자연어 처리(NLP)에서 텍스트를 작은 조각으로 나누어 모델이 이해하고 생성할 수 있도록 하는 역할을 한다.

OpenVINO 환경에서 생성형 AI 모델의 추론 성능을 평가한 결과, Phi 모델이 총점 851점으로 가장 높은 성능을 기록했다. 첫 토큰 생성 시간은 0.996초, 초당 생성 토큰 수는 28.197 t/s로, 빠른 처리 속도와 짧은 응답 시간을 통해 실시간 활용에 최적화된 모델임을 보여주었다. 총 실행 시간도 103.371초로 가장 짧아, 전체적인 효율성과 응답성 면에서 우수한 결과를 나타냈다.

Phi >  Mistral > Llama3 > Llama2 

▲ AI 연산 성능 순

Mistral은 806점을 기록하며 뒤를 이었다. 첫 토큰 생성은 1.352초, 초당 생성 속도는 19.287 t/s로, 속도와 품질의 균형 잡힌 성능을 보여주었다. 고속 추론을 요구하는 중간급 AI 응용에 적합하다. Llama3는 753점, 첫 토큰 생성 시간 1.27초, 초당 생성 속도는 17.729 t/s를 기록했다. 첫 응답 시간에서는 Mistral보다 빠르지만, 전체 실행 시간은 154.958초로 다소 길었다. 반응성과 처리량 측면에서 비교적 균형 있는 성능을 보여주는 모델이다. 반면, Llama2는 712점으로 가장 낮은 점수를 기록했다. 첫 토큰 생성 시간은 2.748초, 초당 생성 토큰은 10.288 t/s, 총 실행 시간은 280.681초로, 전반적인 속도와 반응성에서 모두 뒤처지는 성능을 보였다.

종합하면, OpenVINO 최적화 환경에서는 Phi 모델이 전 영역에서 가장 뛰어난 생성 속도와 응답성을 보였으며, Mistral과 Llama3는 그 뒤를 잇는 실용적인 선택지다. Llama2는 성능이 비교적 낮아 경량 AI 환경보다는 일반 활용에는 비추천된다.

◎ Text Generation Benchmark - ONNX

ONNXRuntime 환경에서 Phi, Mistral, Llama3, Llama2 모델의 텍스트 생성 성능을 평가한 결과, Mistral 모델이 종합 점수 317점으로 가장 우수한 성능을 기록했다. 첫 토큰 생성 시간은 6.055초, 초당 생성 토큰 수는 13.384 t/s, 총 실행 시간은 243.716초로, 균형 잡힌 응답성과 처리 속도를 보여줬다. 특히 응답 시간 대비 속도와 점수 간의 효율이 인상적인 모델이다.

Mistral > Llama3 > Llama2 > Phi 

▲ AI 연산 성능 순

Llama3는 314점으로 근소한 차이로 Mistral을 뒤쫓았으며, 첫 토큰 생성 시간은 5.061초로 가장 빠른 반응성을 보였다. 초당 12.298개의 토큰을 생성하며 속도 면에서도 우수했고, 총 실행 시간은 255.783초로 다소 길었지만 안정적이었다. 응답성 중심의 생성형 AI 서비스에 적합하다. Llama2는 305점을 기록했다. 첫 토큰 생성 시간이 10.829초로 매우 느렸으며, 초당 생성 토큰 수는 7.44 t/s, 총 실행 시간도 437.806초로 가장 길었다. 상대적으로 응답 지연과 처리 속도에서 모두 열세를 보이며, 대규모 실시간 처리 환경에는 부적합한 편이다.

Phi 모델은 263점으로 가장 낮은 점수를 기록했으나, 초당 생성 토큰 속도는 21.268 t/s로 가장 빠른 성능을 보였다. 반면 첫 토큰 생성 시간은 7.868초로 느렸고, 총 실행 시간은 182.041초로 평균 수준이었다. 이는 높은 처리 속도와 느린 초기 응답 간의 비대칭 성능 구조를 보여주는 사례다.

OpenVINO는 전반적인 처리 속도, 첫 토큰 응답성, 초당 생성 토큰 수 등 모든 측면에서 ONNXRuntime 대비 뛰어난 성능을 제공하며, 특히 실시간 또는 대규모 생성형 AI 환경에서는 OpenVINO 기반 모델이 압도적인 효율과 응답성을 발휘한다는 결론을 내릴 수 있다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com