다나와 AI 벤치마크 랩에 오신 여러분은 환영합니다! 

AI 벤치마크 랩에서는 각각의 PC가 지닌 AI 관련 성능을 종합점수로 확인해 볼 수 있습니다.

성능 데이터 추출에는, 모바일 및 PC 환경에서 폭넓게 활용하는 긱벤치(Geekbench) AI와 3D MARK로 유명한 UL 솔루션의 프로키온(Procyon) AI 프로그램을 이용합니다.

국내 어디에서도 찾아 볼 수 없는 특별한 AI 콘텐츠,  지금 만나 보세요.

	ASUS 비보북 S 16 S3607CA
제품소개		긱벤치 AI		프로키온 AI

ASUS 비보북 S 16 S3607CA-SH080W (SSD 512GB)(1,449,000원)은 인텔 코어 울트라5 225H(최대 4.9GHz) 프로세서와 Arc 130T(7코어) 내장 그래픽을 탑재한 16인치 대화면 노트북으로, 실용성과 효율성을 중시한 AI 지원형 사무·인강용 슬림북이다.

40.6cm(16인치) WUXGA(1920x1200) 해상도의 IPS 패널을 채택했으며, 300nit 밝기와 60Hz 주사율을 지원해 눈부심 없는 자연스러운 화면을 제공한다. 16:10 비율의 넓은 작업 공간은 문서 편집, 웹 강의, 그래픽 작업 등 다양한 멀티태스킹 환경에 적합하다.

CPU는 인텔 코어 울트라5 225H(S2)로, 10코어 12스레드 구성과 최대 4.9GHz 클럭을 제공한다. NPU 13TOPS의 AI 가속 성능이 내장되어, 이미지 인식·음성 요약·자동 번역 등 윈도우 코파일럿과 같은 AI 기능을 자연스럽게 활용할 수 있다. (GPU 63 TOPS)

RAM은 16GB, 저장장치는 NVMe SSD 512GB를 기본 탑재하여 부팅 및 프로그램 로딩 속도가 빠르다. 배터리는 70Wh로 동급 대비 우수한 지속시간을 확보했으며, USB-PD 충전을 지원해 PD 어댑터나 보조배터리로도 충전이 가능하다.

무게는 1.7kg으로, 휴대성과 작업 효율을 모두 고려한 밸런스형 설계가 특징이다. 윈도우11 홈이 기본 탑재되어 별도의 설치 과정 없이 바로 사용할 수 있으며, 대학생·직장인·재택근무자 등 실무형 AI 노트북을 찾는 사용자에게 적합하다.

+16GB 램 추가 구성 벤치마크 입니다.

본 테스트는 멀티태스킹 및 AI 연산 성능 최적화를 위해, 기본 탑재된 16GB 램에 동일 규격의 16GB램을 추가 장착(총 32GB 듀얼채널 구성) 한 상태에서 진행되었다.

이 구성은 단순한 용량 확장을 넘어, 메모리 대역폭이 2배로 향상되어 CPU와 내장 GPU(Arc 130T)의 데이터 처리 효율을 극대화한다. 특히 AI 기반 이미지 처리·영상 편집·멀티탭 웹 브라우징 등의 시나리오에서는 듀얼채널 메모리 환경이 실제 체감 성능에 직접적인 영향을 주기 때문이다.

	ASUS 비보북 S 16 S3607CA
제품소개		긱벤치 AI		프로키온 AI

긱벤치 AI는 NPU, CPU, GPU 등 각 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지 파악하기 위해 OpenVINO와 ONNX를 사용한다. OpenVINO(Open Visual Inference and Neural network Optimization)는 Intel에서 개발한 AI 모델 최적화 및 추론을 가속화하는 오픈소스 툴킷이며, ONNX(Open Neural Network Exchange)는 AI 모델의 프레임워크 간 호환성을 제공하는 개방형 표준 형식을 말한다. 

정밀도	데이터 형식	속도	정확도	특징
㉠ Quantized	INT8 (8비트 정수)	가장 빠름	낮음	속도 최적화, 모바일 AI
㉡ Half	FP16 (16비트 부동소수점)	중간	중간	속도-정확도 균형
㉢ Single	FP32 (32비트 부동소수점)	가장 느림	가장 높음	정밀 연산, AI 훈련

OpenVINO와 ONNX는 정밀도에 따라 다시 3가지로 나뉘는데 각 정밀도는 AI 모델의 성능, 연산 속도, 메모리 사용량 등에 영향을 미친다. AI의 추론 속도를 보기 위해서는 ㉠Quantized(INT8)를, AI 훈련 정확도를 보기 위해 ㉡Single(FP32) 또는 ㉢Half(FP16)를 테스트하는 것.

◎ CPU Score

CPU Score	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	8184	2900	3319
ONNX	5121	1287	2787

OpenVINO Toolkit과 ONNX Runtime 환경에서 동일 모델을 세 가지 정밀도(INT8, FP16, FP32)로 테스트한 결과, ASUS 비보북 S 16 S3607CA (32GB 구성)은 CPU 기반 AI 연산에서 안정적이면서 효율적인 성능을 보였다.

OpenVINO에서는 Quantized(INT8) 구간에서 8,184점을 기록하며, 동일 조건의 ONNX Runtime 대비 약 1.6배 높은 성능을 나타냈다. Half Precision(FP16)과 Single Precision(FP32)에서도 각각 2,900점, 3,319점으로, 정밀도 차이에 따른 성능 편차가 크지 않은 균형형 결과를 보여줬다.

반면 ONNX Runtime에서는 Quantized(INT8)에서 5,121점, FP16에서 1,287점, FP32에서 2,787점을 기록해, 전반적으로 OpenVINO 대비 낮은 수치를 보였다. 특히 FP16 영역에서 상대적으로 낮은 성능은 ONNX CPU 최적화의 한계를 드러낸다.

즉, 본 시스템은 OpenVINO INT8 환경에서 CPU AI 추론 효율이 극대화되는 구조로, 로컬 AI 모델 처리나 엣지 연산용 워크로드에서 최적의 퍼포먼스를 발휘한다.

◎ GPU

GPU	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	21128	16769	8057

OpenVINO Toolkit은 우수한 AI 연산 효율을 입증했다. 특히 INT8 양자화(Quantized) 연산 구간에서 21,128점을 기록하며, 동일 플랫폼 내 최고 수준의 처리 속도를 보였다. 이 결과는 전력 효율과 실시간 응답성이 동시에 요구되는 엣지 디바이스·영상 인식·AI 보조처리 환경에서 OpenVINO의 최적화 구조가 강력하게 작동함을 보여준다.

FP16(Half Precision) 구간에서도 16,769점을 기록해 고정밀 연산 대비 효율을 크게 유지했으며, FP32(Single Precision)에서는 8,057점을 기록해 부동소수점 기반의 일반 추론 작업에서도 안정적인 성능을 발휘했다.

종합적으로 볼 때, ASUS 비보북 S 16 S3607CA(32GB 확장 구성)는 내장 Arc GPU 기반에서도 AI 가속 및 병렬 연산 효율이 극대화된 시스템으로 평가된다. 이는 OpenVINO의 아키텍처 최적화와 인텔 Arc의 GPU 연산 성능이 균형 있게 결합된 결과로, 경량 모델 추론·멀티모달 AI 워크로드·생성형 애플리케이션 구동에 모두 적합한 성능을 보였다.

◎ DirectML Score 

DirectML은 GPU 가속 딥러닝을 지원하는 API다. 이를 이용하면 이미지 분류, 객체 탐지, 스타일 전환 등 AI 작업의 다양한 처리 성능을 평가할 수 있다. 점수가 높을수록 해당 하드웨어가 DirectML을 통해 AI 작업을 더 빠르고 효율적으로 처리할 수 있음을 의미한다.

DirectML Score	Quantized (INT8)	Half (FP16)	Single (FP32)
Arc 130T	4517	8463	6647

DirectML 환경 AI 연산 테스트 결과, 효율 중심의 균형 잡힌 성능 구조를 확인할 수 있었다. 테스트 결과, Half Precision(FP16) 구간에서 8,463점을 기록하며 세 구간 중 가장 높은 수치를 보였다. 이는 Arc 130T가 AI 가속 명령어와 부동소수점 연산 최적화 사이에서 안정적인 효율을 확보하고 있음을 보여준다. 이미지 생성, 실시간 인퍼런스, 음성 변환 등 중간 정밀도 연산 중심 워크로드에서 특히 우수한 퍼포먼스를 발휘한다.

Single Precision(FP32) 구간은 6,647점으로 측정되어, 고정밀 데이터 연산 환경에서도 성능 저하 없이 일정한 처리율을 유지했다. 이는 AI 연구·시뮬레이션·3D 렌더링 등 정밀도를 요구하는 작업에서도 충분히 대응 가능한 수준이다.

반면 Quantized(INT8) 구간에서는 4,517점을 기록해 상대적으로 낮은 결과를 보였으며, 이는 DirectML 환경에서 INT8 연산 최적화가 제한적인 구조임을 반영한다.

◎ NPU 

NPU	Quantized (INT8)	Half (FP16)	Single (FP32)
OpenVINO	15564	10049	3554

인텔 코어 울트라5 225H의 AI Boost NPU를 기반으로, OpenVINO 환경에서의 AI 연산 성능을 측정한 결과 효율성과 정밀도가 조화된 균형형 구조를 보여줬다.

테스트 결과, Quantized(INT8) 구간에서 15,564점을 기록하며 가장 높은 성능을 보였다. 이는 저전력 환경에서의 경량 모델·실시간 음성 인식·AI 보조 처리 등에서 CPU나 GPU 대비 우수한 에너지 효율과 응답 속도를 발휘한다는 의미다.

Half Precision(FP16)에서는 10,049점, Single Precision(FP32)에서는 3,554점을 기록했다. 정밀도가 높아질수록 연산 속도는 다소 감소했지만, FP16 구간에서 여전히 높은 효율을 유지하며, 복합적인 AI 워크로드(사진 보정, 언어 모델 요약, 객체 탐지 등)에서도 안정적인 추론 성능을 보였다.

∴ Conclusion

ASUS 비보북 S 16 S3607CA (32GB 구성)의 AI 연산 벤치마크 결과를 종합하면, CPU·GPU·NPU 세 축이 명확히 분화된 균형형 하이브리드 구조를 보였다.

먼저 CPU(OpenVINO)는 Quantized(INT8) 구간에서 8,184점으로 가장 높은 수치를 기록했으며, FP16(2,900점)과 FP32(3,319점)에서도 일관된 성능을 유지했다. 반면 ONNX Runtime 환경에서는 INT8(5,121점), FP16(1,287점), FP32(2,787점)으로 전반적으로 OpenVINO 대비 낮은 효율을 보였다. 이는 인텔 플랫폼에서 OpenVINO 최적화가 CPU 추론 효율을 크게 향상시킨다는 점을 입증한다.

GPU(Arc 130T) 기반의 DirectML 테스트에서는 FP16에서 8,463점으로 최고치를 기록했으며, FP32는 6,647점, INT8은 4,517점으로 나타났다. FP16 중심의 높은 효율은 Arc GPU가 AI 보조 연산과 멀티미디어 처리에 최적화된 구조임을 보여준다.

NPU(OpenVINO) 테스트에서는 INT8 15,564점, FP16 10,049점, FP32 3,554점을 기록하며, 저전력 기반 AI 연산에서 가장 효율적인 결과를 나타냈다. 이는 OpenVINO 백엔드와 인텔 AI Boost NPU 간의 높은 호환성 덕분에, 경량 AI 모델이나 실시간 음성·영상 인식에 최적화된 성능을 발휘한 것이다.

요약하자면, 비보북 S 16은 CPU가 일반 연산의 안정성, GPU가 AI 및 멀티미디어 가속의 중심 역할, NPU가 저전력·경량 모델의 효율성을 담당하는 구조를 통해, 인텔 AI 플랫폼 특유의 균형 잡힌 AI 처리 생태계를 완성했다.

	ASUS 비보북 S 16 S3607CA
제품소개		긱벤치 AI		프로키온 AI

프로키온 AI 벤치마크는 NPU, CPU, GPU 등 다양한 프로세서가 AI 작업에서 얼마나 효율적으로 작동하는지를 평가하기 위해 사용한다. 텍스트 생성, 이미지 생성, 컴퓨터 비전 등 다양한 AI 작업의 성능을 비교할 수 있도록 설계되어 하드웨어별 AI 성능 차이를 분석하고, 실사용 환경에서의 최적화 가능성을 평가할 수 있다.

◎ Computer Vision Benchmark - Win ML

WinML 백엔드는 DirectML을 기반으로 하여, Windows 디바이스에 최적화된 하드웨어 가속 성능을 확인할 수 있다는 점에서, 실제 AI 워크로드를 평가하고 하드웨어 선택을 검토하는 데 유용한 지표로 활용된다.

MobileNet V3 : 모바일 및 임베디드 장치에서 이미지 분류 및 객체 탐지에 사용

ResNet 50: 딥러닝에 사용되는 50개 층의 심층 신경망 모델, 이미지 분류 및 객체탐지에 사용

Inception V4 : Google이 개발한 CNN 모델, 이미지 인식 및 분류에 사용

DeepLab V3 : 이미지의 의미론적 분할(Semantic Segmentation)에 특화된 CNN 모델

* CNN : 이미지 및 영상 데이터 처리에 특화된 딥러닝 모델

YOLO V3 : 자율 주행, 감시 시스템 등에 사용

REAL-ESRGAN : 이미지 업스케일링, 사진 및 영상 복원, 게임 그래픽 향상, AI 아트 등에 사용

ASUS 비보북 S 16 S3607CA (32GB 구성)의 WinML 기반 AI 벤치마크 결과를 살펴보면, CPU와 GPU 간의 연산 특성이 뚜렷하게 구분되며, 정밀도(Float32·Float16·Integer)에 따라 성능 편차가 명확하게 드러난다.

GPU(Arc 130T) 환경에서는 Float16 구간이 264점으로 가장 높은 수치를 기록했다. 이는 Arc GPU의 부동소수점 연산 최적화가 잘 반영된 결과로, 영상 업스케일링·AI 이미지 보정·딥러닝 기반 스타일 변환 등 부동소수점 중심의 작업에서 높은 처리 효율을 발휘한다. 이어서 Float32(200점), Integer(74점) 순으로 측정되어, GPU가 정밀한 연산 중심 워크로드에 최적화되어 있음을 보여준다.

CPU(OpenVINO)에서는 Integer(126점)이 가장 높고, Float32(83점), Float16(42점) 순으로 기록되었다. 정밀도가 낮아질수록 오히려 연산 효율이 떨어지는 형태를 보였는데, 이는 CPU가 벡터화 명령어를 통해 고정밀 연산 최적화를 수행하는 구조이기 때문이다.

 GPU Float16 > GPU Float32 > GPU Integer > CPU  Integer > CPU Float32 > CPU Float16

▲ AI 연산 성능 순

◎ Computer Vision Benchmark - AI OpenVino

ASUS 비보북 S 16 S3607CA (32GB 구성)의 OpenVINO 기반 AI 벤치마크 결과를 보면, CPU와 NPU의 연산 구조가 명확히 분화되어 있으며, 정밀도별 효율 차이가 뚜렷하게 나타나는 이원화된 성능 구조를 확인할 수 있다.

먼저 CPU(OpenVINO)에서는 Integer 정밀도가 261점으로 가장 높은 수치를 기록했다. 이는 Float32(88점)나 Float16(81점) 대비 약 3배 이상 빠른 연산 효율을 보인 결과로, CPU가 양자화 모델 및 경량 추론 처리에 최적화된 구조임을 보여준다. 실제 추론 속도 테스트에서도 YOLO V3(33.12ms), Inception V4(15.08ms), ResNet50(5.65ms) 등 다양한 모델에서 일관된 응답 속도를 유지했다.

반면 NPU(Intel AI Boost)는 저전력 구조임에도 불구하고, Integer 정밀도 692점, Float16 정밀도 376점을 기록하며 CPU 대비 약 1.5~2배 향상된 연산 효율을 보여줬다. 특히 REAL-ESRGAN3(241.02ms) 및 YOLO V3(8.04ms)와 같은 이미지 업스케일링·실시간 객체 인식 테스트에서 우수한 성능을 입증했다.

NPU Integer > CPU Integer > NPU Float16 > CPU Float16 = CPU Float32

▲ AI 연산 성능 순

∴ Conclusion

ASUS 비보북 S 16 S3607CA (32GB 구성)의 AI 가속 성능 종합 결과를 보면, OpenVINO·WinML 두 환경 모두에서 CPU·GPU·NPU가 각기 다른 최적화 영역을 보이며, 인텔 플랫폼의 하이브리드 AI 구조가 명확하게 드러난다.

가장 높은 점수는 GPU Integer(OpenVINO, 905점)으로, 내장 Arc 130T의 양자화 연산 성능이 돋보였다. 이는 Float16(599점), Float32(250점)보다 월등히 높으며, 영상 인식·AI 보정·딥러닝 기반 이미지 변환 등에서 탁월한 효율을 보인다.

NPU(Intel AI Boost)는 Integer 692점, Float16 376점으로 측정되었다. 이는 CPU(OpenVINO) Integer 261점 대비 약 2.5배 빠른 추론 효율로, 저전력·백그라운드 AI 연산에 최적화된 구조임을 보여준다. 실제로 음성 인식, 영상 분석, 실시간 객체 감지와 같은 워크로드에서 높은 응답성을 확보했다.

WinML 환경에서는 GPU Float16(264점), Float32(200점), Integer(74점) 순으로 측정되어, 그래픽 및 AI 가속을 병행하는 윈도우 환경에서 안정적인 성능을 보였다. CPU의 경우 Float32(83점), Float16(42점), Integer(126점)으로, 범용성 측면에서는 우수하지만 OpenVINO 대비 효율은 낮은 편이다.

◎ Image Generation Benchmark

Image Generation Benchmark는 이미지 인식 및 분석 성능을 측정하는 테스트로, 객체 탐지, 이미지 분류, 스타일 변환 등 다양한 시각적 AI 작업에서 하드웨어 및 소프트웨어의 처리 속도와 효율성을 평가한다. 이를 통해 특정 기기가 컴퓨터 비전 작업을 얼마나 잘 수행할 수 있는지 확인할 수 있다. 

 

모델 및 정밀도	총점 (최대)	생성 속도 (s/1장)	이미지 수	엔진
SD 1.5 FP16	159	39.086	16	ONNXRuntime-DirectML AMD
SD 1.5 FP16	151	41.332	16	ONNXRuntime-DirectML Olive
SDXL FP16	230	27.067	16	OpenVINO
SD 1.5 INT8	1685	18.535	8	OpenVINO
SDXL FP16	227	164.795	16	OpenVINO

ASUS 비보북 S 16 S3607CA (32GB 구성)의 이미지 생성 AI 벤치마크 결과를 보면, 엔진별·정밀도별로 성능 편차가 확연히 드러나며, ONNX Runtime과 OpenVINO의 최적화 구조 차이가 뚜렷하게 나타났다.

가장 높은 성능을 보인 것은 OpenVINO 기반 SD 1.5 INT8 환경으로, 총점 1,685점, 이미지당 평균 18.535초를 기록했다. 이는 양자화(Quantized) 최적화를 통해 부동소수점 대비 약 2.5~3배 빠른 생성 효율을 달성한 결과로, 저전력 NPU 연산과 CPU 보조 추론이 동시에 작동하며 높은 처리 효율을 보여줬다.

SDXL FP16(OpenVINO) 환경에서는 총점 230~227점, 27~165초/장으로 측정되었으며, SD 1.5 대비 연산량이 많아 속도는 느리지만, 이미지 품질과 세부 묘사력은 크게 향상되었다. 이는 대형 모델의 복잡한 파라미터 처리 과정이 CPU·GPU 통합 구조 내에서 효율적으로 분배되고 있음을 의미한다.

한편, ONNX Runtime-DirectML 환경에서는 SD 1.5 FP16 기준으로 159~151점, 39~41초/장의 성능을 기록했다. AMD 및 Olive 백엔드 모두 GPU 가속을 안정적으로 활용했으며, 드라이버 버전에 따라 약 10% 내외의 처리 속도 차이가 확인되었다.

요약하자면, 비보북 S 16은 OpenVINO INT8 환경에서 가장 빠른 생성 속도, SDXL FP16 환경에서 가장 높은 이미지 품질, ONNX DirectML 환경에서 가장 안정적인 GPU 호환성을 보여주는 구조로, AI 이미지 생성 워크플로우의 전 구간을 커버할 수 있는 균형형 성능을 갖췄다.

◎ Text Generation Benchmark - ONNX

ASUS 비보북 S 16 S3607CA (32GB 구성)은 ONNX Runtime 환경에서 수행된 Text Generation Benchmark에서, 경량·중형 언어 모델 처리 효율이 뛰어나게 나타났다.

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 452점을 기록했다. 첫 토큰 생성 시간은 2.694초, 초당 21.45 토큰(t/s)을 처리하며 총 실행 시간은 147.852초로 집계되었다. 이는 내장 GPU와 CPU 연산이 균형적으로 작동해, 빠른 초기 응답성과 안정적인 지속 처리 성능을 동시에 확보했음을 보여준다.

Mistral 모델은 392점으로 두 번째로 높은 성능을 보였다. 첫 토큰 생성 4.315초, 초당 14.543토큰, 총 실행 시간 218.381초로, Phi 대비 응답은 느리지만 연속 텍스트 처리 안정성이 우수했다. Llama3은 367점, 첫 토큰 3.574초, 11.854 t/s, 총 256초, Llama2는 395점, 첫 토큰 6.869초, 7.925 t/s, 총 389.791초로 측정되었다.

종합적으로 볼 때, 비보북 S 16은 Phi·Mistral 계열 경량 LLM에서 최적화된 처리 속도와 안정성을 보유하며, ONNX 기반 텍스트 생성 및 대화형 AI 응용에서 실용적 퍼포먼스를 발휘한다.

특히 초기 응답 속도 대비 토큰 처리 효율 비율이 높아, 로컬 AI 비서·요약형 모델·경량 챗봇 환경에 이상적인 구조로 평가된다.

◎ Text Generation Benchmark - OpenVINO

ASUS 비보북 S 16 S3607CA (32GB 구성)의 OpenVINO 기반 Text Generation Benchmark 결과, CPU·NPU 통합 환경에서 경량 언어 모델 추론 성능이 인상적인 수준으로 확인되었다.

가장 높은 성능을 보인 것은 Phi 모델로, 종합 점수 861점, 첫 토큰 생성 시간 0.856초, 초당 24.775토큰(t/s)을 기록했다. 전체 실행 시간은 114.345초로 측정되어, 빠른 응답성과 높은 효율을 동시에 보여주었다. 이는 OpenVINO의 INT8 및 FP16 혼합 최적화가 경량 모델에 효과적으로 작동했음을 의미한다.

Mistral 모델은 822점으로, 첫 토큰 생성 시간 1.078초, 초당 16토큰, 총 실행 시간 175.764초를 기록했다. Phi보다 초기 응답은 다소 느리지만, 중형 모델임에도 전반적인 처리 안정성이 우수하다.

Llama3 모델은 803점, 첫 토큰 생성 0.96초, 초당 15.255토큰, 총 183.16초로 집계되었으며, OpenVINO 최적화가 적용된 상태에서도 중간 규모 언어 모델 구동 시 효율적이었다.

Llama2 모델은 765점으로 가장 낮은 결과를 보였고, 첫 토큰 생성 시간 1.924초, 초당 8.322토큰, 총 실행 시간 334.66초를 기록했다. 대형 모델 구동 시에는 연산 리소스 한계가 확인되었지만, 여전히 텍스트 생성의 안정성은 유지되었다.

AI Benchmark LAB

by danawa

기획, 글 / 다나와 홍석표 hongdev@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com