쿨엔조이 AMD Ryzen AI 9 HX 370 벤치마크

이전에는 AI가 주로 중앙 서버에서 네트워크를 통해 구동되는 방식이었습니다. 하지만 이런 방식은 네트워크 연결이 필수적이고, 보안 문제나 개인정보 유출의 위험이 있다는 한계가 있었습니다. 이에 따라, AI가 개별 기기에서 독립적으로 구동될 수 있는 필요성이 대두되었고, 점차 온 디바이스 형태의 AI 기술이 등장하게 되었습니다. 이는 랩탑 PC에 탑재된 CPU와 GPU의 성능이 AI 처리에 충분한 수준으로 향상되었으며, 신경처리장치(NPU)와 같은 전용 하드웨어가 더해져 AI 연산이 더욱 빠르고 효율적으로 이루어질 수 있었기 때문입니다.

AMD는 최근 데스크탑용 Ryzen 9000 시리즈를 발표하면서 CPU, GPU, NPU가 결합된 형태의 모바일 프로세서인 'STRIX POINT'를 동시에 발표했습니다. 새로운 Zen5와 Zen5n CPU 아키텍처로 구성되었고 최대 50TOPS의 성능을 내는 XDNA2 NPU 까지 포함되었습니다.이번 벤치마크는 AMD의 STRIX POINT 프로세서 중 하나인 'Ryzen AI 9 HX 370'이 탑재된 랩탑을 이용해 진행됩니다. 벤치마크에서는 이 프로세서의 성능을 분석하고, AI 가속이 가능한 프로그램들을 활용하여 실제 사용 어떻게 응용할 수 있는지 알아보도록 하겠습니다.

Zen5c의 등장

먼저 아키텍처를 살펴보면, Ryzen AI 9 HX 370에는 두 가지 타입의 CPU 코어가 사용됩니다. 이들 코어는 Zen 5와 Zen 5c로, 두 코어 모두 동일한 아키텍처를 기반으로 설계되었습니다. Zen 5c는 L3 캐시 메모리의 용량을 줄여 각 코어가 차지하는 물리적 공간을 Zen 5 코어에 비해 약 25% 더 작게 만들었습니다. 이 덕분에 동일한 공간에 더 많은 코어를 집적할 수 있어, 모바일 프로세서임에도 불구하고 총 12코어 24스레드 구성이 가능하게 되었습니다.

Strix Point APU

Strix Point 시리즈는 최대 12개의 코어로 구성되며, AMD는 이 코어들을 '고성능 코어'와 '효율 코어' 대신 '클래식'과 '컴팩트'로 구분합니다. 이 시리즈는 4개의 클래식 코어인 Zen 5와 8개의 컴팩트 코어인 Zen 5c로 이루어져 있습니다. 이러한 설계는 모바일 플랫폼의 전력 제한 내에서도 데스크탑 수준의 성능을 제공하는 것을 목표로 하며, 15W에서 45W 사이의 낮은 TDP 구성을 가능하게 합니다.

또한, Strix Point 시리즈는 AMD의 RDNA 3.5 아키텍처 기반의 통합 그래픽을 탑재하여, 이전 세대에 비해 상당히 향상된 그래픽 성능을 제공합니다. 이로 인해 슬림하고 가벼운 노트북에서도 뛰어난 그래픽 성능을 기대할 수 있습니다. 더불어, Strix Point에는 XDNA 2 AI 엔진이 탑재되어 있어, 오프라인 상태에서도 디바이스 기반의 AI 작업이 가능해졌습니다. 이는 실시간 언어 처리, 고급 이미지 인식, 기타 AI 집약적 애플리케이션에서 큰 이점을 제공하며, 최근 소비자용 CPU에 AI 가속 기능을 통합하는 최신 트렌드를 반영합니다.

ASUS Ryzen AI 9 HX 370 Laptops

이번 리뷰에 사용될 노트북은 ASUS의 제품으로 이 중 Ryzen AI 9 HX 370 프로세서가 탑재된 랩탑은 크게 4종이 있습니다. Pro Art P16, ASUS TUF Gaming A14 (2024), ROG Zephyrus G16 (2024), ASUS Zenbook S 16 OLED 이렇게 현재 판매되고 있으며, 이 중 ASUS Zenbook S 16 OLED 제품을 통해 테스트가 진행되었습니다.

해당 제품은 AMD Ryzen AI 9 HX 370 프로세서와 XDNA NPU를 탑재하여 One Device 형태의 AI 처리 기능을 제공합니다. 이 노트북은 16인치 3K OLED 디스플레이를 장착했으며, 2880 x 1800 해상도와 120Hz 주사율을 지원합니다. 무게는 1.5kg이고 두께는 1.1cm로, 가볍고 얇은 디자인이 특징입니다. 연결성 면에서는 Wi-Fi 7과 Bluetooth 5.4를 지원하며, USB 4.0 Type-C 포트 2개, USB 3.2 Gen 2 Type-A 포트 1개, HDMI 2.1 포트, SD 카드 리더, 3.5mm 오디오 잭 등 다양한 포트를 제공합니다

FAN : Standard

성능 테스트의 모든 항목은 '표준' 모드로 진행 되었으며 Cinebench R23 테스트에 한해 FAN 모드에 따라 성능 측정이 진행되었습니다. 해당 노트북의 경우 FAN 모드에 따라 APU의 TDP설정이 바뀌어 소비전력에서 차이가 나며, 이에 따라 성능에 유의미한 변화가 있을 수 있습니다.

테스트에 사용된 ASUS Zenbook S 16 OLED는 저소음, 표준, 성능, 최대 속도 총 4가지의 팬 모드를 지원합니다. 각 팬 모드에 따라 성능에 차이가 있으며, 특히 표준 모드에서 성능 모드로 변경할 때 가장 큰 성능 차이가 나타났습니다. 따라서 조용한 환경에서 가벼운 작업을 수행할 경우에는 저소음이나 표준 모드를 선택하고, 렌더링과 같은 고부하 작업 시에는 성능 모드나 최대 속도 모드를 설정하여 프로세서의 최대 성능을 발휘할 수 있습니다.

이미 일상 깊숙히 활용되는 AI

AI는 이미 다양한 산업에서 실제로 활용되며, 혁신적인 변화를 주도하고 있습니다. 예를 들어, 의료 분야에서는 IBM Watson이 AI 기반의 분석을 통해 의사들에게 환자 맞춤형 치료 계획을 제안하고, 방사선 이미지 분석을 통해 암 진단의 정확성을 높이고 있습니다. 이러한 AI 도구는 환자의 건강 데이터를 빠르고 정확하게 분석하여 치료의 효과를 극대화하는 데 기여하고 있습니다.

금융 분야에서는 JPMorgan의 AI 플랫폼을 사용하여 복잡한 법률 계약을 분석하는 데 활용되고 있으며, 수천 건의 문서를 단 몇 초 만에 처리하여 법적 오류를 줄이고 업무 효율성을 높이고 있습니다. 이뿐만 아니라, AI는 주식 시장의 패턴을 분석하고, 투자 기회를 포착하는 데도 사용되고 있어 금융 업계 전반에서 중요한 도구로 자리 잡고 있습니다.

테슬라의 Dojo 슈퍼컴퓨터 역시 일상 속에 활용되고 있는 AI로 설명해볼 수 있는데요, 테슬라의 자율주행 시스템은 도로에서 실시간으로 수집되는 방대한 테슬라 차량들의 데이터를 기반으로 작동하며, 이러한 데이터를 효과적으로 학습시키는 데에는 Dojo 슈퍼컴퓨터가 핵심적인 역할을 합니다. Dojo는 전 세계의 테슬라 차량들이 수집한 다양한 운전 상황을 빠르게 처리하고 분석하여 AI 모델을 지속적으로 개선하며, 그 결과, 테슬라의 차량들은 더욱 정확하고 안전한 자율주행 기능을 제공할 수 있게 됩니다.

또한, 엔터테인먼트 분야에서도 AI는 창의적인 도구로 사용되고 있습니다. 넷플릭스는 AI 알고리즘을 통해 사용자 취향을 분석하고, 맞춤형 콘텐츠를 추천하여 사용자 경험을 향상시키고 있습니다. 음악 제작에서도 SUNO AI를 활용해 멜로디와 가사를 생성하는 데 사용되며, 아티스트들에게 영감을 제공하는 역할을 하고 있습니다.

On Device AI Apps

산업과 일상 뿐만 아닌, PC를 사용하는 환경에서 직접 사용할 수 있는 다양한 웹사이트와 애플리케이션들 역시도 빠르게 출시되고 있습니다. 이들 중 다수는 AI 가속 및 NPU 가속이 지원되지 않는 PC에서도 원활하게 사용될 수 있도록, 클라우드 기반의 AI 기술을 활용한 애플리케이션들이 주를 이루고 있습니다. 이러한 클라우드 방식의 AI 애플리케이션들은 인터넷에 연결된 환경에서 서버를 통해 연산을 처리하고, 사용자는 그 결과를 받아볼 수 있는 방식으로 동작합니다.

그러나, 이번에 알아볼 애플리케이션들은 인터넷 연결이 불가능한 환경에서도 사용 가능하도록, AI를 On Device 형태로 활용하는 방식을 채택하고 있습니다. 이러한 애플리케이션들은 로컬 장치에서 직접 AI 연산을 처리함으로써, 인터넷 연결이 불안정하거나 보안상 이유로 오프라인 상태에서 작업해야 하는 상황에서도 효과적으로 사용될 수 있습니다. 이는 특히, 휴대성이 중요한 노트북과 같은 작업 환경이나 실시간으로 결과가 필요한 상황에서 매우 유용합니다.

AMUSE 2.0 Beta

'AMUSE'는 뉴질랜드에 본사를 둔 텐서스택(TensorStack)과 AMD가 협력하여 개발한 이미지 생성 AI 애플리케이션입니다. AMD와의 협력을 통해 개발된 만큼, 이 애플리케이션은 최신 Ryzen 프로세서에 최적화되어 있으며, AMD의 CPU와 GPU를 사용하는 것이 권장됩니다.

AMUSE는 프롬프트를 입력받아 이미지를 생성하며, 이미지 생성 과정에서는 GPU를 사용합니다. 이후, AMD XDNA Super Resolution 기능을 활용하여 이미지를 2배 크기로 업스케일링할 때 NPU를 사용하여 최종 이미지를 출력합니다.

일반적으로 많이 사용되는 'Stable Diffusion - webui'와 달리, AMUSE는 AMD의 하드웨어만 장착되어 있다면 제약 없이 쉽게 설치할 수 있으며, 간편하게 이미지를 생성할 수 있습니다. 이번 테스트에 사용된 노트북의 경우 Stable Diffusion - webui는 설치 단계에서 하드웨어의 제한으로 인해 사용이 어려웠던 반면, AMUSE는 큰 문제 없이 손쉽게 사용할 수 있었습니다.

[AMUSE 2.0 프로그램을 통해 이미지 생성 후, NPU 가속 옵션으로 업스케일링 진행 중인 모습]
  

LM Studio

LM Studio는 Windows 환경에서 복잡한 설치 과정 없이 LLM(Large Language Model)을 관리하고 사용할 수 있는 애플리케이션입니다. ASUS Zenbook S 16 OLED에 탑재된 Ryzen AI 9 HX 370 프로세서와 32GB 메모리 환경에서는 META의 'Llama 3 7B' 모델을 활용하여 자유롭게 채팅을 하고 문서 번역 등의 작업을 수행할 수 있었습니다.

또한 이 애플리케이션은 언어 모델을 웹과 연동할 수 있어, 웹 검색 및 데이터 정렬과 같은 다양한 기능도 활용 가능합니다. 이를 통해 사용자는 복잡한 설치 과정 없이도 LLM들을 바꿔가며 사용할 수 있었습니다.

[LM Studio에 Meta Llama 3.0 7B 모델 마운트 후 AMD에 대한 설명을 생성 중인 모습]

Adobe Premiere Pro

Adobe의 프리미어 프로는 동영상 편집 프로그램으로 잘 알려져 있으며, AI를 활용한 다양한 기능도 포함되어 있습니다. 특히, 영상 속 목소리를 인식하여 자동으로 자막을 생성하는 기능은 콘텐츠 제작자들에게 매우 유용한 도구로 자리 잡았습니다. 이 기능을 통해 자막 작업에 소요되는 시간을 크게 줄일 수 있으며, 작업의 효율성을 높이는 데 도움을 줍니다.

초기에는 이 기능이 오디오 파일을 서버에 업로드해 클라우드 방식으로 처리되었으나, 최근 업데이트를 통해 가능하면 로컬 장치에서 직접 처리하는 방식으로 개선되었습니다. 이러한 변화 덕분에 인터넷 연결이 제한된 환경에서도 빠르고 효율적으로 자막 작업을 수행할 수 있습니다. 특히, 현장에서 즉각적인 편집이 필요한 상황에서 매우 실용적으로 활용될 수 있습니다.

이 기능은 Ryzen AI 9 HX 370 프로세서가 탑재된 ASUS Zenbook S 16 OLED에서도 문제없이 구동되며, 이 외에도 화면 전환이 이루어지는 부분에서 컷을 자동으로 인식하여 분할해주는 기능도 효과적으로 사용할 수 있었습니다.

  
[Adobe Premiere Pro에서 자동 자막 생성 중(위), 생성 후(하)]

쿨엔조이 AMD Ryzen AI 9 HX 370 벤치마크

Ryzen AI 300 Series

AMD는 이전부터 CPU에 NPU를 포함시켜 다양한 영역에서 활용할 수 있도록 개발해왔습니다. 예를 들어, 데스크탑 프로세서인 Ryzen 8000G 시리즈와 모바일 프로세서인 Ryzen 8000 시리즈가 그 대표적인 예입니다. 이 두 제품군 모두 XDNA 기반의 NPU를 탑재하고 있으며, 이는 이번 Ryzen AI 300 시리즈의 등장을 가능하게 한 중요한 기반이 되었다고 볼 수 있습니다.

특히, 이번에 제품명에 직접 'AI'가 언급된 Ryzen AI 300 시리즈는 XDNA2 아키텍처를 사용해 이전 세대 XDNA 대비 성능이 크게 개선되었습니다. 이로 인해 이전 세대의 NPU보다 더욱 다양한 작업에서 뛰어난 성능을 발휘할 수 있게 되었습니다.

On Device AI laptop

노트북에서 On device 형태로 AI를 직접 구동할 수 있게 되면서, 인터넷 연결 없이도 다양한 창작 활동을 할 수 있는 새로운 환경이 마련되었습니다. 이로 인해 사용자는 아이디어가 떠오르는 즉시 이미지를 생성하거나 문장을 작성하여, 자신의 생각을 구체화할 수 있습니다. 이는 창의적인 작업을 하는 데 있어 더 큰 자유를 제공하며, 언제 어디서나 자신의 아이디어를 시각적으로나 텍스트로 표현할 수 있는 가능성을 열어주게 되었습니다.

또한, 같은 환경에서는 문서 번역이나 정리와 같은 작업도 AI를 통해 손쉽게 처리할 수 있습니다. 예를 들어, 중요한 문서를 여러 언어로 번역하거나, 복잡한 내용을 체계적으로 정리하는 일이 훨씬 간편해집니다. 결과적으로 인터넷이 연결되지 않은 상황에서도 높은 생산성을 유지할 수 있게 해주며, 다양한 상황에서 유연하게 대응할 수 있는 능력을 사용자에게 제공할 것으로 기대 됩니다.

그러나 아쉬운 점은, 이렇게 향상된 NPU를 적극적으로 활용할 수 있는 애플리케이션이 아직까진 부족하다는 것입니다. 현재 대부분의 AI 애플리케이션이 CPU나 GPU 가속에 주로 의존하고 있어, NPU를 활용한 프로세서의 AI 가속 성능을 충분히 활용하지 못하고 있는 상황입니다. 앞으로 AMD가 다양한 업체들과 협력하여 이 NPU의 잠재력을 최대한 발휘할 수 있는 소프트웨어 환경을 구축하는 것이 중요한 과제가 될 것입니다.

with Radeon 890M Graphics

AMD Ryzen AI 9 HX 370 프로세서는 내장된 Radeon 890M GPU 덕분에 단일 APU로서 상당히 경쟁력 있는 게임 성능을 제공합니다. 특히 고클럭의 LPDDR5X 메모리를 시스템 자원으로 활용하는 노트북의 특성상, 이 메모리의 높은 대역폭이 그래픽 성능을 한층 더 향상시키는 데 기여하고 있습니다. 특히나 ASUS Zenbook S 16 OLED 제품의 경우 32GB의 대용량 메모리를 채택하여 더 많은 VRAM을 할당할 수 있습니다.

물론 사이버펑크 2077과 같은 일부 고사양 게임을 원활하게 구동하기에는 여전히 한계가 있지만, 로스트아크, 오버워치2, 디아블로 4 등과 같은 게임에서는 해상도만 낮추어 플레이 한다면 충분히 쾌적한 플레이를 제공하는 성능을 발휘합니다.

ASUS Zenbook S 16 OLED

AMD Ryzen AI 9 HX 370 프로세서는 데스크탑 프로세서처럼 별도로 구매할 수 있는 제품이 아니기 때문에, 노트북을 통해서만 사용할 수 있습니다. 따라서 노트북의 사용성이 사용자 경험에 큰 영향을 미칩니다. 이번 벤치마크에 사용된 ASUS Zenbook S 16 OLED는 2880 x 1800 해상도의 16인치 OLED 디스플레이를 탑재하고 있으며, 약 1.51kg의 무게로 휴대성이 뛰어납니다. 또한, 디스플레이는 터치 기능을 지원하며, 필압을 지원하는 ASUS Pen 2.0을 함께 제공하며, 풀 사이즈 SD 카드 슬롯과 HDMI 포트도 갖추고 있어 다양한 작업에 유용하게 활용할 수 있습니다.

총평

이번 벤치마크 글 작성과 삽화 이미지 준비 과정에서 ASUS Zenbook S 16 OLED를 활용해 다양한 온 디바이스 AI 프로그램들을 적극 사용했습니다. 예를 들어, 몇몇 삽화 이미지는 AMUSE 2.0을 통해 생성했고, 글 작성 과정에서는 LM Studio에 META의 Llama 3 7B 모델을 마운트해 표현을 다듬고 해외 문서 자료를 정리 및 번역하는 데 활용했습니다. 인터넷이 연결되지 않은 오프라인 상태에서 말이죠

이렇게 직접적인 사용 경험을 통해 느낀 바로는, 현재 출시된 AI 애플리케이션과 Ryzen AI 9 HX 370 프로세서를 함께 사용하면 업무를 보조하는 데 있어 충분히 실용적이라는 점이었습니다. 특히, Ryzen AI 9 HX 370 프로세서 자체의 성능 덕분에 AI 가속이 원활하게 이루어져 실제 작업에서 큰 도움이 되었습니다. 

현재 NPU의 성능을 활용하는 애플리케이션이 많지는 않지만, 점차 그 수가 늘어나고 있습니다. 특히 이번 벤치마크에서 소개된 프로그램들은 컴퓨터에 대한 지식이 많지 않아도 간편하게 설치해 사용할 수 있는 무료 프로그램들이었으며, 다양한 환경에 응용하기에 적합하다는 인상을 받았습니다. 앞으로도 이러한 프로그램들이 꾸준히 더 많이 등장하길 기대하며, AMD가 프로세서 라인업에 'AI'라는 명칭을 추가한 만큼, AI 소프트웨어 개발사들과 적극적으로 협력하여 더 많은 프로그램을 쉽게 사용할 수 있도록 지원한다면, 이 프로세서의 잠재력이 더욱 빛을 발할 것으로 생각됩니다.

저작권자ⓒ 쿨엔조이 https://coolenjoy.net/ , 무단전재 및 재배포 금지