AI 에이전트 활용이 빠르게 늘어나는 가운데, AMD가 로컬 환경에서 실행되는 에이전틱 AI 워크로드에서는 GPU의 생성 성능뿐 아니라 CPU와 통합 메모리를 포함한 시스템 전체의 균형이 중요하다는 테스트 결과를 공개했다.

채팅은 하나의 응답을 제공하지만, AI 에이전트는 검증까지 마친 결과물을 제공한다. 즉, 단일 GPU 추론이 아닌 시스템 전체의 결과물이다.

클라우드에서 AI 추론을 실행하면 모델을 직접 구축하지 않고도 서비스를 빠르게 이용할 수 있지만, API 사용량에 따른 비용과 데이터 외부 전송, 네트워크 연결 의존성 등이 뒤따른다. 반면 로컬 추론은 토큰 단위의 클라우드 비용 없이 데이터를 기기 안에서 처리할 수 있고, 오프라인·저지연 환경과 모델 제어권을 확보할 수 있다는 장점이 있다.

AMD는 로컬 AI 에이전트의 성능을 평가할 때 기존 생성형 AI의 대표 지표인 첫 토큰 생성 시간(TTFT)과 초당 토큰 수만으로는 실제 작업 성능을 충분히 설명하기 어렵다고 강조했다. 에이전트는 단순히 답변을 생성하는 데 그치지 않고 자료 분석과 OCR, 문서 분할, 임베딩, 검색, 결과 검증 등 여러 단계를 연속해서 수행하기 때문이다.

평가 지표는 워크플로우 전체의 결과로 이동한다: 워크플로우 완료 시간과 워크플로우당 비용

이에 따라 에이전틱 AI 시대에는 하나의 모델이 토큰을 얼마나 빠르게 생성하는지보다 전체 작업을 완료하는 데 걸리는 시간과 완료된 작업당 비용이 더욱 중요한 지표가 된다는 설명이다.

302개 자료로 실제 기업 업무 재현

AMD는 로컬 AI 에이전트의 실질적인 처리 성능을 측정하기 위해 ‘HEPA(Hermes Executive Presentation Agent)’ 워크로드를 구성했다. HEPA는 대규모 사내 공유 드라이브를 가정한 고정 데이터 세트에서 경영진용 프레젠테이션과 보조 메모, 차트, 출처가 표기된 부록을 제작하는 작업이다.

데이터 세트에는 필요한 자료뿐 아니라 중복되거나 오래된 문서, 내용이 충돌하는 자료를 함께 포함했다. 스캔 문서와 이미지 기반 자료도 넣어 실제 OCR 처리가 필요하도록 구성했다.

AI 에이전트는 자료를 읽고 스캔된 입력을 OCR로 변환한 뒤 문서를 분할하고 임베딩해야 한다. 이어 관련 증거를 검색해 제한된 자료 묶음을 구성하고 결과물을 생성한 다음, 사전에 설정한 품질 검증 절차까지 통과해야 한다. 단순 모델 처리량이 아니라 검증을 마친 최종 결과물의 완성 시간을 측정한 것이다.

8개 파이프라인 단계 중 7개는 CPU에서 실행되고, GPU는 모델 생성만 담당한다

테스트에는 302개의 로컬 자료와 전처리를 거친 801개의 문서 청크가 사용됐다. 오케스트레이터 모델은 4비트로 양자화한 혼합전문가(MoE) 방식의 ‘Qwen3.6-35B-A3B’이며, 약 30억개의 매개변수가 활성화되는 구성으로 llama.cpp에서 구동됐다.

임베딩에는 CPU에서 실행되는 FastEmbed ONNX 기반 ‘nomic-embed-text-v1.5’를 적용했고, OCR은 테서랙트를 사용했다. 두 시스템에는 동일한 데이터와 모델, 설정을 적용했으며 각각 5회의 유효한 실행과 총 25개의 결정론적 검사를 완료했다. 전체 8개 처리 단계 가운데 생성 작업은 GPU가 담당하고, 분석과 OCR, 문서 분할, 임베딩, 검색, 자료 구성 및 검증 등 7개 단계는 CPU에서 실행됐다.

라이젠 AI 맥스+ 395, 전체 작업 55.5초 단축

AMD에 따르면 라이젠 AI 맥스+ 395를 탑재한 ‘라이젠 AI 헤일로’ 시스템은 엔비디아 DGX 스파크 그레이스 블랙웰 GB10과 비교해 전체 작업을 15% 빠르게 완료했다.

DGX 스파크는 개별 추론을 더 빨리 수행하지만, AMD는 전 과정에 걸친 검증된 워크플로우를 55.5초 더 빨리 완료한다

라이젠 AI 헤일로는 품질 검증을 포함한 전체 워크플로를 311.6초 만에 마쳤다. DGX 스파크는 같은 작업에 367.1초가 걸려 두 시스템 간 차이는 55.5초로 나타났다.

세부적으로 라이젠 AI 헤일로의 CPU 처리 시간은 152.1초, GPU 처리 시간은 159.5초였다. DGX 스파크는 CPU에서 229.9초, GPU에서 137.2초가 소요됐다. DGX 스파크가 GPU 추론 단계에서는 앞섰지만, CPU 중심의 준비 작업에서 시간이 더 걸리면서 전체 완료 시간은 라이젠 AI 헤일로가 짧았다.

CPU 오케스트레이션 성능에서는 라이젠 AI 헤일로가 DGX 스파크보다 34% 빠른 결과를 기록했다. 특히 임베딩과 라우팅 작업은 각각 71.5초와 139.6초로, 라이젠 AI 헤일로가 약 68.1초 단축했다. OCR은 4.9초와 6.5초, 자료 검증은 71.6초와 77.7초로 측정됐다.

임베딩과 라우팅에서 CPU 성능 차이가 가장 크게 나타났다: AMD 71.5초, DGX 스파크 139.6초

AMD 시스템은 llama.cpp의 벌칸 백엔드를, 엔비디아 시스템은 CUDA 백엔드를 이용했다.

완료 작업당 비용 27% 절감

AMD는 3년간 하드웨어를 상각하고 에너지 비용을 제외한 연속 사용 조건을 적용했을 때 라이젠 AI 헤일로의 완료 작업당 비용이 DGX 스파크보다 27% 낮다고 분석했다.

라이젠 AI 헤일로의 작업당 비용은 약 0.0132달러, DGX 스파크는 약 0.0182달러로 계산됐다. 하드웨어 도입 비용과 같은 시간에 처리할 수 있는 작업량을 함께 반영한 수치다.

AMD는 이 같은 차이가 CPU 기반 작업의 병렬 처리 성능에서 발생한다고 설명했다. 문서 분석과 OCR, 임베딩, 라우팅은 여러 데이터를 동시에 처리할 수 있고, 데이터 세트가 커질수록 CPU 코어와 스레드, 벡터 연산 성능의 영향도 커진다.

하나의 에이전트, 두 개의 엔진, 하나의 메모리 풀: CPU는 오케스트레이션을, GPU는 생성을 담당하며, 통합 메모리가 모델을 상시 유지한다

라이젠 AI 맥스+ 395는 16개의 젠 5 코어와 SMT 기반 32개 스레드, AVX-512 및 VNNI 벡터 가속 기능을 갖췄다. DGX 스파크의 그레이스 CPU는 SMT를 지원하지 않는 20개 Arm 코어와 SVE2 명령어 체계를 사용한다.

AMD는 CPU가 에이전트의 실행 흐름과 자료 전처리, 임베딩 및 라우팅을 담당하고 GPU가 토큰을 생성하며, 대용량 통합 메모리가 모델과 데이터를 상주시켜 처리 단계 사이의 전달 효율을 높인다고 설명했다.

CPU, GPU, 통합 메모리가 하나의 시스템으로 작동할 때 지능은 완성된 작업으로 더 빠르게 이어진다

향후 온디바이스 AI 에이전트가 오케스트레이터와 소형 상시 실행 모델, 임베딩·재순위화 모델, OCR, 음성 및 이미지 모델을 함께 구동하는 형태로 발전하면 특정 가속기의 성능보다 CPU와 GPU, 메모리를 아우르는 시스템 설계가 더욱 중요해질 전망이다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지