AMD, ROCm 10 공개…”같은 장비에서 추론 3.3배·학습 2.4배 빨라졌다”

2026.08.28. 12:27:31

AMD가 현지 시각 8월 27일 ROCm 10을 공개했다. AMD 소프트웨어 스택이 나온 지 10년이 되는 시점이며, 7월 어드밴싱 AI 2026 행사에서 처음 선보인 ROCm.AI를 이번에 정식 제공한다. ROCm은 AMD GPU에서 AI와 고성능 연산 작업을 실행하기 위한 소프트웨어 묶음으로, 엔비디아 쿠다와 같은 자리에 해당한다.

AMD가 내세운 것은 성능이다. ROCm.AI로 구성한 시스템은 같은 하드웨어에서 ROCm 7보다 추론이 평균 3.3배, 학습이 2.4배 빨라졌다고 밝혔다. 커널과 메모리 관리, 스케줄링을 AI로 최적화한 결과라는 설명이다. 커널은 GPU에서 실제 계산을 수행하는 작은 프로그램을 말한다.

다만 이 수치는 AMD 성능 연구소가 7월 7일 자체 측정한 값이다. 인스팅트 MI355X GPU 8장을 얹은 시스템에서 추론은 GLM-5와 키미 K2.5, 딥시크 R1-0528 세 모델의 초당 토큰 처리량 평균으로 계산했는데, 토큰은 모델이 글자를 잘라 처리하는 최소 단위를 말한다. 학습은 딥시크 V2-라이트와 딥시크 V3-16B, 큐원3-30B-A3B 세 모델 평균으로 계산했다. AMD는 서버 제조사마다 구성이 달라 결과가 달라질 수 있다고 덧붙였다.

ROCm.AI는 세 부분으로 이뤄진다. 첫째인 ROCm 하이퍼룸은 호스트 코드와 GPU 커널 전반에서 추론 작업을 최적화하는 자율 에이전트 시스템이다. 작업을 프로파일링해 병목을 찾고, 최적화 방안을 탐색해 코드를 고친 뒤, 결과를 벤치마크로 재고 성능과 정확성까지 검증한다. 벤치마크는 같은 조건에서 성능을 비교하려고 만든 표준 시험을 말한다. ROCm 10에서 인스팅트 GPU 전반으로 지원이 넓어졌고 vLLM과 SGLang을 지원하며, HIP와 트리톤, 플라이DSL을 대상으로 최적화한다. 제안한 코드 변경과 예상 성능 향상을 담은 보고서도 함께 제공된다.

둘째인 AMD 스킬은 클로드 코드와 커서, 코덱스 같은 AI 코딩 에이전트에 AMD 하드웨어 지식과 검증된 작업 절차를 넣어 준다. ROCm 10에서는 카탈로그가 세 갈래로 늘었다. 로컬 AI와 애플리케이션 연동을 다루는 클라이언트 워크플로, 진단과 라우팅·리플레이 분석·최적화를 다루는 크로스스택 워크플로, 인스팅트 GPU와 에픽 프로세서의 서빙·프로파일링·성능 분석을 다루는 서버 워크플로다. 클로드 코드와 코덱스, 커서 마켓플레이스에서 받을 수 있고 깃허브 공개 카탈로그에도 올라 있으며, 각 스킬은 배포 전 구조와 동작 시험을 거친다.

셋째인 ROCm CLI는 테크놀로지 프리뷰로 제공된다. AMD 하드웨어에서 AI 작업을 설정하고 관리하고 운영하는 통합 명령줄 도구로, 윈도우와 리눅스에서 사전 빌드 바이너리로 받을 수 있고 기존 ROCm 설치가 없어도 쓸 수 있다. 여러 런타임을 나란히 두고 전환하거나 되돌릴 수 있으며 모델 서빙과 엔진 관리도 포함한다. 어댑터는 일부 AMD 클라이언트 시스템의 레모네이드와 인스팅트 GPU 서빙용 vLLM을 지원한다.

CLI에 딸린 ROCm 콘솔에서는 시스템 상태와 작업 현황을 실시간으로 확인할 수 있다. ROCm 런타임 상태와 모델 서빙, GPU 사용률과 함께 고대역폭 메모리 사용량, 소비 전력, 와트당 토큰 수를 확인할 수 있다. 고대역폭 메모리는 D램을 여러 층으로 쌓아 데이터 통로를 넓힌 메모리로, AI 가속기의 성능을 좌우하는 부품이다. CLI는 ROCm 7.13부터 버전과 무관하게 동작하며 ROCm 10 정식 지원은 곧 추가된다.

ROCm 10은 기반이 되는 소프트웨어 묶음도 함께 정비했다. ROCm 코어 SDK를 더 모듈화했고 라이브러리와 컴파일러, 프레임워크, 도구, 모델 지원, 성능, 하드웨어 플랫폼을 전반적으로 갱신했다.

자세한 내용은 AMD에서 확인할 수 있다.

이미지 출처: AMD

AI Matters 뉴스레터 구독하기