Arm이 개발자와 AI 에이전트가 Arm 컴퓨팅 플랫폼 전반에서 AI 소프트웨어를 탐색하고 최적화하고 배포할 수 있는 ‘Arm AI 포털’을 공개했다. 클라우드와 엣지, 피지컬 AI를 아우르는 Arm 플랫폼에서 개발자 2,200만 명과 이들이 사용하는 에이전트를 최적화된 AI 소프트웨어와 연결하는 것이 목적이다.

AI 애플리케이션 개발에서 적합한 모델을 검색하고 성능을 측정해 최적화하는 데는 몇 주가 걸릴 수 있다. 개발자는 모델을 찾고 성능을 파악해야 하고, 에이전트는 같은 모델과 도구, 정보를 탐색할 수 있도록 기준이 명확하게 제공돼야 한다. AI 포털은 이 과정을 한 곳에서 처리하도록 설계됐다.

개발자는 포털에서 성능과 정확도 데이터를 갖춘 사전 최적화 모델을 탐색하고, 지연 시간과 메모리 사용량, 모델 크기를 비교하며 코드 예제와 배포 워크플로를 확인할 수 있다. 자체 개발 모델이나 독점 모델을 가져와 Arm 환경에서 성능을 분석하고 최적화하는 도구는 이후 제공될 예정이다. 에이전트가 활용할 수 있는 AI 리소스는 정식 출시 전 얼리 액세스로 이용할 수 있다.

출시 시점에 제공되는 사전 최적화 모델은 알리바바의 큐원, 구글의 젬마, 울트라리틱스의 욜로다. 이 모델들은 ExecuTorch와 LiteRT, ONNX-RT 같은 런타임을 활용한다. 런타임은 학습을 마친 모델을 실제 기기에서 실행해 주는 소프트웨어를 말한다. 알리바바와 라즈베리 파이, 울트라리틱스가 생태계 파트너로 참여했다.

Arm은 최적화 효과를 두 모델의 측정값으로 제시했다. 큐원3-TTS는 비보 X300 스마트폰에서 단일 스레드 실행과 혼합 양자화를 적용해 4배 이상 빨라졌다. 이 과정에는 Q8_0 토커와 코드 예측기가 사용됐고, SME2가 연산을 가속했다. SME2는 Arm이 행렬 연산을 빠르게 처리하도록 설계한 명령어 확장이며, 양자화는 숫자의 정밀도를 낮춰 모델 용량과 연산량을 줄이는 기법이다.

울트라리틱스 욜로26n은 비보 X300과 라즈베리 파이 5에서 모두 40% 이상 빨라졌다. 스마트폰에서는 SME2를 적용하고 FP32 대신 FP16으로 단일 스레드 실행했으며, 라즈베리 파이 5에서는 NEON을 적용하고 FP16과 INT8 혼합 양자화를 함께 적용했다. NEON은 Arm 프로세서가 여러 데이터를 한 번에 계산하도록 하는 명령어 집합이다.

AI 포털의 리소스는 기존 개발 환경에서 바로 사용할 수 있다. Arm에 최적화된 모델은 허깅페이스를 통해 제공되고, 코딩 에이전트는 MCP로 포털 리소스에 접근한다. MCP는 AI 모델이 외부 도구와 데이터에 연결되는 방식을 정한 규약이다. Arm은 모델과 성능 데이터, 워크플로를 기계가 읽을 수 있는 형태로 제공해 개발자와 에이전트가 같은 자료를 참조하도록 했다고 설명했다.

AI 포털은 클라우드부터 엣지, 피지컬 AI까지 아우르며 언어와 음성, 비전, 신경망 그래픽을 지원한다. 로보틱스용 비전 모델부터 스마트폰용 생성형 AI, 클라우드 CPU에서 실행되는 작업별 대규모 언어 모델까지 목표 플랫폼에 맞는 모델을 찾도록 지원한다. SVE와 SME, 신경망 가속기 같은 Arm 기술을 최적화된 소프트웨어와 연결하며, Arm CSS for Mobile 2에서는 SME2로 가속한 모델과 신경망 가속기를 탑재한 GPU를 포털에서 이용할 수 있다.

자세한 내용은 Arm 뉴스룸에서 확인할 수 있다.

이미지 출처: Arm