황선욱 Arm 코리아 사장은 “Arm의 엣지 컴퓨팅 장치는 저전력용 센서 기반 장치로 시작해 고성능 AI 기반 IoT 솔루션으로 발전해 왔다. Arm의 헬륨 기술과 에소스 NPU는 이미 수십억 개 IoT 기기에 적용돼 있다. 또한 사물인터넷 장치도 카메라가 탑재되고 AI를 채용하며 영상 지원을 넘어 클라우드로, 추론과 LLM 작업 등을 수행하는 단계로 거듭났다. 이를 위한 Armv9 엣지 플랫폼과 코텍스-A320, 에소스-U85를 국내 시장에 소개한다”라고 말했다.

Armv9 기반 AI 엣지 플랫폼, 초고효율에 AI 연산 더해

이번에 공개한 Arm 코텍스-A320은 Armv9.2-A 버전 아키텍처 기반의 첫 AArch64 CPU다. 마이크로 아키텍처는 코텍스-A520에서 파생됐으며, 면적과 전력 효율, 보안 측면에서 전방위적으로 개선한 게 특징이다.

정성훈 Arm코리아 FAE(필드 애플리케이션 엔지니어) 디렉터는 “코텍스-A320은 기존 Arm 제품군의 보안과 성능 이점은 그대로 받아들이고, 전작인 A35 대비 최대 10배 향상된 머신 러닝 성능, 코텍스-A520 대비 50% 향상된 전력 효율, A35 대비 30% 향상된 스칼라 추론 성능 등이 핵심이다. Armv9 기반의 강력한 보안 및 높은 AI 성능은 그대로 유지한다”라고 설명했다.

사물인터넷 기능 중 핵심으로 다루는 부분은 보안, AI 컴퓨팅 부문이다. 정성훈 디렉터는 “보안 측면에서는 메모리 취약점에 대응하는 메모리 태깅 익스텐션, 코드 취약점 등을 방어하는 포인터 인증(Authentication), 소프트웨어를 격리하는 2레벨 보안 접근이 지원된다. AI 성능 향상 측면에서는 AI 처리 효율을 높이는 행렬 곱셈 명령어 추가, 새로운 16비트 부동소수점(BF16) 처리 지원을 통한 기계학습 성능 강화, 기계학습 및 디지털 신호 처리 성능을 높이기 위한 고급 벡터 확장2 추가 등이 있다”라고 설명했다.

이번에 공개되는 코텍스-A320은 Armv9 IoT 환경에서 초고효율 라인업에 해당하며, 코텍스-A520이 고효율, 코텍스-A725가 고성능, 코텍스-X925가 초고성능으로 성능을 구분하게 된다. Armv9 아키텍처 호환성 덕분에 기존 환경에 새 프로세서를 도입해도 IoT 기능을 그대로 소화하고, 결과적으로 도입 기업의 비용 절감과 출시 시간 단축으로 이어진다.

성능 측면에서는 단일 코어 기준으로 0.25TOPS(1TOPS당 초당 1조 회 연산, 2500만 회 연산)에 해당하며, 쿼드 코어 구성 시 이론상 1TOPS를 지원한다. 정성훈 디렉터는 “코텍스-A320을 약 22나노미터 공정으로 구축하면 1.2GHz의 동작 성능을 갖추며, 5nm 최신 공정을 적용하면 2.3GHz까지도 발휘한다”라고 덧붙였다.

정성훈 디렉터는 “코텍스-A320은 기존 A54 및 A35에서 더 높은 성능과 보안을 필요로 하는 조건에 최적의 선택지다. 기존의 Armv9 생태계를 기반으로 하면서 최신 AI 프레임워크를 사용할 수 있고, 리치OS 등 리눅스 기반 개발 환경을 제공해 소프트웨어 개발 기간도 단축할 수 있다.

Arm의 AI 개발자 도구 ‘클레이디AI’도 IoT로 확장

Arm 기반 AI 개발자 도구 클레이디(Kleidi)도 온디바이스 AI 등을 넘어 사물인터넷용 엣지 AI 적용군으로 확대된다. 개발자는 추가 작업 없이 Arm 기반 CPU에서 인공지능 및 기계학습 작업 절차를 최적화할 수 있게 된다. 현재도 클레이디AI는 Llama.cpp 및 엑스큐토치, 라이트RT 등 AI 프레임워크와 통합돼 주요 모텔 성능을 끌어올린다. 예를 들어 클레이디AI는 마이크로소프트의 타이니 스토리즈 데이터 셋을 실행할 때 새로운 코텍스-A320의 성능을 최대 70%까지 높일 수 있다.

이미 어드밴텍, 아마존웹서비스, 유로테크, 르네사스, 지멘스 등 다양한 엣지컴퓨팅 관련 산업 기업들이 Arm의 AI 엣지 플랫폼을 지원하고 있다. 대표 사례는 AWS IoT 그린그래스다. 그린그래스는 AWS 클라우드로 디바이스 소프트웨어를 개발 및 배포, 관리하는 솔루션이며, 이미 AWS 기반 팩토리 등에서 널리 쓰인다.

AI 추론에 초점 맞춘 첫 64비트 장치, 향후 가능성은?

Arm 코텍스-A320은 Armv9 아키텍처로는 처음으로 AArch64, 64비트 명령어 세트를 지원하는 프로세서다. L1 캐시에 64Kb 및 L2 캐시에 512Kb까지 갖춘다. 쿼드 코어 시 1TOPS의 성능을 내는 만큼 소형 추론은 무난하게 수행할 것이며, 공장이나 센서용 AI 엣지를 넘어 웨어러블이나 소규모 전자장치까지의 확대도 노린다. Arm이 엣지 컴퓨팅에 AI를 지원하는 것은 당연한 업계 수요긴 하나, 오픈소스 계열의 RISC-V가 Arm의 빈공간을 파고들 수 있다는 우려를 해소하기 위한 목적으로도 보인다.

마지막으로 정성훈 디렉터는 “오늘 소개한 코텍스-A320은 IoT를 넘어 더 넓은 시장, 다양한 애플리케이션 형태로 변화를 이끌어낼 것이다. 앞으로 스마트워치, 웨어러블 등에서도 새로운 AI 기능이 가능하게 할 것이고, 서버 마켓 등의 컨트롤러 칩에도 쓰일 수 있다. AI는 성장을 위한 기술을 넘어 사회적 영향을 만드는 기술이 될 것”이라고 말했다.

IT동아 남시현 기자 (sh@itdonga.com)