[IT동아=샌프란시스코] 현지시간으로 7월 23일에서 24일 양일간 미국 캘리포니아 주 모스콘 센터에서 AMD의 연례 콘퍼런스인 어드밴싱 AA 행사가 진행된다. 이번 행사에서 AMD는 젠6 아키텍처 기반의 6세대 서버용 ‘에픽’ 프로세서와 서버용 AI 가속기 ‘AMD 인스팅트 MI455X’를 정식 공개했으며, 이를 기반으로 하는 헬리오스 서버렉도 정식 출시했다.

23일 오전에 열린 리사 수 AMD 최고경영사 기조연설에는 오픈AI, 앤트로픽, 메타 등 주요 고객사가 참여해 AMD의 새로운 하드웨어에 대한 정보를 공유하고 도입 사례 등을 소개했다. 기조연설 이후에는 엑스포에서 AMD 관련 생태계 전반에 대한 전시가 진행되고 관련 기술 세션 등도 진행된다.

올해 엑스포에는 AI 데이터센터 인프라 스타트업 망고부스트, 모레가 부스 전시로 참가했으며, AMD가 새롭게 제안하는 ‘AMD 로보틱스 파트너 네트워크’ 생태계에 국내 기업으로는 유일하게 노타가 참여한다. 전체 엑스포 소개와 더불어 국내 참가 스타트업들의 행보를 조명해 봤다.

역대 최대 규모로 진행되는 AMD 어드밴싱 AI 엑스포

AMD 어드밴싱 AI가 시작된 처음 2년은 기술 세션에 가까운 행사였다. 별도로 엑스포나 제품 전시 등은 없이 기자간담회나 기술 세션 등만 진행됐다. 그러다 2024년부터 본격적으로 작게나마 엑스포가 문을 열었으며 올해는 본격적으로 규모를 키워 스폰서, 협력사 등이 참여하는 엑스포를 꾸몄다. 주요 부스는 AWS, 델 테크놀로지스, HPE, 마이크로소프트 등의 주요 AMD 고객사를 비롯해 시스코, IBM, HP, 브로드컴, 구글 클라우드, 마이크론 등의 협력사들도 부스로 참가했다.

이 중에서 망고부스트와 모레는 가장 작은 부스로 엑스포를 찾았다. 미국에서 진행되는 행사인 데다가 빅테크 기업, AMD 자체 부스가 크다 보니 대다수 스타트업들은 소규모 부스로 자리를 잡았다. 망고부스트는 데이터센터 및 AI 서버용 데이터 처리 반도체인 ‘데이터 프로세싱 유닛(DPU)’을 개발 중이며 이를 기반으로 AI 에이전트 OS, LLMBoost 등 인프라 소프트웨어도 취급한다.

현장에서는 AMD 플랫폼 상에서 동작하는 AMD ROCm 상의 망고 에이전트 운영체제, AMD 인스팅트 관련 이기종 컴퓨팅 지원, 메모리 확장 및 계층화 관련 기술이 소개됐다. 망고부스트의 LLM부스트 소프트웨어 스택을 바탕으로 인스팅트 MI355X를 구동한 결과에서는 엔비디아 블랙웰 B300을 넘어서는 추론 성능을 확인할 수 있다.

최신 LLM 모델 중 하나인 GLM-5/5.1(FP8) 기준 벤치마크에서 '망고부스트 SW + AMD MI355X' 조합은 동일한 지연시간 조건에서 엔비디아 블랙웰 B300 대비 1.25배 높은 토큰 처리량을 제공했다. 종단 간 지연시간 측면에서는 엔비디아 B300이 142조일 때 망고부스트 플랫폼 기반 MI355X는 28초로 5.1배 가량 빨랐다. 딥시크 R1 벤치마크에서도 엔비디아 H100s 클러스터와 비교해 5.8배 높은 처리량과 2.05배 낮은 지연 시간을 달성해 AMD GPU 기반 추론 작업도 소프트웨어를 통해 효율화할 수 있음을 증명했다.

최의남 망고부스트 부장은 “망고부스트는 DPU 개발로 시작해 GPU간 초고속 네트워킹과 고대역폭 메모리 공유 기술을 개발 중이다. 최근에는 인프라 위에 AI 에이전트 OS 및 소프트웨어 최적화 스택을 탑재해 LLM 연산 과정에서 GPU가 유휴하는 병목 구간을 제어하는 기술을 구현했다”라고 기술력을 강조했다.

모레(MOREH)는 특정 반도체에 종속되지 않는 독립 AI 인프라 소프트웨어 플랫폼을 개발하는 기술 스타트업으로 국내에서는 AMD GPU, 텐스토렌트 NPU 등 다양한 AI 가속기를 이기종 환경으로 구성하는 MoAI 플랫폼, MoAI 추론 프레임워크 등을 개발 및 제공하고 있다. 모레는 AMD, KT, 캐나다 텐스토렌트의 주요 협력사며 이기종 컴퓨팅 업계에서는 비교적 널리 알려진 기업이다.

이번 행사에서는 MoAI 추론 프레임워크를 활용해 AMD GPU 환경에서의 효율적인 추론 소프트웨어를 제안한다. 현장에서는 MoAI 추론 프레임워크 상에서 32대의 AMD 인스팅트 MI300X 가속기로GLM-5.1을 구동하는 데모 세션이 전시됐다. 주목할만한 점은 LLM을 처리할 때 질문을 읽고 이해하는 프리필, 답변을 생성하는 디코드가 별도 하드웨어로 나뉘어 작동하는 부분이다.

모레는 프리필과 디코드에 서로 다른 연산 자원을 분리 배정해 응답 속도는 줄이고 처리량은 극대화하는 최적화 기술을 주로 선보인다. 또한 캐시-어웨어 라우팅, 동시성 테스트 등 대용량 부하가 몰리거나 긴 콘텍스트 입력 시 효율을 높이도록 컴퓨팅 자원을 자동 스케쥴링 하는 기술도 선보였다.

조강원 모레 대표는 “모레는 AMD로부터 펀드도 유치했고, 오랜 기간 소프트웨어 분야에서 협력해 온 주요 파트너사다. AMD에서 함께하는 팀들의 권유로 이번 행사를 참석했으며 글로벌 참가자들을 대상으로 모레의 서비스와 기술력을 알릴 목적으로 이 자리에 나왔다”라면서 “이번에 세 번째로 행사에 참여하고 있는데 매년 규모가 커지고 있으며 엔비디아의 대체제로서 확실하게 자리매김하는 것을 느끼고 있다”라고 말했다.

노타는 부스 전시가 아닌 파트너 생태계 참여로 이름을 올렸다. 노타는 AI 모델 양자화 기술 기업으로 최근에는 온디바이스 AI 및 엣지 AI 등을 위한 AI 최적화 기술 분야에 집중하고 있다. 피지컬 AI는 대다수 로봇 분야인데 한정된 컴퓨팅 자산으로 고성능을 확보하기 위해 노타의 양자화 기술이 활용된다.

AMD는 올해 행사에서 피지컬 AI를 강조하며 ‘AMD 로보틱스 파트너 네트워크’라는 자체 생태계를 발표했다. AMD 로보틱스 파트너 네트워크는 AMD의 ROCm같은 소프트웨어 스택부터 CPU 및 GPU 등 컴퓨터 자원, 자일링스 기반 FPGA(프로그래밍 가능한 반도체) 등을 활용하는 피지컬 AI 기업들의 개발 및 배포를 지원하는 개방형 생태계다. 여기에는 제조 전문 기업, 독립 소프트웨어 공급 업체, 센서 개발 기업 등 파트너사가 참여하며 국내 기업으로는 유일하게 노타가 이름을 올렸다.

채명수 노타 대표는 “피지컬 AI가 산업 현장에서 실질적인 가치를 창출하기 위해서는 AI 모델을 실제 로봇의 연산 및 메모리 환경에 맞게 최적화해야 한다. 이번 파트너 네트워크 참여는 노타의 AI 최적화 기술과 역량이 글로벌 시장에서 인정받은 결과라고 생각한다”라면서 “노타의 AI 모델 경량화 및 하드웨어 맞춤형 최적화 기술을 실제 로봇의 프로세서 및 시스템 환경에 맞춰 최적화할 계획이다. 파트너 네트워크 기업들과 협력해 AI가 안정적이고 효율적으로 구동되도록 지원할 것”이라 답했다.

국내 기업 참여 많진 않으나, 확실한 생태계 확장 보여

어드밴싱 AI는 올해로 4회 차를 맞으며, 18회 차를 맞는 엔비디아 GTC와 비교하면 규모나 명성 면에서는 아직 모자라다. 특히나 AI 생태계 측면에서는 엔비디아가 강세인 만큼 AMD도 이를 따라가는 모양새다. 하지만 글로벌 빅테크 기업들이 특정 기업에 점유율이 종속되는 밴더 록인 현상을 경계해 AMD와의 협력 구도도 만들고 있고, 이를 바탕으로 다양한 파트너십과 생태계가 만들어지고 있다.

국내에서는 여전히 AMD 생태계의 인지도가 높지 않아 행사 참여도 많지 않았지만, 많은 글로벌 기업들이 AMD와 함께하면서 국내 기업들 사이에서도 서서히 반응이 뜨고 있다. 부스에 참석하진 않았지만 삼성전자가 메인 스폰서로 참여했으며 배경훈 부총리가 직접 현장을 방문했으니 앞으로 국내에서의 인지도 역시 올라갈 전망이다. 특히나 올해 3월 리사 수 CEO가 직접 한국을 방문한 뒤 업스테이지, 네이버 등을 비롯한 국내 기업들과 만나거나 협력을 약속하면서 국내 AMD AI 생태계도 갈수록 더 커질 전망이다. 올해 행사는 모두 끝났지만 앞으로가 더 주목되는 이유다.

IT동아 남시현 기자 (sh@itdonga.com)