AMD는 3월 20일, 인터컨티넨탈 서울 코엑스 호텔에서 AMD AI Business Overview라는 주제로 AMD의 AI 제품과 사업 분야를 소개하고, 앞으로의 사업 전략과 파트너십 현황을 설명했습니다. 

이번 간담회에서 특별히 발표된 신제품은 없었으며, 평소 기글하드웨어에 올라오는 뉴스를 꼬박꼬박 챙겨보신 분들이라면 대부분은 이미 알고 계실 내용입니다. 다만 모든 사람들이 하드웨어 매니아는 아니니 이렇게 정리해서 설명하는 자리는 꼭 필요하며, AMD가 AI라는 시대의 흐름을 어떻게 준비하고 있는지 그 진심을 확인할 수 있었다는 것만으로도 그 의의는 충분했다고 봅니다. 

AMD 코리아의 홍보 담당인 이진호 부장은 인사말에서 "요새처럼 AI에 관련된 많은 질문을 받았던 적도 없었다"며 AMD에게 쏠린 기대가 크다는 점을 어필했습니다. 또 "AMD는 업계에서 가장 폭넓은 포트폴리오를 갖고 있는 회사이기에, 어떤 영역에서 어떤 제품을 선보이고 있는지를 전반적으로 보여드리고 싶었다"고 이번 간담회의 목적을 소개했습니다. 

우선 AMD 코리아 커머셜 세일즈 이대형 대표가 올라와 AMD가 AI를 어떻게 주도하고 있는지 그 전체적인 모습을 설명했습니다. 

작년에 챗GPT나 바드 같은 새로운 서비스의 활용에 초점이 맞춰졌다면, 올해는 생활상 자체가 바뀔 정도로 AI에 거는 기대가 큽니다. 최근 50년 만에 등장한 가장 혁신적인 기술이라고까지 설명합니다. 

AMD의 리사 수 CEO는 2023년에 이렇게 예측했습니다. 올해 AI 시장 매출은 300억 달러, 매년 50%씩 성장해 2027년에는 1500억 달러에 도달할 것이라고요. 

그런데 틀렸습니다. 2023년 매출은 이미 450억 달러를 찍었으며 매년 70% 이상 성장해 2027년에는 4000억 달러에 도달할 것으로 상향 조절했습니다. 

AMD는 AI의 모든 영역에서, 처음부터 끝까지 모든 것을 공급하는 전략을 내세우고 있습니다. 경쟁사들이 데이터센터의 학습 같은 특정 분야에 치중한 반면, AMD는 모든 분야에 최적화된 솔루션을 내놓겠다는 것입니다. 실제로 리사 수 CEO는 앞으로 5년 안에 모든 자사 제품군에 AI 엔진을 탑재하겠다고 선언한 바 있습니다. 

이를 위해서는 광범위한 훈련과 추론 엔진을 갖춰야 합니다. 데이터센터 같은 집중된 일부 시장에만 제품을 내놓는 것이 아니라 엣지나 로컬 등에서 처리 가능한 포트폴리오를 갖추는 것이 목표입니다. 이렇게 하려면 페쇄적인 환경이 아니라 개방된 오픈 소스 소프트웨어 환경을 구축해야 한다는 것이 AMD의 설명입니다. 또 개방된 생태계 구축을 만들기 위해선 당연히 AI 생태계 전반에서 서로 협업이 이루어져야 하고요. 특정 회사가 하드웨어부터 소프트웨어까지 모든 것을 쥐고 놓아서는 안된다는 소리입니다.

AI의 중요성과 시장의 동향에 대한 소개가 끝나고, 다음은 AMD 코리아 데이터센터 및 클라우드 솔루션 아키텍트 김홍필 이사가 AMD의 데이터센터와 클라우드 제품군을 소개했습니다. 

우선 AMD 인스팅트 MI300 시리즈 가속기입니다. 데이터센터에서 AI 워크로드 처리에 사용하는 가속기지요.

현재 AI 시장은 GPU를 그래픽이 아닌 AI 연산에 쓰고 있기에, 더 이상 그래픽 프로세싱 유닛이라고 부르기가 애매해졌습니다. 그래서 AI 가속기라고 부르고 있으며, 여기에 사용하는 아키텍처도 그래픽의 RDNA가 아닌 컴퓨팅을 의미하는 CDNA로 따로 나눠 개발하고 있습니다. 뒤에 붙은 3이 의미하듯 1세대부터 시작해서 구준히 개발을 거듭한 결과 이제 CDNA3까지 온 것이죠. AMD CDNA3 아키텍처는 AI와 HPC 전용 가속 엔진을 탑재하고, 4세대 AMD 인피니티 패브릭을 통해 여러 다이를 함께 연결하며 이를 3.5D 패키징으로 하나의 칩을 만들었습니다. 이런 칩렛 구조는 높은 성능과 높은 효율을 지녀 여러 회사들이 앞다투어 도입하고 있는데, 이를 가장 먼저 시작한 것도 AMD임을 강조했습니다. 

AMD 인스팅트 MI300X는 업계 최고 수준의 생성형 AI라고 설명합니다. 많은 수의 코어와 함께 192GB의 대용량 HBM3 메모리를 갖춘 것이 특징인데요. 192GB는 경쟁사 제품과 비교해서 상당히 큰 용량이고, 5.3TB/s에 달하는 광대역 메모리인 HBM3도 사용했습니다. 또 896GB/s의 인피니티 패브릭을 통해 다수의 인스팅트 MI300X를 함께 운용할 수 있습니다.

AMD 인스팅트 MI300X 가속기의 구조입니다. 겉보기엔 하나의 칩이지만 그 안은 다수의 칩렛으로 이루어져 있습니다. 256MB 인피니티 캐시와 4세대 인피니티 패브릭 링크 7 x16을 품어 데이터 입출력을 담당하는 I/O 다이 4개, 실제 연산을 수행하는 304개의 CDNA3 컴퓨트 유닛을 품은 XCD 다이 8개, 그리고 12단 적층 HBM3 메모리 8개를 모아 129GB의 용량과 5.3TB/s의 대역폭을 실현했고, 이 모두를 3D 하이브리드 본딩과 2.5D 실리콘 인터포저를 사용해 하나로 합쳤습니다. 

AMD 인스팅트 MI300X는 가속기를 한장씩 파는 게 아니라 이를 탑재한 플랫폼 단위로 판매하고 있습니다. AMD 인스팅트 MI300X 플랫폼에는 8개의 가속 모듈이 탑재되는데요. 그럼 BF16/FP16에서 최고 10.4페타플롭스의 성능을, 1.5TB의 HBM3 메모리를 지닌 고성능 시스템이 탄생합니다. 또 896GB/s의 인피니티 패브릭과 업계 표준 디자인을 채택해 다른 가속기나 시스템과 함께 운용할 수 있습니다.

AMD 인스팅트 MI300X 가속기는 다양한 OEM과 솔루션 파트너를 통해 시장에 공급 중입니다. 

다음은 AMD 인스팅트 MI300A입니다. 세계 최초 AI 및 HPC용 APU 가속기라고 설명합니다. AMD는 외장 그래픽에 견줄 정도의 고성능 그래픽이 포함된 CPU를 APU라는 이름으로 판매하고 있는데요. 인스팅트 MI300A 역시 CPU와 GPU가 모두 포함된 제품입니다.  

데스크탑이나 노트북에서 APU는 부피를 차지하고 가격도 비싼 그래픽카드를 따로 장착하지 않는다는 장점이 있지만, HPC나 AI 가속기에서 APU를 쓰는 이유는 무엇일까요? 기존 구성에서는 CPU와 GPU가 따로 있었고, 저마다 전용 메모리를 따로 사용합니다. 하지만 APU 구조의 인스팅트 MI300A에서는 CPU가 GPU가 같은 메모리를 쓰기에 데이터를 서로 공유할 수가 있습니다. 그 결과 데이터 처리 속도가 훨씬 더 빨리지고 레이턴시는 줄어듭니다. 

AMD 인스팅트 MI300A 가속기는 228개의 CDNA3 컴퓨트 유닛을 품은 6개의 XCD, 24개의 젠4 아키텍처 x86 코어 CPU를 제공하는 3개의 CCD, 4개의 I/O 다이, 8단 HBM3 메모리, 256MB 인피니티 캐시로 이루어지며, 이를 3.5D 패키징으로 함께 묶었습니다.

인스팅트 MI300X에서 XCD 다이를 일부 덜어내고 그 자리에 CPU 다이인 CCD를 채워 넣은 구조라고 보면 되겠습니다. 

AMD 인스팅트 MI300A APU 역시 여러 파트너를 통해 제품을 판매하고 있습니다. 

AMD 인스팅트 시리즈는 고성능 슈퍼컴퓨터에서 현역으로 활약하고 있습니다. 전작인 인스팅트 MI250X를 탑재한 시스템이 슈퍼컴퓨터 성능 순위 1위를 차지한 걸 비롯해 TOP500 성능 순위의 상위 25개 중 5개에서 사용 중이며, 고효율 슈퍼컴퓨터 순위인 그린500에서는 상위 10개 중 6개가 AMD 인스팅트 가속기를 사용 중입니다. 그만큼 성능이 높고 효율은 더욱 높다는 소리 되겠습니다.

다음은 소프트웨어입니다. AMD는 데이터센터부터 클라우드, 임베디드까지 폭넓은 AI 생태계에 맞춘 하드웨어를 제공하고 있으며, 거기에 맞는 소프트웨어 스택도 쌓아가고 있습니다. 

ROCm은 AMD의 가속기에서 실행되며, 라이브러리부터 컴파일러, 런타임까지 풀스택 소프트웨어를 제공합니다. 이를 통해 파이토치나 텐서플로우, 오닉스 등의 최종 소프트웨어를 원활하게 실행할 수 있습니다. 

ROCm은 고급 대규모 모델에 맞춰 FP16, BF16, FP8 등의 동적 지원, 고성능 AI 라이브러리 제공, 프레임워크와 모델 등의 생태계 획장 등을 더해가며 꾸준히 개선됐습니다. 

LLM 성능도 최적화됐습니다. 

라마2의 경우 이전 세대 하드웨어와 ROCm5 조합, 현 세대 하드웨어와 ROCm6 조합의 성능을 비교하면 8배가 올랐습니다. 

이제 에픽 프로세서 차례입니다. CPU도 AI 솔루션에서 굉장히 중요한 부분임을 강조했습니다. 

지금 AI 기술은 대규모 언어 모델에 집중된 분위기지만 앞으로는 산업 전반에서 늘리 사용될 것이라 예상됩니다. 최적화나 자동화부터 시작해서 각종 이미지나 동영상 제작을 수행하는 생성형 AI, 쇼핑몰 등에서 흔히 보이는 사용자 패턴 기반 추천 시스템 등에도 AI가 활약합니다. 

전통적인 AI 워크로드는 훈련에서 데이터를 모아 알고리즘을 정립하고, 이를 토대로 추론을 해서 결과를 냅니다. 그 둘 사이에서 데이터를 계속해서 관리하고 저장할 필요가 있습니다. 

학습에는 AI 가속기를 주로 사용하며, 최근 AI 시장도 이쪽에 집중되어 있지만, 다른 분야에서는 여전히 CPU가 필요합니다. 또 CPU만으로도 AI를 구동할 수 있는 분야도 있고요.

AMD는 AI 가속기와 CPU 솔루션을 모두 갖고 있기에, 이 두가지 제품군을 함께 활용할 수 있습니다. 대규모 학습이나 추론의 경우 가속기에게 맡기고 중소규모 모델은 CPU가 처리합니다. 이러면 기존의 데이터센터 인프라에서 추가 시스템 도입이나 업그레이드 없이 처리할 수 있습니다. 이렇게 다양한 워크로드에 대비할 수 있다는 것이 AMD의 AI 전략입니다. 

그래서 AMD 에픽과 인스팅트의 역할을 나눴습니다. 에픽은 혼합 워크로드와 중소형 모델, 고전적인 머신 러닝과 소규모 추론을. 인스팅트는 전용 AI 학습과 대형 모델/추론을 맡습니다.

이런 전략은 이미 시장에서 검증이 됐습니다. 에픽 프로세서의 경우 범용성이 높은 CPU이기에 다른 회사의 그래픽 솔루션이나 가속기와 결합해 적지 않은 양이 출시됐습니다. 

정리하면 AMD는 AI 가속기와 에픽 프로세서라는 두 가지 솔루션을 갖춰, 가장 광범위하는 포트폴리오와 아키텍처를 제공하고 있습니다. 전통적인 CPU 뿐만 아니라 가속 기술, 자일링스를 인수하면서 얻은 FPGA와 컴퓨팅 기술을 결합해 업계 전반에서 AI를 제공하는 것이 목표입니다.

마지막으로 AMD 코리아 컨슈머팀 세일즈 및 마케팅 스페셜리스트 임태빈 이사가 보다 친숙한 분야, 데스크탑과 노트북에 탑재된 프로세서 제품군을 소개했습니다. AMD의 가장 친근한 영역이자 가장 전통적인 분야라는 수식어도 덧붙여서요.

AMD는 업게에서 가장 광범위한 사업 영역을 구축했습니다. 데이터센터부터 최종 사용자, 그리고 그 사이를 연결하는 가속기와 엣지까지 다양한 영역을 연결하는 기술이 없으면 불가능한 일입니다. AMD는 각 시장에서 가장 최적화된 기술을 제공한다고 설명합니다. 

개인용 노트북과 데스크탑은 라이젠 AI란 이름으로 개인 사용자용 AI 프로세싱을 지원하고 있습니다. CPU는 전통의 젠 아키텍처, GPU는 RDNA 아키텍처를, 그리고 AI는 전용 처리 장치인 NPU에 XDNA 아키텍처를 사용하고 있습니다

그냥 여러 유닛을 한데 모은 것이 아니라 저마다 AI 영역에서 활용하고 있습니다. NPU의 XDNA는 자일링스의 기술을 활용해 추가된 유닛으로 고효율 모바일 AI 프로세싱을 위한 전용 AI 엔진을 탑재합니다. 젠 아키텍처 CPU는 AVX-512 VNNI 명령어 세트를 지원해 AI 워크도르를 가속합니다. 개인 사용자용 제품에서 AVX-512 지원에 인색한 인텔과는 매우 대조적이지요. 또 AI 워크로드 특성상 병렬 연산의 효율이 매우 높은데, 이는 RDNA 아키텍처의 GPU에서 실행합니다. 

AI는 클라우드에서 실행하면 되는데 왜 로컬 시스템에 굳이 AI 전용 처리 장치를 넣어야 할까요? 우선 네트워크 연결을 하지 않아도 자체적으로 AI를 쓸 수 있습니다. 그리고 AI에 질문한 채팅 내역이나 생성된 컨텐츠가 외부에 새어나가는 걸 염려할 필요 없이, 프라이버를 지킬 수 있지요. 또 현재 나오는 AI 시스템은 앞으로도 계속해서 활용할 수 있으며, 전력 사용량을 최적화했기에 효율 역시 높습니다.

AMD는 2023년에 코드네임 피닉스를 발표하고, x86 프로세서 최초로 AI가 탑재된 모델을 출시했습니다. 고성능 게이밍 노트북 뿐만 아니라 보급형/슬림형 노트북에서도 AI를 제공하고 있습니다. 

 2024년 1분기에 나온 라이젠 8040 시리즈 프로세서는 거기에서 한층 더 발전된 성능을 보여줍니다. 4nm 공정의 최신 아키텍처인 젠4, XDNA NPU, 동급 제품군 중 최고의 성능을 제공하는 RDNA3 그래픽을 갖춰 별도의 외장 그래픽 없이도 게임이나 그래픽 작업을 수행할 수 있습니다.

  

 
생성형 AI 작업은 기존의 라이젠 7040 시리즈와 비교해서 1.4배 가량 올랐습니다.

라이젠 8040 시리즈 제품군입니다. 가장 저렴한 2개 모델을 제외하고 나머지는 모두 NPU를 탑재한 AI 프로세서입니다.

AMD 라이젠 AI 시리즈는 라이젠 7040 시리즈, 코드네임 피닉스를 시작으로 라이젠 8040 시리즈 호크 포인트에서 성능을 한층 더 업그레이드했으며, 올해 말에는 스트릭스 포인트라는 차세대 프로세서가 나올 예정입니다. 

스트릭스 포인트는 기존 제품보다 3배의 생성형 AI 성능을 지닌 XDNA2 아키텍처 기반 NPU가 탑재될 예정입니다. 또 2025년에는 젠5 아키텍처로 CPU가 업그레이드됩니다. 

질의응답 시간에서는 AMD의 주요 매출이 데이터센터 쪽에서 나오고 있으며, 이 시장이 계속해서 성장하고 있는 만큼 여기에 초점을 맞추고 있음을 밝혔습니다. 국내 시장의 경우 KT 클라우드에서 AMD 인스팅트 MI250 가속기를 도입해 서비스를 제공 중이고요. 신제품인 인스팅트 MI300 시리즈의 경우 이미 고객사에 공급 중이고 하반기에는 모든 파트너들이 판매할 준비를 마칠 것이라고 밝혔습니다. 도 경쟁사와 달리 공급망에는 아무런 차질이 없다고도 강조했습니다.

슈퍼컴퓨터 쪽에서 AMD의 성과는 올해 11월에 열릴 SC24 슈퍼컴퓨터 컨퍼런스에서 더 자세한 정보가 공개될 수 있음을 내비췄습니다. 자일링스를 인수하면서 자일링스의 FPGA와 컴퓨팅 자산을 AMD 시스템에 접목하는 한편, 펜산도 시스템을 인수해 네트워크 역량을 강화하겠다고 설명했습니다. NVIDIA가 인수한 멜라녹스의 솔루션도 많이 사용했지만, AMD는 어디까지나 열려 있는 생태계를 지향하고 있기에 펜산도의 플랫폼을 활용해 나갈 것이라 밝혔습니다. 

<저작권자(c) 기글하드웨어(https://gigglehd.com) 무단전재-재배포금지>