현지시간으로 10월 11일, 미국 캘리포니아주 샌프란시스코 모스콘 센터에서 AMD가 주최하는 ‘어드밴싱 AI’ 행사가 진행 중이다. 앞서 행사에서 AMD는 새로운 인스팅트 MI325X AI 가속기와 차세대 제품군인 MI355X AI 가속기에 대한 정보를 비롯해 5세대 에픽 프로세서, 라이젠 AI 프로 300 시리즈 노트북 프로세서, AMD 펜산도 셀리나 400 데이터 처리 장치 및 폴라라 400 네트워크 카드 등을 정식 공개했다.

AMD가 새로운 세대의 AI 가속기를 공개하면서, AMD AI 가속기를 취급하는 파트너사들 역시 분주해진 모양새다. 현재 인스팅트 MI300 시리즈는 거의 모든 서버용 장비 제조사에서 취급하고 있으며, 어드벤싱 AI 행사에도 새로운 제품에 대응하는 신제품들이 대거 전시됐다. 데모룸을 방문해 주요 서버 제조사의 신제품들을 접해봤다.

AMD, 최대 256GB HBM3E 탑재한 MI325X 출시

이번에 출시된 AMD 인스팅트 MI325X AI 가속기는 엔비디아 H100 및 H200과 경쟁하는 제품군이다. 메모리는 전작의 192GB HBM3에서 256GB HBM3E로 업그레이드됐으며, 이에 따라 메모리 대역폭도 초당 5.3TB에서 6TB로 늘어났다. 이론적인 최고 성능에서는 미스트랄 7B 모델의 FP16 성능은 1.2배, 라마 3.1 70B 모델을 FP8로 구동할 때의 추론 성능은 1.4배 향상됐고, 이는 엔비디아 H200에 비해 1.3배 높은 성능이다.

현재 업계에서는 여덟 개의 인스팅트 GPU를 하나의 플랫폼으로 묶어서 서버로 구축하며, MI325X를 여덟 개로 엮을 시 2TB의 HBM3E 메모리와 최대 48TB의 대역폭을 갖게 된다. 성능은 FP8 기준 20.8PF(페타플롭스), FP16 기준 10.4PF를 제공한다.

발 빠른 AI 시장만큼 제조사들 보폭도 빨라져

리사 수 최고경영자가 인스팅트 MI325X 및 5세대 에픽을 공개한 시점에 맞춰, 서버 인프라 기업들 역시 다양한 서버 제품을 소개했다. 슈퍼마이크로 AS-4125GS-TNMR2는 에픽 9004 및 9005를 지원하는 듀얼 SP5 소켓을 갖췄으며, 액체 냉각을 적용해 크기와 발열을 줄였다. 또 여덟 개의 AMD 인스팅트 GPU를 장착할 수 있고, 24개의 DDR5-4800 메모리를 장착할 수 있다.

올인원 수랭 방식은 서버보다는 일반 소비자용 PC에 주로 적용되는 방식이지만, GPU 발열을 더 효과적으로 해결하기 위해 서버 레벨에도 차츰 도입 중이다.

델 테크놀로지스는 5세대 에픽 프로세서를 지원하는 파워엣지 서버 제품군 다섯 개를 동시에 공개했다. 최상위 제품인 델 파워엣지 XE7745는 4유닛 공랭식 섀시를 활용해 최대 8개의 더블 폭 또는 16개의 싱글 폭 PCIe GPU를 지원한다. 현장에는 델 파워엣지 R6725 및 R7725 서버가 전시되었으며, 새로운 DC-MHS 섀시 설계와 500W CPU 지원으로 전력 효율성 및 열문제를 해결했다. 파워엣지 R6715 및 R7715 서버는 37% 큰 저장장치 밀도를 제공하며, 24개의 메모리를 장착할 수 있다.

슈퍼마이크로는 5세대 에픽 프로세서 및 AMD 인스팅트 MI325X를 탑재하는 새로운 서버, GPU 가속 시스템, 스토리지 서버에 대응하는 H14 서버 라인업을 공개했다. H14 서버 라인업은 소켓당 192개 코어 및 24개의 DDR5 슬롯으로 최대 9TB 메모리까지 지원하는 하이퍼 라인, 클라우드 데이터센터용 클라우드 DC라인, 2개의 초고밀도 폼팩터 유닛인 그랜드트윈, 액체 냉각을 탑재한 플렉스트윈, 10개의 더블 폭 가속기를 지원하는 5U GPU 및 액체냉각 기반의 4U GPU 시스템, 8U GPU 등이 공개됐다. 현장에는 500W 에픽 프로세서 및 최대 6TB의 DDR5 메모리를 지원하는 AS-2126HS-TN, 2개의 섀시로 최대 1536 코어까지 지원하는 AS-2126FT-HE-LCC 서버가 전시됐다.

대만의 컴퓨터 하드웨어 제조사 에이수스(ASUS)도 5세대 에픽 및 MI325X를 탑재한 ESC A8A-E12U와 ESC8000A-E13P AI 서버를 공개했으며, 클라우드 컴퓨팅을 위한 다중 노트 환경용 서버인 RS520QA-E13과 일반 서버용 RS720A-E13, RS700A-E13, RS521A-E12 및 RS501A-E12를 각각 공개했다.

현장에 전시된 RS520QA-E13은 노드당 총 20개의 메모리를 지원하며, 브래킷 없이 내부 구성을 관리할 수 있다. 프로세서는 최대 400W까지 지원한다. 또 일반 서버용 RS700A-E13는 최대 192개 코어를 장착할 수 있고, 24개의 PCIe 5.0 NVMe 드라이브와 3개의 듀얼폭 GPU를 지원해 다용도 서버 목적으로 쓰인다.

대만의 서버 제조사 애즈락랙(ASRock Rack)은 6U8X-TURIN2, 4U10G-TURIN2, 1U12E-GENOA2/EVAC, 1U24E1S-GENOA 네 개의 5세대 에픽 지원 서버를 공개했다. 이중 TURIN2D48G-2L+는 최대 48개의 메모리를 장착할 수 있다. TURIN2D16-2T/ROT는 m.2 폼팩터에서 플랫폼 펌웨어 복원력 모듈을 지원해 기업 환경에서도 안전하게 부팅할 수 있다.

이외에도 기가바이트, 뉴타닉스, 불타(VULTR), 마이텍(MITAC) 등의 기업이 부스를 열고 서버 및 소프트웨어 지원 내역을 소개했다.

이외에도 전시장에는 AMD 펜산도 폴라라 400 네트워킹 인터페이스 카드 및 셀리나 400 데이터 처리 장치 활용 사례, 에픽 및 인스팅트 부스, 라이젠 프로 AI 300 프로세서 소개 부스 등이 함께 마련됐다. 부스 이외에도 메타, 오픈AI, xAI, 리카 AI, 코히어, 마이크로소프트가 AI 엔지니어들을 대상으로 세션을 진행했다.

글 / IT동아 남시현 (sh@itdonga.com)