AMD의 5세대 에픽(EPYC) 서버 CPU가 구글 클라우드의 새 AI 가속 시스템 ‘TPU 8tx’의 호스트 프로세서로 들어간다. AMD는 11월 9일(현지 시각) TPU 8tx 호스트 인프라에 5세대 에픽 프로세서가 탑재됐다고 발표했다. TPU 8tx는 하드웨어 기반 기밀 컴퓨팅을 지원하는 첫 클라우드 TPU 시스템이다. 기밀 컴퓨팅(Confidential Computing)은 데이터를 저장하거나 전송할 때뿐 아니라 연산에 쓰는 동안에도 암호화와 격리로 보호하는 기술이다.

TPU(텐서 처리 장치)는 구글이 AI 연산용으로 직접 설계한 가속기다. TPU 8tx 시스템에서 에픽 CPU는 작업 조율과 데이터 준비, TPU와의 대용량 통신을 처리한다. 양사는 이 구성으로 기업의 AI 추론, 미세 조정, 강화 학습 작업을 지원한다고 밝혔다.

보안은 에픽 CPU의 ‘보안 암호화 가상화(SEV)’ 기능으로 구현한다. 시스템은 가속기에 보호된 메모리 접근 권한을 주기 전에 해당 가속기의 신원과 보안 구성을 먼저 검증한다. 고객의 프롬프트, 모델 가중치, 중간 데이터는 CPU 메모리에 저장돼 있거나 호스트와 가속기 사이를 이동할 때 암호화된 상태로 유지되고, 가속기에서 실행되는 동안에는 하드웨어 수준에서 격리된다. 보호 범위가 CPU에서 연결된 가속기까지 이어지는 방식이다.

마크 로마이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장은 AI 에이전트를 실제 업무에 도입하려면 인프라 운영자도 데이터와 지식재산에 접근할 수 없다는 확신이 필요하다며, TPU 8tx가 최신 추론 모델에 필요한 저지연 성능과 실리콘 수준의 데이터 보호를 함께 제공한다고 설명했다. 댄 맥나마라 AMD 컴퓨트 및 엔터프라이즈 AI 부문 수석 부사장은 고성능 AI 시스템에는 가속기 요구를 따라갈 수 있는 CPU 기반이 필요하다고 말했다.

AMD SEV 기술은 이미 구글 클라우드의 컨피덴셜 VM, 컨피덴셜 GKE, 컨피덴셜 스페이스, 컨피덴셜 데이터플로 같은 기밀 컴퓨팅 서비스에 쓰이고 있으며, TPU 8tx로 적용 범위가 AI 가속 영역까지 확대됐다. 두 회사는 구글 클라우드 컴퓨트 엔진의 C4D, N4D, H4D, Z4D, G4 가상 머신에서도 협력하고 있고, 구글 보안 전문가들이 AMD 보안 프로세서 펌웨어를 심층 검토하는 등 보안 기술 협업도 이어 왔다.

AMD는 GPU와 맞춤형 AI 가속기(ASIC) 기반 인프라에서 10곳이 넘는 주요 하이퍼스케일러와 AI 연구소가 에픽을 호스트 CPU로 쓰고 있다고 밝혔다. 에픽은 AMD 인스팅트 GPU, 엔비디아 GPU, 맞춤형 반도체 시스템을 모두 지원한다. 가속기는 호스트 CPU를 거쳐 데이터를 공급받고 작업 일정을 조율하기 때문에, 가속기 성능 경쟁과 별개로 호스트 CPU 선택이 AI 인프라 구축의 주요 변수로 남아 있다는 것이 AMD의 설명이다.

자세한 내용은 AMD 뉴스룸에서 확인할 수 있다.

이미지 출처: AMD