구글이 현지 시각 11월 9일 8세대 텐서처리장치(TPU) 제품군에 ‘TPU 8tx’와 ‘TPU 8i 맥스’를 추가했다고 공식 블로그에서 발표했다. 구글은 올해 4월 구글 클라우드 넥스트에서 대규모 학습용 TPU 8t와 실시간 추론용 TPU 8i를 공개했으며, 한 해에 TPU 시스템 4종을 공개한 것은 이번이 처음이다.

TPU 8tx는 8세대의 세 번째 시스템으로, 보안이 필요한 기밀 추론과 소규모 학습을 위한 제품이다. TPU 8t와 같은 칩을 쓰고 AMD 5세대 에픽(EPYC) CPU 호스트와 함께 작동하며, 하드웨어 수준의 기밀 컴퓨팅 기능으로 사용 중인 데이터와 모델 가중치를 보호한다. 구글은 규제를 받는 기업과 정부 기관을 주요 고객으로 제시했다. 구글에 따르면, TPU 8tx는 보드플라이(Boardfly) 네트워크를 활용해 TPU 8t보다 지연 시간을 최대 2분의 1로 낮췄고, 기밀 컴퓨팅에 따른 성능 저하는 거의 없다.

TPU 8i 맥스는 TPU 8i 칩 2개를 하나의 패키지에 결합한 제품이다. 연산 성능과 S램 용량, 고대역폭메모리(HBM) 대역폭이 TPU 8i의 2배이며, 기존 랙 공간에 2배의 칩을 탑재할 수 있다. 구글은 매우 긴 컨텍스트 창을 처리하거나 랙당 연산 밀도를 높여야 하는 작업용 제품이라고 소개했다. 앞서 공개한 TPU 8t는 이전 세대보다 학습 성능이 최대 2.7배 높고, TPU 8i는 추론 가격 대비 성능이 80% 높다.

구글은 TPU와 함께 활용하는 소프트웨어로, TPU 작업을 돕는 에이전트 도구 모음을 미리보기로 제공하고 KV 캐시 전송 지연을 90% 이상 줄이는 ‘TPU 싱크’를 오픈소스로 공개했다. 대규모 작업 관리 도구 ‘클라우드 패스웨이즈’는 구글 쿠버네티스 엔진(GKE)에서 정식 제공한다. GKE 동적 슬라이싱 기능은 작업 시작 속도를 최대 5배, 장애 복구 속도를 최대 4.5배 높인다고 구글은 설명했다.

발표 글을 쓴 아민 바흐다트 구글 AI 인프라 수석부사장 겸 최고기술책임자는 구글 TPU 고객이 100곳 가까이 되며, 최첨단 AI 연구소와 트레이딩 기업, 유통 기업, 대학이 포함된다고 밝혔다. 구글은 TPU 8tx와 TPU 8i 맥스의 가격과 출시 일정, 제공 지역은 공개하지 않았다.

자세한 내용은 구글에서 확인할 수 있다.

이미지 출처: 구글